站点链接有效性检查的python脚本

整站链接有效性检查的Python脚本,可用于Jenkins持续集成中进行站点链接有效性的扫描。

需要安装的模块有:BeautifulSoup和httplib2

如果需要登录,请根据实际情况修改登录接口。

Github地址:https://github.com/TronGeek/CheckLinks-Python

完整代码如下:
#!/usr/bin/env python
#coding=utf-8

#Todo: 页面链接有效性检查
#Author: 归根落叶
#Blog: http://this.ispenn.com

import os,sys
t[……]

阅读全文>>

小爬虫实验

最近在学python,一直想用python来做个爬虫,趁着这个周末没事就玩玩吧。

话说最近股市跌宕起伏,那就想着爬点股市信息来好了。

实验脚本目的:抓取所有股票信息的行业评级以及风险评估。

下面就贴代码了:

#coding:utf-8
import httplib2
import re
from bs4 import BeautifulSoup
import sqlite3

def getPrice(stockCode):
url = ‘http://www.icaifu.com/stock/doctora/’ + stockCode + ‘[……]

阅读全文>>