站点链接有效性检查的python脚本

整站链接有效性检查的Python脚本,可用于Jenkins持续集成中进行站点链接有效性的扫描。

需要安装的模块有:BeautifulSoup和httplib2

如果需要登录,请根据实际情况修改登录接口。

Github地址:https://github.com/TronGeek/CheckLinks-Python

完整代码如下:

::CODECOLORER_BLOCK_1::

小爬虫实验

最近在学python,一直想用python来做个爬虫,趁着这个周末没事就玩玩吧。

话说最近股市跌宕起伏,那就想着爬点股市信息来好了。

实验脚本目的:抓取所有股票信息的行业评级以及风险评估。

下面就贴代码了:

::CODECOLORER_BLOCK_2::

难点在于解析html页面上,怎么精确获取自己想要的东西,比较费劲,还好在网上了解到BeautifulSoup模块的用法,变得容易多了。

结果存在sqlite数据库中,以下是结果:

sql语句:

::CODECOLORER_BLOCK_3::

执行结果:

::CODECOLORER_BLOCK_4::[……]

阅读全文>>