功能

• 支持从json文件读取抓取任务

• 支持python源生dist定义抓取任务

• 支持通配符和过程参数传递

• css选择器的dom节点抓取

• 支持自定UA等header头

• 使用webkit内核抓取网页

安装

• [从pip安装] (https://pypi.python.org/pypi/pyrailgun) pip install pyrailgun

• 源码安装 python setup.py install

语法

例子

• [快速入门] (https://github.com/princehaku/pyrailgun/wiki/简单使用说明)

• [复杂点的例子] (https://github.com/princehaku/pyrailgun/blob/master/demo/basic.json)

• [预定义变量] (https://github.com/princehaku/pyrailgun/blob/master/demo/bing.json)

• [WebKit抓取] (https://github.com/princehaku/pyrailgun/blob/master/demo/webkit.json)

FAQ

• 在没有X的服务器上运行webkit内核抓取

更新

• 0.24 受版权限制，替换webbroser为自己写的版本 去除yaml的支持