ScrapyDemo : Redis MySQLdb logging IngoreHttpRequestMiddleware UserAgentMiddleware HttpProxyMiddleware rules
项目原名叫:webspider,如果不能使用请下载项目后修改为webspider再运行.
该项目是2015年底完成的,当时创建了github代码仓库忘了上传了.现在上传上来.只提供代码供大家参考,不保证代码正常运行.
项目使用了以下库,不完整,后续的有些忘了添加进来了.
- Scrapy [ 如果提示没有lxml,就安装lxml,一般来说会自动安装lxml的 ]
- Redis reids 的python操作库
- Sqlalchemy orm 数据操作
- Pymssql mssql的python操作库
- Whoosh 全文搜索
- Jieba 结巴分词 全文搜索中用到
- Flask python 的web框架,提供搜索接口的时候使用
- Qiniu 当初想用七牛云存储的保存下载的图片
- Requests python 发送request的库
项目附带代理采集,代理使用,爬虫,保存数据库,结巴分词,whoosh索引,flask开放web搜索接口,qiniu自动图片下载.