基于scrapy的网页爬虫
本项目基于scrapy实现多线程爬取网页内容。
Python2.7
$ pip install cffi
$ pip install libffi-dev
$ pip install cryptography
$ pip install mysql-python
$ pip install service_identity
$ pip install pypinyin
$ pip install redis
$ scrapy crawl flat