forked from xwake/DryNews
raintears2/DryNews
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Folders and files
Name | Name | Last commit message | Last commit date | |
---|---|---|---|---|
Repository files navigation
个人新闻门户 简介: 这是个人学习python首月的首个作品,即有实际需求也作为练手之用。程序仍有很多缺陷,以后会逐步修正。 代码主要参考:使用代理、多线程的爬虫/http://www.cnblogs.com/ashun/archive/2007/06/01/python_proxy_checker.html 2014-3-7 集合了: 1、爬虫 2、可自定义需要采集的网址,定义需要抓取的链接正则表达式 3、多线程 4、自动抓取指定的代理服务器发布网站,每天自动更新一次。更新时,会校验代理的可用性。 5、每个线程独立使用不同的代理。 6、 7\ 运行环境: ======= django 1.6.2 sqlite python 2.7 django-cron urllib2 pytz
About
No description, website, or topics provided.
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published
Languages
- Python 99.5%
- Other 0.5%