Skip to content

raintears2/DryNews

 
 

Repository files navigation

个人新闻门户

简介:
这是个人学习python首月的首个作品,即有实际需求也作为练手之用。程序仍有很多缺陷,以后会逐步修正。
代码主要参考:使用代理、多线程的爬虫/http://www.cnblogs.com/ashun/archive/2007/06/01/python_proxy_checker.html


2014-3-7
集合了:
1、爬虫
2、可自定义需要采集的网址,定义需要抓取的链接正则表达式
3、多线程
4、自动抓取指定的代理服务器发布网站,每天自动更新一次。更新时,会校验代理的可用性。
5、每个线程独立使用不同的代理。
6、
7\


运行环境:
=======
   django 1.6.2
   sqlite
   python 2.7
   django-cron
   urllib2
   pytz
 

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 99.5%
  • Other 0.5%