自动化WEB漏洞扫描器

• 使用gevent改进进程池 -> 编写了新的线程池
• 使用新的线程池替换旧的线程池

• 检查代理存活时改用多线程

• Web爬虫深度控制
• Web爬虫关键字控制
• Web爬虫多线程控制
• Web爬虫的目标域限制
• 去重算法优化
• 增加爬取form的action部分，src属性，以javascrip:开头的href，有onclick属性，form的action，自动提交。
• 获取打开页面时加载的ajax请求
• 增加Web代理功能，让浏览器代理到爬虫上，手工点击增加链接数量
• 从代理池中获取可用的代理并自动利用代理爬取
• 增加cookie支持
• 增加UA支持

• 增加log的彩色输出

• 2016-7-24
  • Pansidong v0.1.1 版本完成。
  • 增加 phantomjs的进程池，保证稳定性。
  • 修复 线程锁的释放位置，保证线程间数据完整性。
  • 增加 记录HTTP子请求的功能，增加了爬取到的线程数量。
• 2016-7-23
  • Pansidong v0.1.0 版本完成。
  • 增加 爬虫深度控制。
  • 增加 爬虫多线程控制。
  • 增加 新的线程池，比以前更有效率。
  • 优化 爬虫爬取时消耗的资源更少，时间更短。
• 2016-7-20
  • 增加 爬虫爬取范围的控制
• 2016-7-17
  • 增加 第一版Web爬虫。可以初步过滤URL相似以及重复。
  • 增加 对Mac系统的支持。
• 2016-7-16
  • 修改proxy表字段，增加是否存活的字段。
• 2016-7-10
  • ProxySpider v1.0.4版本完成。
  • ProxySpider封装完成，已经作为模块导入到盘丝洞中：https://github.com/LiGhT1EsS/Pansidong