Skip to content

fungwan/ZSpider

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

27 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

ZSpider

基本功能

zspider.py -u url -t thradNumber -d deep -l loglevel(1-5) -k keyword --model downloadModel(0/1) --dbfile dbName --testself

参数说明

-u 指定爬虫开始地址

-t 指定线程池大小,多线程爬取页面,可选参数,默认10

-d 指定爬虫深度

-l 日志记录文件记录详细程度,数字越大记录越详细,可选参数,默认zspider.log

-k 页面内的关键词,获取满足该关键词的网页,可选参数,默认为所有页面

--model 下载模式,0为静态下载,1为动态下载

--dbfile 存放结果数据到指定的数据库(sqlite)文件中

--testself 程序自测,可选参数

模块使用

  • 下载模块: requests 、splinter 、phantomjs

  • 解析模块: lxml 、urlparse 、hashlib 、re

  • 存储模块: sqlite3

  • 线程池模块: threading

  • 其它模块: Queue 、optparse 、logging

系统设计

核心模块

线程池模块

##测试

About

knownsec spider.

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 99.9%
  • Shell 0.1%