Skip to content

jijicanyu/Spider

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Spider by Hcamael

爬取网页信息


参数说明

  • -h/--h 帮助
  • -v 显示版本号(并没啥用)

必选参数(两者必选其一)

  • -u url 爬取网页的根url
  • --testself 使用默认值测试

可选参数

  • -d 指定爬虫深度
  • --dbfile 指定数据库文件(使用sqlite数据库)
  • --key 爬取关键词网页
  • -f 指定日志文件
  • -l 指定日志等级(1-5)
  • -thread 指定线程池数

About

Spider by Hcamael

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 100.0%