Name		Name	Last commit message	Last commit date
Latest commit History 6 Commits
crawler		crawler
db		db
.gitignore		.gitignore
README.md		README.md
config.py		config.py
main.py		main.py
run.bat		run.bat
util.py		util.py

Repository files navigation

python spider for itslaw

主要工作

突破了防盗链refer
使用了面向对象的编程方法，爬去思路更加清晰
数据放在数据库，存取方便
配置文件和代码分开
连接超时重新连接
对每一次爬取做统计

*TodoList*

采取多线程技术，使爬取更加高效
爬去时间过长会封Ip，维护一个ip代理池
可以使用命令行选项控制爬取

About

a python crawler for itslaw

Report repository

Releases

No releases published

Packages

No packages published

Languages