GitHub - willcai1984/crawlers

Branches Tags

Name		Name	Last commit message	Last commit date
Latest commit History 23 Commits
.idea		.idea
spider		spider
tests		tests
__init__.py		__init__.py
__main__.py		__main__.py
config_local.json		config_local.json
config_online.json		config_online.json
log_local.conf		log_local.conf
log_remote.conf		log_remote.conf
monitor.py		monitor.py
readme.txt		readme.txt

Repository files navigation

V0.0.1
1. 将python部分分离出来；

V0.0.2
1.从os.system调用改为函数调用；
2.logging相关整合

V0.0.3
1.crontab运行时需检查是否有相关进程启动，若有，跳过这次循环；


V0.0.4
1.修复失信或执行网站出现搜索结果为0的情况，会清理历史数据的Bug