GitHub - kuaileboy1989/spider_dev: thread pool , spider msg

Branches Tags

Name		Name	Last commit message	Last commit date
Latest commit History 1 Commit
README		README
common.py		common.py
common.pyc		common.pyc
config.py		config.py
main.py		main.py
spider.py		spider.py
thread_pool.py		thread_pool.py
thread_pool.pyc		thread_pool.pyc
tools.py		tools.py
tools.pyc		tools.pyc

Repository files navigation

1.本程序实现了可以配置首页url和最大爬取深度。
2.文件列表：
    common.py       ：全局信息存放
    config.py       ：配置文件
    spider.py       ：爬虫类实现
    thread_pool.py  ：线程池实现
    tools.py        ：工具函数库
    main.py         ：程序入口
3.执行方式：
    python main.py