第一版地址 第一版采用了多线程优化爬虫速度,个人觉得代码不够优雅。
第二版改造了程序运行方式,以异步协程为主
- Python 3.6
- Tornado 4.4
- BeautifulSoup
- PyMySQL, SQLAlchemy
- 全局日志
- 生产者/消费者队列
- HTTP 接口可开关 Spider
- HDU OJ Spider
- BNU OJ Spider
- Codeforces Spider
- PKU OJ Spider
- HUST Virtual Judge Spider
- BestCoder Spider
- 成就触发器