Sauron A application framework based on Scrapy that try to solve the slow-crawl problem 我们发现使用Scrapy已经不能完成我们的任务,所以我们要实现分布式版本的爬虫。