def init(self): ''' 取得初始的home_lists 进行爬取 得到各client的ip列表 ''' #取得home_lists #取得urlists self.home_list = [ "http://www.cau.edu.cn", "http://www.sina.com.cn", ] #新建本地url存储队列 #为每一个home_url建立一个队列存储收到的新链接 #由 UrlQueue统一管理 self.queue = UrlQueue(self.home_list) #!!!!!!!!!!!!!!!!此处需要动态配置 self.clientIPs = [ ('127.0.0.1', 80), ]
def __init__(self): self.urlist = Urlist() self.queue = Queue() self.in_queue = UrlQueue()