def init(self):
'''
取得初始的home_lists 进行爬取
得到各client的ip列表
'''
#取得home_lists
#取得urlists
self.home_list = [
"http://www.cau.edu.cn",
"http://www.sina.com.cn",
]
#新建本地url存储队列
#为每一个home_url建立一个队列存储收到的新链接
#由 UrlQueue统一管理
self.queue = UrlQueue(self.home_list)
#!!!!!!!!!!!!!!!!此处需要动态配置
self.clientIPs = [
('127.0.0.1', 80),
]
def __init__(self):
self.urlist = Urlist()
self.queue = Queue()
self.in_queue = UrlQueue()
