class Crawler(): def __init__(self, myconfig): # 线程池, self.thread_pool = ThreadPool(myconfig.threadnum) # 已访问的url集合 self.visited_urls = set() # set 不是线程安全,所以这里加一把锁 self.visited_urls_lock = threading.Lock() # 未访问的url集合 self.will_visited_urls = deque() self.will_visited_urls.append(myconfig.url) self.temp_q = deque() self.cur_depth = 0 self.status = "" self.myconfig = myconfig MyLogger(myconfig.logfile, myconfig.loglevel) #MyLogger(myconfig.logfile, loglevel = 5) # debug self.db = Db() def start(self): self.status = "start" while self.cur_depth < self.myconfig.depth: if self.status == "stop": break try: while self.will_visited_urls: url = self.will_visited_urls.popleft() # 添加工作,这里基本上没有阻塞,因为是在主线程里,只是负责 # 添加工作,真正执行工作是在线程里做的 self.thread_pool.add_job(self.handler, url) # # TODO: # 通知线程有活干了,这里可以看出是在将will_visited_urls的url # 都添加后才通知线程去干活的,这样设计,粒度似乎有点粗? # 如果还想节省时间的话,可以在url的数目 >= 线程初始数目的时候,就通知 # 线程池里的线程开始干活,如果url的数目 < 线程初始数目的时候,等都 # 添加完之后,再通知 #print ">>>>>>>> give event to threads in thread pool" # 通知线程池里的线程开始新一轮的抓取 self.thread_pool.event_do_job() # 主动退出调度,让子线程有时间可以执行 time.sleep(3) except Empty: # 需要访问的url没有了 logging.info("no url right now") finally: # 必须等线程池里的线程工作做完之后,才算本次深度的访问结束 # 这里做的处理是如果线程池里面有线程,则睡3s,再读, # 直到线程池里的工作线程为0才停下来 # 这样才算本次深度的抓取完毕 while True: #print "thread waiting num is %d, config thread num is %d" % (self.thread_pool.get_thread_waiting_num(), self.myconfig.thread) if self.thread_pool.get_thread_waiting_num() == self.myconfig.threadnum: # 如果等待的线程数目等于线程初始数目,则说明,所有线程都执行完毕 # 所以break break else: # 有线程仍然在执行,则说明, 本次深度的访问还没有结束 # 睡眠等待 time.sleep(10) #此次深度的访问结束,深度加一 self.cur_depth += 1 logging.info("crawler depth now is %s" % str(self.cur_depth)) if self.cur_depth > self.myconfig.depth: break # 从url中抓到的网页都放到了temp_q中, # 将temp_q中的网页从新给 will_visited_urls,继续 self.will_visited_urls = self.temp_q self.temp_q = deque() # 所有深度的url都抓取完毕 or 爬虫退出 self.thread_pool.stop_threads() logging.info("crawler exit") return def handler(self, url): content= self.get_html_content(url) if content == "" or content == None: # 无法获取content,直接返回 return # 添加此url为已访问过 self.add_url_to_visited(url) if content.find(self.myconfig.key) != -1: self.db.save_data(url, self.myconfig.key, content) try: hrefs = self.get_hrefs(content, url) except StandardError, se: logging.error("error: %s" % (se)) print se # log # 无法获取 hrefs return # 如果获得了hrefs if hrefs: # 将hrefs添加到 temp_q中,等本级深度访问完毕之后再访问 for link in hrefs: # 最后的考验 if not self.is_url_visited(link) \ and link not in self.will_visited_urls \ and link not in self.temp_q: #print "put %s into temp_q" % link self.temp_q.append(link)