def __init__(self, *args, **kwargs): """ :param args: :param kwargs: 实例化爬虫需要调用的函数 """ # 包含当前公众号所有不存在文本内容数据的生成器 self.current_nickname = TidyReqData.get_nickname() self.articles_list = get_collection_article(self.current_nickname, article={"$exists": False}, title={"$exists": True}) self.crawler_begin_time = time() self.crawler_parse_counter = 0
def __init__(self, *args, **kwargs): """ :param args: :param kwargs: 实例化爬虫需要调用的函数 """ # 包含当前公众号所有不存在文本内容数据的生成器 self.current_nickname = TidyReqData.get_nickname() print(self.current_nickname) articles_list = get_collection_article(self.current_nickname, read_num={"$exists": False}, comment_id={"$exists": True}) self.articles_list = [] for article in articles_list: self.articles_list.append(article) self.task_num = len(self.articles_list) self.task_counter = 0 self.begin_time = time() self.pre_time = time()