def __init__(self, *args, **kwargs):
"""
:param args:
:param kwargs:
实例化爬虫需要调用的函数
"""
# 包含当前公众号所有不存在文本内容数据的生成器
self.current_nickname = TidyReqData.get_nickname()
self.articles_list = get_collection_article(self.current_nickname,
article={"$exists": False},
title={"$exists": True})
self.crawler_begin_time = time()
self.crawler_parse_counter = 0
def __init__(self, *args, **kwargs):
"""
:param args:
:param kwargs:
实例化爬虫需要调用的函数
"""
# 包含当前公众号所有不存在文本内容数据的生成器
self.current_nickname = TidyReqData.get_nickname()
print(self.current_nickname)
articles_list = get_collection_article(self.current_nickname,
read_num={"$exists": False},
comment_id={"$exists": True})
self.articles_list = []
for article in articles_list:
self.articles_list.append(article)
self.task_num = len(self.articles_list)
self.task_counter = 0
self.begin_time = time()
self.pre_time = time()