Ejemplos de ParseBaseWorker en Python

Ejemplo n.º 1

Archivo: parse_chongqing_worker.py Proyecto: xiaohui2856/gsxt_spider

 def __init__(self, **kwargs):
     ParseBaseWorker.__init__(self, **kwargs)
     # 必须反馈抓取情况到种子列表
     self.report_status = self.REPORT_SEED

Ejemplo n.º 2

 def __init__(self, **kwargs):
     ParseBaseWorker.__init__(self, **kwargs)

Ejemplo n.º 3

 def __init__(self, **kwargs):
     ParseBaseWorker.__init__(self, **kwargs)
     kwargs['logfile'] = 'log_guangdong_branch_neimenggu'
     self.neimenggu = GsxtParseNeiMengGuWorker(**kwargs)
     kwargs['logfile'] = 'log_guangdong_branch_shenzhen'
     self.shenzhen = GsxtParseShenZhenWorker(**kwargs)