コード例 #1
0
 def __init__(
     self,
     jsonfile=JSONFILE,
     pre_suf=None,
     post_suf='http://ggzy.wuxing.gov.cn/hzgov/openapi/info/ajaxpagelist.do?pagesize=15&channelid={}&pageno={}'
 ):
     super().__init__()
     self.xp = Json2XPath(jsonfile).get_xpath()
     self.post_suf = post_suf
     self.pre_suf = pre_suf
コード例 #2
0
 def __init__(self,refined_totalpage=2):
     self.loss_urls = []
     self.refined_totalpage = refined_totalpage
     self.redis_conn = get_redis_conn()
     jsonfile = os.path.join(BASE_JSONFILE_PATH,'{}.json'.format(self.name))
     self.xp = Json2XPath(jsonfile).get_xpath()
     self.check_queue = SETTINGS['URLS_CHECK_TASKS']
     self.mongo_conn = MongodbClass()
     self.mysql_conn = MySqlDBClass()
     self.logging_actor = update_logging()
     self.func_moc = all_modify_func[self.name]
コード例 #3
0
ファイル: deqing.py プロジェクト: nightqiuhua/bigCrawlers
 def __init__(self, jsonfile=JSONFILE):
     super().__init__()
     self.xp = Json2XPath(jsonfile).get_xpath()
     self.post_suf = 'index_{}.htm'
     self.pre_suf = None
コード例 #4
0
 def __init__(self, jsonfile=JSONFILE):
     super().__init__()
     self.xp = Json2XPath(jsonfile).get_xpath()
     self.post_suf = '?Paging={}'
コード例 #5
0
 def __init__(self, jsonfile=JSONFILE):
     super().__init__()
     self.xp = Json2XPath(jsonfile).get_xpath()
     self.post_suf = '&Paging={}'
     self.post_url = 'http://www.hzfyggzy.org.cn/SecondPage/GetNotice'
コード例 #6
0
 def __init__(self):
     self.refined_totalpage = 2
     jsonfile = os.path.join(BASE_JSONFILE_PATH,
                             '{}.json'.format(self.name))
     self.xp = Json2XPath(jsonfile).get_xpath()
コード例 #7
0
 def __init__(self, jsonfile=JSONFILE):
     super().__init__()
     self.xp = Json2XPath(jsonfile).get_xpath()
     self.post_suf = '&CurrentPageIndex={}'