コード例 #1
0
    def __init__(self, options):
        self.options = options
        print options

        self.urls = url_manage.UrlManage()
        self.download = html_download.HtmlDownload()
        self.parser = html_parser.HtmlParser(options['urlReg'],
                                             options['urlData'])
        self.output = html_output.HtmlOutput()
        self.redis = redis_config.CRedis()
コード例 #2
0
 def __init__(self):
     self.urls = url_manager.UrlManager()
     self.downloader = html_download.HtmlDownload()
     self.parser = html_parser.HtmlParser()
     self.outputer = html_outputer.HtmlParser()
コード例 #3
0
 def __init__(self):
     self.parser = html_parser.HtmlParser()
     self.download = html_download.HtmlDownload()
     self.output = html_output.HtmlOutput()
コード例 #4
0
ファイル: html_parser.py プロジェクト: zuoshoupai/code
	def __init__(self):
		self.downloader = html_download.HtmlDownload()
コード例 #5
0
	def __init__(self,pool):
		super().__init__()
		self.url_manager=urls_manager.UrlManager(pool)
		self.html_download=html_download.HtmlDownload()
		self.parser=parser.Parser()
コード例 #6
0
 def __init__(self):
     self.urls = url_manage.UrlManage()
     self.html_download = html_download.HtmlDownload()
     self.html_parser = html_parser.HtmlParser()
     self.output = output.OutPut()
コード例 #7
0
ファイル: spider_main.py プロジェクト: zuoshoupai/code
 def __init__(self):
     self.urls = url_manager.UrlManager()
     self.downloader = html_download.HtmlDownload()
     self.parser = html_parser.HtmlParser()
     self.outputer = html_output.OutPut()
     self.root = 'http://www.ilongterm.com'
コード例 #8
0
 def __init__(self):
     self.download = html_download.HtmlDownload()
     self.parser = html_parser.HtmlParser()