def go(self): print("第一步开始进行爬取") all_go(task_code=self.task_code, task_id=self.task_id) print("成功完成爬取数据到爬虫数据表\n------------------现在开始下载pdf、img文件-----------------") pdf_download = PdfDownload(self.task_id) pdf_download.go() img_download = ImgDownload() img_download.go() print("pdf、img下载完成,开始对数据进行分析并存入数据库") # # 以下为数据分析,基本全部需要改 data_processing = DataProcessing() data_processing.go(self.task_id)
def go(self): step = [3] if 2 in step: pdf_download = PdfDownload() pdf_download.go() img_download = ImgDownload() img_download.go() print("pdf、img下载完成,开始对数据进行分析并存入数据库") if 3 in step: # 以下为数据分析,基本全部需要改 data_processing = DataProcessing() data_processing.go(self.task_id)
def go(self): step = [3] if 1 in step: print("开始进行器件基本信息抓取") all_go(task_code=self.task_code, task_id=self.task_id) print("成功完成爬取数据到爬虫数据表\n------------------现在开始下载pdf、img文件-----------------") if 2 in step: pdf_download = PdfDownload() pdf_download.go() img_download = ImgDownload() img_download.go() print("pdf、img下载完成,开始对数据进行分析并存入数据库") if 3 in step: # 以下为数据分析,基本全部需要改 data_processing = DataProcessing() data_processing.go(self.task_id)