def go(self):
# print("第一步开始进行爬取")
# all_go(task_code=self.task_code, task_id=self.task_id)
# print("成功完成爬取数据到爬虫数据表\n------------------现在开始下载pdf、img文件-----------------")
# pdf_download = PdfDownload(self.task_id)
# pdf_download.go()
# img_download = ImgDownload()
# img_download.go()
# print("pdf、img下载完成，开始对数据进行分析并存入数据库")
data_processing = DataProcessing()
data_processing.go(self.task_id)
def go(self):
print("开始进行爬取")
all_go(self.task_code, self.task_id)
print(
"成功完成爬取数据到爬虫数据表\n------------------现在开始下载pdf、img文件-----------------"
)
pdf_download = PdfDownload()
pdf_download.go()
# 此类目无图片
print("pdf、img下载完成，开始对数据进行分析并存入数据库")
# 以下为数据分析，基本全部需要改
main = DataProcessing()
main.go(self.task_id)
def go(self):
print("开始进行爬取")
forth_go(self.url, task_code=self.task_code, task_id=self.task_id)
print(
"成功完成爬取数据到爬虫数据表\n------------------现在开始下载pdf、img文件-----------------"
)
pdf_download = PdfDownload(self.task_id)
pdf_download.go()
img_download = ImgDownload()
img_download.go()
print("pdf、img下载完成，开始对数据进行分析并存入数据库")
# 以下为数据分析，基本全部需要改
data_processing = DataProcessing()
data_processing.go(self.task_id)
def go(self):
step = [3]
if 1 in step:
print("开始进行爬取")
all_go(task_code=self.task_code, task_id=self.task_id)
print("成功完成爬取数据到爬虫数据表\n------------------现在开始下载pdf、img文件-----------------")
if 2 in step:
pdf_download = PdfDownload()
pdf_download.go()
img_download = ImgDownload()
img_download.go()
print("pdf、img下载完成，开始对数据进行分析并存入数据库")
if 3 in step:
# 以下为数据分析，基本全部需要改
data_processing = DataProcessing()
data_processing.go(self.task_id)
def go(self):
print("开始进行爬取")
csv_to_db = CsvToDb(task_code=self.task_code, task_id=self.task_id)
csv_to_db.csv_download()
csv_to_db.get_csv_data()
print(
"成功完成爬取数据到爬虫数据表\n------------------现在开始下载pdf、img文件-----------------"
)
pdf_download = PdfDownload(self.task_id)
pdf_download.go()
# 此类目无图片
print("pdf、img下载完成，开始对数据进行分析并存入数据库")
# 以下为数据分析，基本全部需要改
main = DataProcessing()
main.go(self.task_id)