Skip to content

爬取6大外包平台订单,实现同步更新、定时爬取和保存到数据库。

Notifications You must be signed in to change notification settings

PythonCrawlerProject/IT_Outsource_Crawler

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

1 Commit
 
 
 
 
 
 

Repository files navigation

1.项目说明

本项目实现定时爬取外包平台的订单并保存,爬取的网站主要包括码市、开源中国、人人开发、实现、51外包和猿急送6个外包订单平台,并先后实现两个版本:

Version 1.0

1.0版本是初始版本,实现爬取6个网站的订单信息,并分别保存到Excel表格的6个Sheet中,同时实现定时爬取,每半个小时爬取一次,并将文件上传到企业微信群以便寻单人员使用。

Version 2.0

2.0版本在1.0版本的基础上实现了保存所有订单到MySQL数据库中,并判断单子的有效性(是否已经过期或已被接),有效的单子保存到Excel表格并发送到企业微信群中,同时如果发生异常,会将异常信息发送到测试群,便于开发人员排错。

2.项目配置

所有配置信息均在各版本的config.py中,可以根据自己的需要进行修改。

安装依赖库

下载或clone项目后,需要使用各版本中的requirements.txt安装依赖库,直接在各版本目录下执行pip install -r requirements.txt -i https://pypi.douban.com/simple即可。

配置文件修改

config.py中的企业微信机器人key、数据库配置等均需根据自己的需要进行修改,同时需要创建数据库名为it_outsource或者自己需要的名称。

3.项目运行

直接在各版本目录下执行python crawler.py即可运行项目、开始采集订单。

About

爬取6大外包平台订单,实现同步更新、定时爬取和保存到数据库。

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages