scrapy框架爬取智联，拉钩，51job，猎聘中的招聘信息
每个网站是有一个单独的爬虫
parse（） 生成第一个请求，为了启动分布式爬虫，先在redis中放一个url触发
parse起始url请求
然后写 网站首页的解析
。。。
分别做了分布式配置，将缓存数据临时存储到redis，然后存储到mysql 或则别的数据库
show_data下的showjob 是django下用于显示招聘数据的web程序。
forked from yule0512/RecruitmentSpider
libertyarow/RecruitmentSpider
This commit does not belong to any branch on this repository, and may belong to a fork outside of the repository.
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
scrapy框架爬取智联，拉钩，51job，猎聘中的招聘信息
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published
Languages
- TSQL 97.7%
- HTML 1.1%
- Other 1.2%