自动化抓取招聘信息，数据存储，数据分析。分析出有价值的信息，如技术趋势，招聘需求，行业类型，薪资待遇等。具体查看doc下的业务方案。

#开发进度-目前已完成的功能 1、通过抓取源url，以及过滤关键字，然后抓取数据，存储到redis数据库。 2、数据提取程序，从redis缓存中读出数据，然后提取相关字段存入mysql数据库。

#说明目前没完善的 1、安装脚本 2、目前只支持从51job（版权说明，只做个人爱好，不做商业用途）上获取信息，其他平台还没有做。 3、数据分析部分还没有做，前期找了很多种图形分析工具，但是都没找到自己理想的东西。

说明：最近熟悉了elasticsearch等相关开发，想修改一下程序结构。主要修改如下：将爬取的数据进行提取，然后直接封装成json格式，调用 elasticsearch接口插入elasticsearch中。好处：elasticsearch有分词功能，这样进行数据分析和统计更加方便和简单。

20171127 再次查看pyspider版本已经发现已经支持elasticsearch。 20171128 更新pyspider版本；调试连接elasticsearch； 20171129 修改config下的配置文件，每个数据库对应一个索引；调通eleasticsearch结构，可以利用pyspider进行抓取任务；