Skip to content

tomhaoye/crawler.58

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

34 Commits
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

58小区信息爬虫

lang limit limit size last license

软件要求

  • Anaconda(可选)
  • python 3.6+
  • mysql 5.7

安装依赖

pip install -r requirement

目录结构

  • app
    • model
    • util
  • main.py
  • list.py
  • detail.py

使用说明

  1. 抓取区域信息 python main.py gz
  2. 抓取列表信息 python list.py gz
  3. 抓取详情数据 python detail.py gz

参数gz为广州的拼音首字母相加,其他城市以此类推。若不输入参数则默认使用广州。 部分城市因为简称会重复所以具体的前缀请上58选择城市后使用二级域名例如qingyuan.58.comqingyuan作为参数输入

配置说明

默认使用config.example.json作为配置文件使用,需要编辑对应的数据库信息后才可使用

数据库说明

需要先创建数据库,执行时会自动创建数据表

也可以手动建表,具体可见58crawler.sql文件

截图

数据库截图

About

58小区信息爬虫

Topics

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published