Skip to content

magicEmperor/Crawler-collection

Repository files navigation

爬虫收集

各类型的爬虫程序

CatEye

1、程序针对猫眼电影的TOP100榜单的电影名、演员、以及上映时间的抓取.
2、使用MongoDB存储数据.

RobtSpider

1、程序针对公司后台外呼数据,包括任务名、任务量、拨打量等数据的抓取.
2、使用MongoDB存储数据.

ToutiaoSpider

1、程序针对今日头条的街拍组图中图片、标题、链接的抓取及图片下载.
2、使用MongoDB存储数据.

TBSpider(解决登陆验证问题...)

1、程序抓取淘宝网的数据信息.
2、使用selenium自动化工具模拟登陆淘宝网.
3、使用MongoDB存储数据.

SSQSpider

1、双色球中奖信息.
2、使用MongoDB存储数据.

About

自己编写的各类爬虫,学渣在此,求大佬指点

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published