Name		Name	Last commit message	Last commit date
Latest commit History 30 Commits
.idea		.idea
db_operation		db_operation
do_dataget		do_dataget
do_dataprocess		do_dataprocess
do_login		do_login
task		task
test		test
weibo_decorator		weibo_decorator
weibo_entities		weibo_entities
.gitattributes		.gitattributes
ReadMe.md		ReadMe.md
get_cookie.py		get_cookie.py
gl.py		gl.py
repost_run.py		repost_run.py
user_run.py		user_run.py

Repository files navigation

关于该程序

单机微博爬虫
采用requets+beautifulsoup+oracle的技术路线
测试微博反爬虫机制

todo

改成分布式爬虫
让程序更加稳定
采用orm框架进行CURD操作
自己使用matplotlib实现数据可视化

About

微博爬虫，使用requets+bs+oracle搭建的爬虫框架。包括对用户资料的解析、对微博页面的解析

Report repository

Releases

No releases published

Packages

No packages published

Languages

Python 100.0%