Skip to content

AlienceGG/weibo-1

 
 

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

66 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

weibo

发现有人fork了,把文件重新整理了一下,方便使用,主要看Lweibo.py,完全不懂的小白请修改config.ini后打开example.py按需运行,运行抓取任务时请下载完全整个文件,不要就下载一个py文件问为什么出错

Lweibo.py 提供了API方式和模拟登录的方式,如有问题email我吧

利用python实现对新浪微博的抓取

此爬虫使用了@lxyu 的SDK https://github.com/lxyu/weibo 感谢他之前的工作

TODO

1.模拟登录,并抓取某个页面

2.对页面解析

3.定时任务(已完成,毕业后放出)

4.分布式存储HBase(已完成,毕业后放出)

5.通过API调取活跃用户ID,避免自曾产生僵尸用户数据(已完成,毕业后放出)

About

新浪weibo微博抓取

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages

  • Python 99.0%
  • Shell 1.0%