怎样大量抓取新浪微博的数据

谢邀本人正在用python写一个微博爬虫,在github上开源的,如果题主会python而且有兴趣可以一起完成
■网友
不太懂技术的话可以用用我们的http://d.shop123.io/tongyong/caijiqi.zip
【怎样大量抓取新浪微博的数据】 非常容易上手,重要的是防ban能力很好,几乎不会被封
怎样大量抓取新浪微博的数据


■网友
如果自己有服务器完全可以自己动手搭建一个爬虫来实现了。官方的api会有数据限制,不建议采用,你可以自己通过抓包获取api来构造爬虫。
如何大量爬取新浪微博数据?请看我的这一篇文章:
Python 爬虫如何机器登录新浪微博并抓取内容?里面有抓取微博内容的大体思路,如果你懂一些Python爬虫的技术可以马上着手操作一番。
我用微博数据写了两篇事件分析文章,欢迎关注我的公众号:产品汪生存指南
如果你正好在做用户行为分析论文,或许可以给你一些启发。

另外,如果您需要针对某个(或某些)人定向爬取最新动态,比如想第一时间知道某个人今天发了什么微博,在微博里给什么人回复了什么评论,通过什么方式回复的等,最近我正好完成了一个这样的项目,可以实现自动化跟踪。
如果你也需要,欢迎关注。

■网友
可以试一下前嗅ForeSpdier爬虫系统,之前采集过新浪微博上的内容数据。
找了一个采集新浪新闻的教程链接,新浪微博同理试试。
采集新浪教程

■网友
可以试试八爪鱼采集器

■网友
全量微博数据抓取(真正意义上的全量)有需要的可以联系aoba@qq.com

■网友
本人写了一个爬虫程序,可以突破微博采集的限制,例如翻页限制等,现在帮好多客户在采

■网友
我研究过新浪微博的抓取,有需要的可以联系我xchaoinfo@qq.com


    推荐阅读