爬取新浪新闻的评论

谢邀。http://comment5.news.sina.com.cn/page/info?version=1\u0026amp;format=js\u0026amp;channel=gn\u0026amp;newsid=slidenews-album-2841-98730\u0026amp;group=1\u0026amp;compress=1\u0026amp;ie=gbk\u0026amp;oe=gbk\u0026amp;page=1\u0026amp;page_size=100\u0026amp;jsvar=requestId_38245643这个大概就是新浪新闻的评论接口。。在具体新闻页面,用 Chrome 的开发者工具查看 Network,会发现这个地址。数据格式如下,每个字段的含义自己去看吧。爬取新浪新闻的评论


■网友
【爬取新浪新闻的评论】 先找接口呗,充分运用浏览器的开发者工具,在点击评论之前,清理掉network的所有缓存信息。点击评论按钮,可在network里查看到评论的请求接口。之后查看该接口的返回信息,对返回的json进行接收即可,显示更多也是一样的道理。

■网友
自问自答吧,自己动手丰衣足食!搞了半天搞出来的方法 看 爬虫抓取新浪新闻评论
■网友
用selenium可以模仿网页点击行为。先找到“显示更多评论的路径”serchButton再用action.click(serchButton)).perform()点击。
■网友
朋友,请问你最后是怎么解决的,我也遇到这样的问题,不能通过xpath直接定位把,求指教!!
■网友
爬虫抓取新浪新闻评论
■网友
这里有个教程,可以轻松爬取新浪微博的用WebCollector爬取新浪微博数据


    推荐阅读