爬取新浪新闻的评论
谢邀。http://comment5.news.sina.com.cn/page/info?version=1\u0026amp;format=js\u0026amp;channel=gn\u0026amp;newsid=slidenews-album-2841-98730\u0026amp;group=1\u0026amp;compress=1\u0026amp;ie=gbk\u0026amp;oe=gbk\u0026amp;page=1\u0026amp;page_size=100\u0026amp;jsvar=requestId_38245643
这个大概就是新浪新闻的评论接口。。在具体新闻页面,用 Chrome 的开发者工具查看 Network,会发现这个地址。数据格式如下,每个字段的含义自己去看吧。
■网友
【爬取新浪新闻的评论】 先找接口呗,充分运用浏览器的开发者工具,在点击评论之前,清理掉network的所有缓存信息。点击评论按钮,可在network里查看到评论的请求接口。之后查看该接口的返回信息,对返回的json进行接收即可,显示更多也是一样的道理。
■网友
自问自答吧,自己动手丰衣足食!搞了半天搞出来的方法 看 爬虫抓取新浪新闻评论
■网友
用selenium可以模仿网页点击行为。先找到“显示更多评论的路径”serchButton再用action.click(serchButton)).perform()点击。
■网友
朋友,请问你最后是怎么解决的,我也遇到这样的问题,不能通过xpath直接定位把,求指教!!
■网友
爬虫抓取新浪新闻评论
■网友
这里有个教程,可以轻松爬取新浪微博的用WebCollector爬取新浪微博数据
推荐阅读
- 『黄金时间』12月8日晚锁定江苏公共新闻频道《黄金时间》 建设“节水优先”的水乡江苏
- 《宿北大战》纪录片在宿豫开机
- 搜狐新闻|欧拉好猫10.38万起贵不贵?我们采访了一位男性KOL发现……| 聚闻
- 新浪微博创新基金投资了哪些团队
- 新浪汽车出品|配置提升是重点 试驾东风日产2021款天籁
- 封面新闻|耀出行:滴滴解决你代步的“温饱”问题,我来满足你出行的仪式感需求
- 界面新闻|不会吧?DS 9在欧洲竟然和宝马5系卖得一样贵
- 搜狐新闻|汽车行业迎来变更!我国已有省份禁售燃油车,燃油车还能挺几年?
- 目前哪些门户网站的新闻质量相对较高
- 为啥网易可以转发假新闻甚至传谣而不用担心承担责任