用python做爬虫爬取京东商品评论， 出现了返回空白获取网页重复的情况咋解决
这个问题大概算解决了吧可能是京东对同一个商品的访问有一定限制比较随意的方法就是不要按照商品页数爬取 打乱商品链接的顺序如果能做到短时间访问的都是不同的商品 同种商品的时间间隔开基本就不会重复或者返回空白了嗯。。。不过京东真的是有非常多刷评论现象呢反正比我想的要多很多~~~~谢谢大家对问题的关注~
■网友
确认一下是不是缺少头信息或者cookie什么的。之前遇到过一个问题就是类似的，加上Content-Type之后就好了。
■网友
爬电商的数据要尽可能的模拟用户的操作，它们规则很隐蔽经常换的，建议你使用scrapy+selenium（网页自动化工具）；目前还是没爬取过京东评论。
■网友
手把手教你写电商爬虫-第五课 京东商品评论爬虫 一起来对付反爬虫 - 数据工厂 - 专栏
■网友
可能是触发了京东的反爬虫机制了，可以验证下
使用本地浏览器打开，查看是否异常清空Cookie在尝试下换其他浏览器（换UA、Cookie)如果上述都无效的话，可能是IP被封，到路由器中断开重连下。 【用python做爬虫爬取京东商品评论， 出现了返回空白获取网页重复的情况咋解决】 反爬虫无非以上几种方式。
■网友
图样图森破京东很多评论本身就是机器刷出来的
推荐阅读
- 怎样成为一名合格的Python程序员?
- python 爬虫，咋获得输入验证码之后的搜索结果
- python的html5lib这个库咋使用啊我在网上也没有找到相关文档
- 零基础入门学习啥语言好
- Python3.4和3.5区别大么
- python 中 def_（）：...... return _有啥作用
- 新互联网网站用Java还靠谱么对比Php，Python，Ruby的话
- 30岁男，创业失败转行学python，是否很晚?也不好找工作?
- Python 的开发速度比 C#.net 或 Vb.net 更快吗?
- 1、相同的网址，为啥浏览器http和https都能登录，而爬虫不行\n2、网页下载内容不全