江苏龙网

  1. 首页 > 生活 > >

python网络爬虫(没有使用scrapy)中怎样克服封ip问题

一般别直接考虑是IP的问题, 没人打仗直接上核弹.
【python网络爬虫(没有使用scrapy)中怎样克服封ip问题】 1. 最基本的, 你User-Agent换了没?
2. cookie 分析了没?

■网友
最近新出现在市面上的一个极光爬虫代理，用起来感觉还不错的！

■网友
楼主，你解决这个问题了么？我最近也在爬，一般爬100条左右就会流量异常，人肉验证一次后可以继续爬100条左右。
headers={
\u0026#39;User-Agent\u0026#39;:\u0026#39;Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36\u0026#39;, \u0026#39;connection\u0026#39;:\u0026#39;keep-alive\u0026#39;, \u0026#39;Accept\u0026#39;:\u0026#39;text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8\u0026#39;, \u0026#39;Accept-Encoding\u0026#39;:\u0026#39;gzip, deflate, sdch\u0026#39;, \u0026#39;Accept-Language\u0026#39;:\u0026#39;zh-CN,zh;q=0.8\u0026#39;,}
我头文件这么写的，用的requests

■网友
很少出现ip被封的情况，一般考虑爬虫伪装的像不像普通用户在浏览。另外不要使用透明代理，会暴露来源ip。纯手写爬虫建议使用requests库，或者异步的aiohttp库，更好用一点。


    推荐阅读


    上一篇：共享单车扶不扶

    下一篇：是谁把 core dump 翻译成吐核的为啥会这样翻译