Python之爬虫入门教程( 四 )


不管如何访问,服务器的目的就是查出哪些为代码访问,然后封锁 IP 。解决办法:为避免被封 IP,在数据采集时经常会使用代理 。当然,requests 也有相应的 proxies 属性 。
首先,构建自己的代理 IP 池,将其以字典的形式赋值给 proxies,然后传输给 requests,代码如下:
proxies={"http":"http://10.10.1.10:3128","https":"http://10.10.1.10:1080",}response = requests.get(url, proxies=proxies)
【Python之爬虫入门教程】


推荐阅读