1、相同的网址，为啥浏览器http和https都能登录，而爬虫不行\n2、网页下载内容不全
1、有的网页是javascript 生成的，这个抓取需要抓包，模拟。2、终极大法：selenium+PhantomJs
■网友
resp = s.get(get_url, headers=headers, allow_redirects=False)你使用这个 resp = s.get(get_url, headers=headers)让他自动跳转，如果resp.url != get_url 表示你没有登陆成功。。。应该是验证码没有提交这时候你有两种解决方法把浏览器的cookies手动放到程序内识别完验证码再提交
推荐阅读
- 为啥看到书柜上的藏书会有心旷神怡的感觉
- 为啥知乎上普便有一种【我在北上广深打工，所以拥有更好的视野】这样的错觉
- 为啥工商银行的用户体验如此之差
- 汽车|看了中消协4S店服务测评调查结果，终于知道法系车为啥卖不好了
- 你为啥从窝窝商城离职?
- 为啥5G和2.4G默认的BSSID是相同的
- 为啥电器实体店的价格比淘宝贵那么多
- 现在在线学习视频有很多了，为啥大部分人还是喜欢下载下来观看
- 咋解决电信营业厅对http网址的污染
- 为啥到现在你还没有女朋友 ?