python爬取海量表情包,让你成为群里的斗图王

最近加入了斗图群,发现自己的表情包太少了,斗不过他们 。今天用Python实现批量抓取百度图片里面的表情包和他们决战 。
【python爬取海量表情包,让你成为群里的斗图王】需要实现的效果图:
 

python爬取海量表情包,让你成为群里的斗图王

文章插图
 
 
目标
  • 获取百度图片的URL,并且下载到本地
 分析:
  • F12检查来获取图片在源代码的位置 。可是发现源代码里根本就找不到的 。

python爬取海量表情包,让你成为群里的斗图王

文章插图
源代码
  • 那就是通过动态加载完成的,我们来验证一下
 
python爬取海量表情包,让你成为群里的斗图王

文章插图
 
  • 果然是这样的,图片链接在这个数据包里面,thumbURL对应着url,而且还发现pageNum: 30这个参数,表示一个数据包里面有30条数据(也就是30个图片链接)
  • 每一次请求的url参数,几乎都一样,只有一个参数是不同的,那就是pn,他指的是当前页面中已经展示的图片数目 。
我们所需要的信息都已经找到,那么开始编写代码吧
 


    推荐阅读