Python爬虫实战案例：采集爱奇艺VIP视频
一、实战背景
爱奇艺的VIP视频只有会员能看 ， 普通用户只能看前6分钟 。
比如加勒比海盗5的URL：
私信小编01即可获取大量Python学习资料
#vfrm=19-9-0-1
文章插图
我们怎么免费看VIP视频呢？一个简单的方法 ， 就是通过旋风视频VIP解析网站 。 URL：
这个网站为我们提供了免费的视频解析 ， 它的通用解析方式是：
index.php?url=[播放地址或视频id]比如 ， 对于绣春刀这个电影 ， 我们只需要在浏览器地址栏输入：
index.php?url=#vfrm=19-9-0-1【Python爬虫实战案例：采集爱奇艺VIP视频】这样 ， 我们就可以在线观看这些VIP视频了：
文章插图
但是这个网站只提供了在线解析视频的功能 ， 没有提供下载接口 ， 如果想把视频下载下来 ， 我们就可以利用网络爬虫进行抓包 ， 将视频下载下来 。
二、实战升级
分析方法相同 ， 我们使用Fiddler进行抓包：
文章插图
我们可以看到 ， 有用的请求并不多 ， 我们逐条分析 。 我们先看第一个请求返回的信息 。
文章插图
可以看到第一个请求是GET请求 ， 没有什么有用的信息 ， 继续看下一条 。
文章插图
我们看到 ， 第二条GET请求地址变了 ， 并且在返回的信息中 ， 我们看到 ， 这个网页执行了一个POST请求 。 POST请求是啥呢？它跟GET请求正好相反 ， GET是从服务器获得数据 ， 而POST请求是向服务器发送数据 ， 服务器再根据POST请求的参数 ， 返回相应的内容 。 这个POST请求有四个参数 ， 分别为time、key、url、type 。 记住这个有用的信息 ， 我们在抓包结果中 ， 找一下这个请求 ， 看看这个POST请求做了什么 。
文章插图
很显然 ， 这个就是我们要找的POST请求 ， 我们可以看到POST请求的参数以及返回的json格式的数据 。 其中url存放的参数如下：
xfsub_api\/url.php?key=02896e4af69fb18f70129b6046d7c718pno=1121 --tt-darkmode-color: #FF6251;">三、编写代码
编写代码的时候注意一个问题 ， 就是我们需要使用requests.session()保持我们的会话请求 。 简单理解就是 ， 在初次访问服务器的时候 ， 服务器会给你分配一个身份证明 。 我们需要拿着这个身份证去继续访问 ， 如果没有这个身份证明 ， 服务器就不会再让你访问 。 这也就是这个服务器的反爬虫手段 ， 会验证用户的身份 。
文章插图
推荐阅读
- 计算机专业大一下学期，该选择学习Java还是Python
- 想自学Python来开发爬虫，需要按照哪几个阶段制定学习计划
- 未来想进入AI领域，该学习Python还是Java大数据开发
- 2021年Java和Python的应用趋势会有什么变化？
- 非计算机专业的本科生，想利用寒假学习Python，该怎么入手
- 用Python制作图片验证码，这三行代码完事儿
- 历时 1 个月，做了 10 个 Python 可视化动图，用心且精美...
- 为何在人工智能研发领域Python应用比较多
- 20款游戏实战！酷睿i7-10750H、锐龙9 4900H到底谁更强？
- 对于非计算机专业的同学来说，该选择学习Python还是C