用Python抓取抖音app热点数据
今天给大家分享一篇简单的安卓app数据分析及抓取方法 。 以抖音为例 ， 我们想要抓取抖音的热点榜数据 。
文章图片
要知道 ， 这个数据是没有网页版的 ， 只能从手机端下手 。
首先我们要安装charles抓包APP数据 ， 它是一款收费的抓包修改工具 ， 易上手 ， 数据请求容易控制 ， 修改简单 ， 抓取数据的开始暂停方便等优势 ， 网上也有汉化版 ， 下载地址为http://www.zdfans.com/html/42074.html ， 一路默认安装就ok了 。
安装完成后要设置代理 ， 依次点击代理——代理设置 。
文章图片
然后在手机端设置代理 ， 如下图所示：
文章图片
在保证手机和电脑在同一局域网的情况下 ， 代理服务器主机名设为电脑的ip地址 ， 端口设为8888 。
最后在电脑端和手机端分别安装证书 。
电脑端安装方法：依次点击帮助——ssl代理——安装charlesroot证书 ， 按下图进行安装 。
手机端安装方式：帮助——ssl代理——在移动设备或远程浏览器上安装charlesroot证书 。
再在模拟器浏览器中输入chls.pro/ssl ， 会自动下载手机端证书
最后再手机端依次点击设置——安全——从SD卡安装 。
文章图片
为证书命名 ， 点击确认就安装成功了 。
打开charles ， 然后打开抖音app的热点榜界面 ， 在charles很容易就找到了数据接口 ， 一次就返回了50条数据 ， 如下图所示 。
它的url信息如下图所示 。
文章图片
此接口只能返回这一时刻的热点数据 ， 要想返回新的数据 ， 就要变换参数信息 ， 但是App端的数据接口参数都比较复杂 ， 这里我们不再深入分析 。
为了解决这一问题 ， 我们可以用appium定时模拟操控手机 ， 然后用mitmproxy把数据拦截下来（关于appium、mitmproxy的简介与安装网上有很多教程 ， 这里不再赘述）
Appium脚本如下图所示：
文章图片
这个自动化测试脚本比较简单 ， 主要是重复获取热点最新信息 。
Mitmproxy脚本如图：
有4点需要注意的地方：
1.用mitmproxy抓包前 ， 先把手机代理ip端口设置为8080 ， 设置方法同上；
2.要想在此脚本运行外置函数 ， 必须加上前两行 ， 要不然会出错；
3.脚本中ifurlinflow.request.url为数据流判断条件 ， 如果url在该数据流的url请求数据中 ， 则判断该数据为抖音app热点数据；
4.最后在脚本所在路径运行以下程序：
文章图片
【用Python抓取抖音app热点数据】最后再运行appium自动化测试脚本 ， 就大功告成了 。
推荐阅读
- 美国用“核试验”来恫吓中国“核裁军”，那是赤裸裸的核讹诈
- 颠覆未来战场？美军成功测试新武器，但中国早用来砍树了
- 大乔最适合带什么召唤师技能？闪现最无用，佩戴这个有奇效！
- 这3个星座爱得忠诚，弱水三千只取一瓢，用情至深断绝“暧昧”
- 超美的露肩装穿衣指南，溜肩、宽肩也能穿，不用羡慕别人了
- 弹射刀——美国禁止非军方人士使用的刀具
- 奇怪了！任正非都没用华为手机，凭什么要求董明珠用格力手机？
- 董明珠采访中秀出自用手机：三星Galaxy Fold
- 实力收割，iPhone12砍掉刘海，采用乔布斯时代的造型，真美！
- 用苹果还是安卓，看完你就清楚了