教你用Python爬取哔哩哔哩全站视频信息
哔哩哔哩全站视频信息爬虫(可能会漏爬)B 站感觉最近几年发展得太快了,不由得想知道有多少视频,翻阅了一大半网络找了很多爬虫感觉都不是特别的复合自己的胃口(挑食~),于是自己写一个(才学习爬虫没多久写得垃圾代码大佬别喷我啊….)
私信小编01即可获取大量Python学习资料
开发环境: Windows10 + Python3
工具: VSCode
准备工作
安装Python3安装Python这些就麻烦自己百度吧..
依赖pip3 install -r requirements.txt1运行python3 bili_video_get.py1代码部分
文章插图
运行结果截图(出现各种403,或访问权限不足请不要在意)
文章插图
保存本地结果
文章插图
思路通过浏览器打开网页url,打开开发者工具(F12),点击Network,点击JS,刷新(F5),找到 api地址
这里写图片描述
复制下来 ， 去除没必要的内容 ， 得到， 用浏览器打开 ， 会得到如下的 json 数据
{ "code":0, "message":"0", "ttl":1, "data":{ "aid":15666899, "view":4422, "danmaku":2, "reply":12, "favorite":28, "coin":4, "share":48, "like":1, "now_rank":0, "his_rank":0, "no_reprint":0, "copyright":2 } }
【教你用Python爬取哔哩哔哩全站视频信息】所以通过 访问 api,得到数据,解析,然后保存到数据库或者保存到本地……我差不多爬了半天左右,出去吃个饭回来看了看,逛了一个某乎,然后电脑就蓝屏了…..数据就没爬完,打算放Linux下爬,由于这个脚本只在Windows10上测试过,在其他环境测试请自己动手改一下保存本地地址……
文章插图
推荐阅读
- 计算机专业大一下学期，该选择学习Java还是Python
- 想自学Python来开发爬虫，需要按照哪几个阶段制定学习计划
- 教你用Siri来控制电脑：真香
- 未来想进入AI领域，该学习Python还是Java大数据开发
- 虾米|虾米音乐宣布2月5日关停 你用过虾米音乐吗？
- 2021年Java和Python的应用趋势会有什么变化？
- 非计算机专业的本科生，想利用寒假学习Python，该怎么入手
- 用Python制作图片验证码，这三行代码完事儿
- 怎样提高苹果6的运行速度？有这些问题就别救了，你用了几年了？
- 历时 1 个月，做了 10 个 Python 可视化动图，用心且精美...