GitHub 上有哪些优秀的 Python 爬虫项目

可以毛遂自荐么,虽然没有楼上推荐的那些爬虫项目那么优秀,完全是业余时候打发时间的小作品,不过供新手学习使用还是绰绰有余的。(收藏是点赞的两倍,小伙伴们随手点个赞同呀~)
1. 模拟登录各大网站——DecryptLogin项目地址:
https://github.com/CharlesPikachu/DecryptLogin
项目中文文档:
https://httpsgithubcomcharlespikachudecryptlogin.readthedocs.io/zh/latest/
这是一个利用requests来模拟登录各大网站的开源包,目前支持模拟登录以下平台:
GitHub 上有哪些优秀的 Python 爬虫项目

利用pip命令安装该包后:
pip install DecryptLogin只需要简单的几行代码就可以实现支持列表中的任意一个网站的模拟登录操作,例如模拟登录百度网盘:
from DecryptLogin import loginlg = login.Login()infos_return, session = lg.baidupan(username, password, \u0026#39;pc\u0026#39;)其中infos_return是一个字典对象,里面有用户登录后的一些基本信息,session是已经登录了目标网站的会话(requests.Session对象)。
那么模拟登录网站后有什么用呢?别担心,该开源项目会不定期添加一些需要模拟登录的爬虫小案例,帮助你更好地学习爬虫:
GitHub 上有哪些优秀的 Python 爬虫项目

每个案例都对应了我微信公众号里的一篇讲解文章(虽然文章可能不太走心,写的比较粗略,微信公众号名是“Charles的皮卡丘”,感兴趣的可以搜索关注一下)。例如微博监控:
Python监控小姐姐/小哥哥微博,了解一下?网易云音乐自动签到脚本:
整个小例子呗,实现一下网易云音乐自动签到大吼一声发条微博:
随便玩玩,要不要试试大吼一声来发条微博爬取目标用户的所有微博数据:
听说想了解一个人要从爬取她(他)的所有微博开始呢~生成QQ个人专属报告:
模拟登录系列 | 生成QQ个人专属报告下载B站指定UP主的所有视频:
模拟登录系列 | 下载B站指定UP主的所有视频网易云个人歌单下载器:
模拟登录系列 | 来写个网易云个人歌单下载器?等等。
或许有人懒得点进去,放几个视频吧(都是公众号+Github里的案例):
GitHub 上有哪些优秀的 Python 爬虫项目
网易云个人歌单下载器https://www.zhihu.com/video/1224365085185171456GitHub 上有哪些优秀的 Python 爬虫项目
下载B站指定UP主的所有视频https://www.zhihu.com/video/12243653279138324482.音乐下载器(2020.04.01完成Flag)项目地址:
https://github.com/CharlesPikachu/Music-Downloader
项目文档:
https://musicdl.readthedocs.io/zh/latest/index.html
目标支持的平台情况:
GitHub 上有哪些优秀的 Python 爬虫项目

运行效果是这样子的:
GitHub 上有哪些优秀的 Python 爬虫项目
音乐下载器https://www.zhihu.com/video/12287996680977285123.视频下载器项目地址:
https://github.com/CharlesPikachu/Video-Downloader
也很久没更新了,大概长这样:


推荐阅读