江苏龙网

  1. 首页 > 生活 > >

GitHub 上有哪些优秀的 Python 爬虫项目( 九 )


6:ip更换技术 {代理，tor，adsl}
7:请求伪造 {phantomjs，requests，selenium}
8:phantomjs {伪造请求头，获取页面截图，获取页面源码，设置超时}
9:selenium {伪造请求头，支付宝模拟登陆}
10:UrlSpider {项目中常用的采集代码样本，经过多线程数据库操作优化，最高速度6kw/d}
2、login-model
Github地址：https://github.com/CriseLYJ/awesome-python-login-model
与接下来要说的的一些热门爬虫项目相比，这个项目显得逊色了不少，但它却是整个爬虫世界的基石。如果你的爬虫程序，连目标网站都无法登录，无疑是非常失败的。
这个项目就很好的帮你解决了这些问题，它收集了很多各大网站的登录方式和爬虫程序，对于还在学习爬虫的小白非常友好最重要的是，这个项目的爬虫，基本上都不会出现无法使用的情况，如果目标网站有了一些反爬虫机制的更新，或者已经重构了，作者也会进行标记，实时更新就很厉害了。
GitHub 上有哪些优秀的 Python 爬虫项目

3、awesome-spider
地址：facert/awesome-spider
这是ID为facert的一个工程师开源的，star6000+，内容如下：
这一款爬虫，里面搜集了几乎所有可以爬取的中文网址，从豆瓣到知网，抖音微博到QQ，还有很多的不可描述的网站，你懂的。
4、Nyspider
地址：https://github.com/Nyloner/Nyspider
这是ID为Nyloner的一个今日头条的工程师弄的，star1000+，风格与上面的项目大有不同。
可以看出，都是各类网址。这很头条，跟这位小哥哥的工作内容估计有关系。
5、awesome-python-login-model
地址：Kr1s77/awesome-python-login-model
这是ID为CriseLYJ(职业不详)的用户，这个项目用于模拟各种网址登陆，也包含一些简单的爬虫，star6000+。
先从这个项目开始分析各大网站的登录方式，非常有用，可谓摸清对手再动手。
6、python-spider
地址：Jack-Cherish/python-spider
这是ID为Jack-Cherish的东北大学的一个学生整理的学习python爬虫的资料，star6000+，包含不少的实战项目，非常适合想学习的朋友。
优秀图片/视频项目
工具亲测长期有效，省去了很多找爬虫工具的时间，早用早好。
1、各大视频网站爬虫
地址：iawia002/annie
由ID为iawia002的用户整理，Annie是一款以go语言编码的视频下载工具，使用便捷并支持youtube，腾讯视频，抖音等多个网站视频和图像的下载，收录站点如下，可以说是该有的都有的：
虽然这个项目可以下载图片，但是我们还是来用它下载视频吧，使用方法很简单：
annie ［可选参数］http://… (视频网址)
视频会下载到当前目录，至于那些可选参数，赶紧去摸索吧。
2、各大网站的 Python 爬虫登录汇总
作者收集了一些网站的登陆方式和爬虫程序，有的通过 selenium 登录，有的则通过抓包直接模拟登录。作者希望该项目能帮助初学者学习各大网站的模拟登陆方式，并爬取一些需要的数据。
作者表示模拟登陆基本采用直接登录或者使用 selenium+webdriver 的方式，有的网站直接登录难度很大，比如 qq 空间和 bilibili 等，采用 selenium 登录相对轻松一些。虽然在登录的时候采用的是 selenium，但为了效率，我们也可以在登录后维护得到的 cookie。登录后，我们就能调用 requests 或者 scrapy 等工具进行数据采集，这样数据采集的速度可以得到保证。
目前已经完成的网站有：
Facebook无需身份验证即可抓取 Twitter 前端 API微博网页版QQZoneCSDN淘宝Baidu果壳JingDong 模拟登录和自动申请京东试用163mail拉钩Bilibili豆瓣Baidu2猎聘网微信网页版登录并获取好友列表Github爬取图虫相应的图片如下所示，如果我们满足依赖项，那么就可以直接运行代码，它会在图虫网站中下载搜索到的图像。


推荐阅读


上一篇：国产运动品牌看起来没落了吗

下一篇：新人刚到公司看不懂各种邮件咋办