爬虫的编程语言有不少,但 Python 绝对是其中的主流之一 。下面就为大家介绍下 Python 在编写网络爬虫常常用到的一些库 。
请求库：实现 HTTP 请求操作
- urllib：一系列用于操作URL的功能 。
- requests：基于 urllib 编写的 ， 阻塞式 HTTP 请求库 ， 发出一个请求 ， 一直等待服务器响应后 ， 程序才能进行下一步处理 。
- selenium：自动化测试工具 。一个调用浏览器的 driver ， 通过这个库你可以直接调用浏览器完成某些操作 ， 比如输入验证码 。
- aiohttp：基于 asyncio 实现的 HTTP 框架 。异步操作借助于 async/await 关键字 ， 使用异步库进行数据抓取 ， 可以大大提高效率 。
- beautifulsoup：html 和 XML 的解析,从网页中提取信息 ， 同时拥有强大的API和多样解析方式 。
- pyquery：jQuery 的 Python 实现 ， 能够以 jQuery 的语法来操作解析 HTML 文档 ， 易用性和解析速度都很好 。
- lxml：支持HTML和XML的解析 ， 支持XPath解析方式 ， 而且解析效率非常高 。
- tesserocr：一个 OCR 库 ， 在遇到验证码（图形验证码为主）的时候 ， 可直接用 OCR 进行识别 。
- pyMySQL：一个纯 Python 实现的 MySQL 客户端操作库 。
- pymongo：一个用于直接连接 mongodb 数据库进行查询操作的库 。
- redisdump：一个用于 redis 数据导入/导出的工具 。基于 ruby 实现的 ， 因此使用它 ， 需要先安装 Ruby 。
- Scrapy：很强大的爬虫框架 ， 可以满足简单的页面爬取（比如可以明确获知url pattern的情况） 。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据 。但是对于稍微复杂一点的页面 ， 如 weibo 的页面信息 ， 这个框架就满足不了需求了 。
- Crawley：高速爬取对应网站的内容 ， 支持关系和非关系数据库 ， 数据可以导出为 JSON、XML 等 。
- Portia：可视化爬取网页内容 。
- newspaper：提取新闻、文章以及内容分析 。
- python-goose：JAVA 写的文章提取工具 。
- cola：一个分布式爬虫框架 。项目整体设计有点糟 ， 模块间耦合度较高 。
- flask：轻量级的 web 服务程序 ， 简单 ， 易用 ， 灵活 ， 主要来做一些 API 服务 。做代理时可能会用到 。
- django：一个 web 服务器框架 ， 提供了一个完整的后台管理 ， 引擎、接口等 ， 使用它可做一个完整网站 。
【Python 网络爬虫的常用库汇总】
推荐阅读
- VMware 三种网络连接模式的详细介绍和区别
- Python一秒搭建ftp服务器，帮助你在局域网共享文件
- Python是用C实现的，Java是用C++实现的，那为何不直接用C/C++？
- python基础知识，元祖是什么？元祖的结构？
- python使用Bottle来提供一个简单的web服务！
- Python完整代码带你一文看懂抽样
- Python中print的那些事
- 4种出色的Python测试框架
- 企业骨干网络如何提高链路可靠性，核心交换机配置静态链路聚合
- Python数据分析、挖掘常用工具