关于工具类框架其实小编说的工具类框架,就是解决特定场景的项目,比如后台管理框架、内容管理框架,这里就不一一列举了,遍地都是,回头或许会做个专题来介绍整理一下 。
但是这里要介绍一个有趣的工具类框架,爬虫框架 。
Beanbun,是一个简单地可扩展的爬虫框架,支持分布式、守护进程,使用Guzzle来做HTTP客户端 。
他是基于Workerman的,专门用来做爬虫的项目 。它有以下特点:
- 支持守护进程与普通两种模式(守护进程模式只支持 linux 服务器)
- 默认使用 Guzzle 进行爬取
- 支持分布式
- 支持内存、Redis 等多种队列方式
- 支持自定义URI过滤
- 支持广度优先和深度优先两种爬取方式
- 遵循 PSR-4 标准
- 爬取网页分为多步,每步均支持自定义动作(如添加代理、修改 user-agent 等)
- 灵活的扩展机制,可方便地为框架制作插件:自定义队列、自定义爬取方式...
最后以上就是本文对框架的简单介绍,除了本文提到的这些外,还有许许多多的优秀的框架,这里没提到并不是说他们不好,而是小编还没有这样的能力去了解清楚 。以后有机会再介绍 。
推荐阅读
- 刷乳胶漆前如何遮挡家具,装修的时候要保护哪些东西
- 行业大数据有哪些安全风险
- 宝宝腹胀气快速排气法有哪些?
- 小儿腹胀气快速排气法有哪些?
- 淘宝提示有违规记录,但是体检中心没有 卖家中心体检中心没有违规记录啊
- 昔归茶简介,廖氏普洱云南勐库冰岛昔归茶业有限公司简介
- 易武普洱茶,易武茶区的普洱茶有哪些特点
- 宝宝胳膊上有一块癣
- 白百破打完胳膊有硬块
- 抖音位置怎么设置自己店铺名字 抖音怎么加自己的店铺