■现代ApacheNiFi负载平衡,你了解多少?( 二 )
对于一天或一年里不同的工作负载 , 比如每小时一次的负载或每周的工作 , 弹性扩展非常重要——扩展以满足SLA和最后期限 , 但是尽可能缩小规模以节省云支出!现在 , NiFi不仅解决了数据问题 , 还节省了资金 。
本文插图
ApacheNiFi节点关联性
RemoteProcess Groups不支持节点关联 。 节点关联受按属性划分策略支持 , 并且有许多用途 。
Remote Process Groups
使用RemoteProcess Groups替换以前的大用例 。 针对第一个连接 , 有更好的解决方案 , 比如在一个节点上运行的ListSFTP , 然后连接就可以是“Round Robin” 。
重要用例
本文插图
图源:Unsplash
Apache NiFi的这个负载平衡特性展示了在边缘 , 或其他数据中心分布大型数据集 , 或非结构化数据捕获、拆分和传输的能力 , 然后使用节点的属性关联性按照特定的顺序重组数据 。
因此 , 有时候会从一个系统导出大量的大容量数据 , 比如在一个大TB的文件中导出一个关系数据库转储 。 这需要一个NiFi节点来加载这个文件 , 然后将其拆分为块 , 进行传输 , 并将其发送给节点进行处理 。 有时 , 排序记录将要求使用一个属性将一个节点上的相关块(比如说同一个表)保持在一起 。
它还应用于包含许多类型的文件的zip文件中 。 通常 , 会有数百个具有多种类型的文件 , 需要根据文件名根(root)路由到同一个节点 。 这样 , 一个NiFi节点将处理所有相同的文件类型或表 。
这就是为什么任何NiFi用户 , 都可以轻松地实现和检查ETL过程中发生了什么 。
大家还有什么疑问吗?欢迎在评论区留下你的足迹哟!
本文插图
本文插图
留言点赞关注
我们一起分享AI学习与发展的干货
如转载 , 请后台留言 , 遵守转载规范
推荐阅读
- #外观#李现代言的荣耀30,被iPhoneSE2截胡?怎么选不用我说了吧!
- #轻度玩机#李现代言的荣耀30,被iPhoneSE2截胡?怎么选不用我说了吧!
- 「」李现代言的荣耀30来了!颜值性能不输华为P40,小米10也危险了
- 「数码小妖怪」李现代言的荣耀30来了!颜值性能不输华为P40,小米10也危险了
- :2999元起,李现代言的荣耀30系列发布
- 『趣味科技』新型第二代 EPYC 处理器:重新定义数据库、商用 HPC 和超融合工作负载性能
- #飞利浦#飞利浦摩天轮插座测评,快充+6合1一体化的体验
- 『艺术装置,投影装置』当3D Mapping走进现代展厅,品牌主该如何出招?
- 『』外出带上它,缺电不用慌——ORICO 旅行PD充电器评测
- 『贵州』央媒看贵州丨贵州计划培育150家现代化工科技型企业