■现代ApacheNiFi负载平衡,你了解多少?( 二 )


对于一天或一年里不同的工作负载 , 比如每小时一次的负载或每周的工作 , 弹性扩展非常重要——扩展以满足SLA和最后期限 , 但是尽可能缩小规模以节省云支出!现在 , NiFi不仅解决了数据问题 , 还节省了资金 。

■现代ApacheNiFi负载平衡,你了解多少?
本文插图

ApacheNiFi节点关联性
RemoteProcess Groups不支持节点关联 。 节点关联受按属性划分策略支持 , 并且有许多用途 。
Remote Process Groups
使用RemoteProcess Groups替换以前的大用例 。 针对第一个连接 , 有更好的解决方案 , 比如在一个节点上运行的ListSFTP , 然后连接就可以是“Round Robin” 。
重要用例

■现代ApacheNiFi负载平衡,你了解多少?
本文插图

图源:Unsplash
Apache NiFi的这个负载平衡特性展示了在边缘 , 或其他数据中心分布大型数据集 , 或非结构化数据捕获、拆分和传输的能力 , 然后使用节点的属性关联性按照特定的顺序重组数据 。
因此 , 有时候会从一个系统导出大量的大容量数据 , 比如在一个大TB的文件中导出一个关系数据库转储 。 这需要一个NiFi节点来加载这个文件 , 然后将其拆分为块 , 进行传输 , 并将其发送给节点进行处理 。 有时 , 排序记录将要求使用一个属性将一个节点上的相关块(比如说同一个表)保持在一起 。
它还应用于包含许多类型的文件的zip文件中 。 通常 , 会有数百个具有多种类型的文件 , 需要根据文件名根(root)路由到同一个节点 。 这样 , 一个NiFi节点将处理所有相同的文件类型或表 。
这就是为什么任何NiFi用户 , 都可以轻松地实现和检查ETL过程中发生了什么 。
大家还有什么疑问吗?欢迎在评论区留下你的足迹哟!
■现代ApacheNiFi负载平衡,你了解多少?
本文插图

■现代ApacheNiFi负载平衡,你了解多少?
本文插图
留言点赞关注
我们一起分享AI学习与发展的干货
如转载 , 请后台留言 , 遵守转载规范


推荐阅读