Flink到底能不能实现exactly-once语义?( 二 )
那Flink如何实现端到端的exactly-once?要实现端到端的exactly-once , 需要 Flink 外部 Soruce 和 Sink 的支持 , 比如 Source 要支持精准的offset , Sink要支持两阶段提交 , 也就是继承TwoPhaseCommitSinkFunction 。
总结Flink 的 exactly-once 不是指数据只被处理一次 , 而是数据虽然可能被重复处理 , 但是结果(算子的状态)精准一次 。 而要实现 Flink 端到端的 exactly-once 则需要外部 Soruce 和 Sink 的支持 。
感谢您的阅读 , 如果喜欢本文欢迎关注和转发 , 本头条号将坚持持续分享IT技术知识 。 对于文章内容有其他想法或意见建议等 , 欢迎提出共同讨论共同进步 。
文章参考:
JasonLee
孙金城
推荐阅读
- 操控都成主打卖点 手机的未来战场到底在哪?
- “滑向2022”新浪杯高山滑雪公开赛,与华为WATCH GT2 Pro一起雪战到底
- 一文读懂,书架箱和落地箱到底哪个好?
- Win10 真的要兼容安卓 App 了,微软到底想玩什么
- FlinkSQL 动态加载 UDF 实现思路
- 电脑开机那么难
- 20款游戏实战!酷睿i7-10750H、锐龙9 4900H到底谁更强?
- 手机出现“自动更新”,到底要不要更新?答案已确认
- 充电太快会爆炸吗?氮化镓到底有多火?
- 把手机屏幕换成绿色,到底能不能护眼?