InfoQ|重新思考日志：业务系统竟然是一个大数据库？( 四 ) 《IHeartLogs》出版于2014年

最后将旧的job停止，并删除旧表
有状态的流处理有时在流处理的过程中我们还需要join其它数据来获取所需信息，如果处理每条数据都需要访问数据库，将使得整个过程变得缓慢。以LinkedIn的一个应用场景为例， Whoviewedyourprofile ，即查看谁访问过我的个人资料：

文章图片
原始数据就是用户访问的事件流，每个事件的数据结构大致如下：
"eventType":"PageViewEvent","timestamp":1413215518,"viewerId":"1234","viewedProfileId":"4321",//...}这时在订阅并处理事件数据时，就需要将viewer的profile信息填充上：

文章图片
最简单的方法就是从数据库取，那么每次重新处理就是一次全量数据获取，可能还会影响线上OLTP服务的稳定性。自然而然地，我们又想到在数据库和流处理之间加一层缓存：

文章图片
那么我们何不将缓存做进流处理器中？

文章图片
然后订阅profile的修改事件(ProfileEditEvent) ，更新流处理器本地的数据库，这样还能保证数据的最终一致，避免访问线上OLTP服务。这就是有状态的流处理。
小结本书将企业中的数据、数据流、各种数据服务系统看作是一个巨型的分布式数据库，日志就是这个数据库系统的操作日志，记录着所有历史增量数据，并以此为基础，提出以日志为中心的设计思想，并讨论了许多数据处理场景的不同处理方案，耐人寻味。
参考阅读：
I?Logs：
BigData:Principlesandbestpracticesofscalablerealtimedatasystems：
Buildingreal-timedataproductsatLinkedInwithApacheSamza：
https://www.youtube.com/watch?v=yO3SBU6vVKA&t=2233s
TheLog:Whateverysoftwareengineershouldknowaboutreal-timedata’sunifyingabstraction：
【InfoQ|重新思考日志：业务系统竟然是一个大数据库？】InfoQ读者交流群上线啦！各位小伙伴可以扫描下方二维码，添加InfoQ小助手，回复关键字“进群”申请入群。大家可以和InfoQ读者一起畅所欲言，和编辑们零距离接触，超值的技术礼包等你领取，还有超值活动等你参加，快来加入我们吧！

InfoQ|重新思考日志：业务系统竟然是一个大数据库？( 四 )

推荐阅读

超2亿美元合作辉瑞/Dewpoint共同开发DM1潜在疗法

于欢|美女主持人竟变身土味精神小妹？绝对是史上最不正经的女主持人

男子自曝猥亵女学生，警方：博眼球编造不实言论已行拘

娱乐圈|娱乐圈的10位“半老徐娘”，长腿美背、旷世容颜，越老越漂亮

霓虹|竟还乖乖排队让“坏人”量体温，日本警察搜查据点

|马云、任正非……商界大佬为何扎堆卸任？

京东天猫角逐激烈，小象优品、寺库等C位出道，这届618很激烈！

男人是在分手后多久，开始后悔的？

口腔溃疡的中医药膳治疗方法

华为亮相北京车展，多合一电驱动系统DriveONE引围观

漫威里面的组织,漫威里的组织有哪些-

小孩便秘吃什么药最好

数字赋能，共创未来——中外人士热情期待世界互联网大会·互联网发展论坛召开

「」程武兼任阅文CEO后的内部公开信：紧密联动、发展升维

移动|西安地铁拟禁止使用移动充电物品引发网友热议

离骚共计多少字

窗帘颜色的选择常识介绍

像向日葵一样|遭到康熙帝嫉妒，死后不得安宁，此人差点代替康熙成为清朝皇帝

咸阳@当“新冠”遇上“汉坦”看咸阳这家医院如何接招

没事|澳洲山火令各地干旱，断水小镇居民无奈：“有啤酒就没事”