推荐系统架构治理 _推荐系统

在数字化革命和AI赋能的大背景下，推荐场景逻辑越来越复杂，推荐细分场景越来越丰富，对业务迭代和效果优化的效率有了更高的要求。推荐系统业务和技术在传统架构支撑下自然堆砌，变得越来越臃肿，开发维护困难，推荐系统在应用架构上正面临新的挑战。本文就第四范式在智能推荐系统架构方面的探索实践，聊一聊在应用架构治理方面提升推荐服务开发维护效率，增强系统灵活性和扩展性的新探索。重点探讨在开发推荐系统乃至智能系统领域时遇到的问题，解决方法及未来的发展趋势。
主要内容包括：

推荐系统业务现状、趋势及挑战
"治理"的指导思想
Flowengine架构
应用Flowengine后推荐的架构
实例演示

01
推荐系统业务现状，趋势及挑战
1. 推荐系统业务现状

文章插图

从图中我们可以看出，推荐系统大体可以分为三个阶段，最初的探索阶段，早在2010年左右，已经有了千人千面的说法，现在我们在学习推荐系统时，看一些文档或者资料，大都会拿亚马逊基于协同过滤的推荐、豆瓣基于标签的推荐系统做介绍，它们都是早期推荐系统应用在工业界的代表。到了第二阶段 ( 普及深入阶段 )，淘宝、京东以及一些垂直行业开始大范围尝试个性化推荐，此时，工程架构，算法策略层面都有了一些新的发展，比如一些大型推荐系统已经开始向实时特征，实时模型方向进行探索，以提升时效性，从而达到更好的推荐效果。到了第三个阶段 ( 规模化精细化阶段 )，进入移动互联网时代，推荐已经不仅限于PC端的单一场景推荐，出现了移动端及多场景的推荐需求。现今，从拼多多、快手、抖音的推荐，再到百度、头条的信息流推荐，推荐系统已经成为一个网站的灵魂，驱动着各种各样的业务场景，在这一阶段，智能化，工程化，标准化，注重开发效率和成本已成了技术探索的新方向。总体看来，推荐系统的发展趋势是一个从无到有，从有到精的过程，不管是工程，算法或者场景业务都有了深入的发展。
2. 业务趋势

文章插图

推荐系统从业务方面来说，呈现四个趋势：
① 场景更丰富：早期做推荐的时候，推荐的开发门槛和成本很高，一个网站集中精力维护好一个场景，那时最经典的场景可能就是主页下方的"猜你喜欢" 。到了现在，多端，多个资源位，更多的细分场景都会有推荐需求。举个例子，从进入页面的"猜你喜欢"，导航九宫格的推荐，再到列表页或下单页的"看了又看"，"买了又买"，乃至在一个资源位上多个时段都有个性化的需求。在技术层面上，过去一个系统支撑一个场景或者一种模式，或者为了简单，一个架构，一个数据流，一个模型勉强应付多个场景，已无法满足业务精细化运作的需要。现在，一个推荐系统需要支持很多的场景，不同的场景也需要有不同的数据流，业务逻辑，模型来深入刻画；另一方面，早期做推荐系统是一个门槛很高的事情，对工程、算法的要求比较高，且业务逻辑高度定制，很难标准化、低门槛的开发，而现在随着场景越来越丰富，推荐需求的旺盛增加，原来的工作模式已不能满足需要，推荐场景开发需要向灵活化，标准化，规模化发展。
② 运营更精细：从简单规则 ( 比如像置顶，置底，黑白名单过滤 ) 向复杂规则转变，通用规则向个性化规则转变；技术主导变为技术+业务联营。推荐系统的效果好坏不再全是技术主导，业务也利用内容物料，规则玩法等运营手段发挥重要的作用。
③ 服务更实时：早期推荐模型都是基于历史数据采用离线批量的方式构建，离线的特征，离线的模型，导致系统时效性差，用户实时或近实时行为的影响无法体现在推荐的结果中，用户体验不好。让用户能够更快感受到变化，批量非实时向流式实时闭环推荐发展是推荐效果提升的必然趋势。
④ 未来的重要趋势：系统更智能，更知心。早期的一些简单算法或者规则，被更丰富，更复杂的AI算法所替代。推荐系统与AI结合的越来越紧密。推荐系统已经成为AI赋能的重要场景之一，如何构建一套对AI友好的推荐系统，在技术上也是一个很大挑战。
3. 带来的技术挑战
① 当前推荐系统的基本架构
在前面所讲的业务大趋势下，推荐系统技术层面正面临一些挑战。我们先了解一下当前推荐系统的基本架构，一般分为五个板块：