多任务多场景问题解决方案与实践( 二 ) _多任务

百度MTMS(Multi-Task and Multi-Scene)[10]快手的 PEPNet，其网络结构采用共享底层的思路，而百度的MTMS则属于拆分多塔的思路。

文章插图
图片
MTMS 基于 ESMM 的思路，在 embedding 更新，以及模型训练方式上做了改进，损失函数也有所不同。
底部 embedding 层，ESMM 采用多任务共享 embedding 的方式，而 MTMS 为不同场景不同任务构建了独立的 embedding；
模型训练阶段，与 ESMM 直接端到端的训练不同，MTMS 采用两阶段训练方式，第一阶段为学习表示阶段，多个场景、多个任务构造各自独立的 embedding，分别训练，直到收敛；第二阶段为 fine-tune 阶段，将第一阶段得到的多个任务的 embedding 进行拼接，上层叠加 MLP（更新时只更新上层 MLP 的参数）学习不同场景的不同目标；
损失函数，与 ESMM 将CVR作为中间变量不同，MTMS 相对传统，直接建模 CTR 和 CVR ，同时辅助 CTCVR 损失，具体如下：
美团HiNet(Hierarchical Information Extration Network)[11]美团针对多场景多任务的推荐问题，在 MMoE 的基础上，采用分层抽取信息的思路，为模型增加跨场景传递信息的能力，同时保留场景和任务的特定特征。

文章插图
图片
HiNet 主要包含以下两个模块：
场景抽取模块，用于获取场景的表征，具体又包括了场景共享专家网络，场景独有专家网络，以及场景敏感的注意力网络(SAN)，分别刻画场景共享信息，场景独有信息，以及场景间的关联信息；
任务抽取模块，复用 MMoE 的网络结构，多个专家网络通过门控网络重新组合成不同的 embedding，输入不同的任务预测网络。
3 转转的多业务多场景问题及解决实践3.1 问题与解决方案转转自大力发展有保障的官方验服务以来，从手机3C类产品，向其他数码、电脑办公，以及家电等多品类渗透，卖场的服务种类随之多元化，同时以搜索、推荐为基本能力，发散出组货、帮选、尖货等多种类型的业务场景，除了多场景、多任务问题之外，还伴随着多业务的问题，即不同的业务有不同的运营方式，对应不同的物料库，且不同种类的物料需要关注的重点也不同。下图是节选的转转多个不同场景（对应存在多种业务，多个目标）的展示图：

文章插图
图片

本节介绍多场景多任务，叠加多业务问题下，转转搜索系统的解决方案。
同 MTMS 算法思路相同，转转的搜索系统，对多任务/目标问题（主要包括 CTR 和 CVR）的求解也是传统的单独直接建模的思路。但是对多场景问题的求解，跟 MTMS 构建单独 embedding，拆分多个独立塔的方式有所差异，考虑到转转的多场景之间存在明显的数据不平衡问题，可能会导致小场景的塔在 fine-tune阶段无法训练充分。此外，除了多场景，转转还面临多业务的问题，不同的业务背后对应不同特性的物料，若底层采用统一预训练好的 embedding 表示，不同物料的独有特征可能无法充分表达。
针对转转的多场景多业务问题，采用 EPNET + 特征级动态权重的网络结构刻画场景信息，网络结构如下图所示：

文章插图
图片
整个模型结构可以分成两大模块：表征生成模块与目标预测模块，与百度 MTMS 的两阶段学习方式相仿，却有本质上的区别，本文的模型是端到端学习的，其中表征生成部分是多业务多场景，以及物料、用户和 query 信息的集中表达；目标预测部分，即利用生成的表征做 ctr（或其他任务）的预测。
表征生成部分主要包括以下工作：
（1）场景信息通过场景对应的商品所在类目集合描述；
（2）用户、query与物料（包含常规特征与独有特征）特征均包含在 SparseFeatures 与 DenseFeatures中；
（3）DomAInNet 对所有特征做处理，输出特征权重，作用在除场景特征外的其他特征上，最终集成为全局的向量表征。
上层的任务预测模块复用经典的DCN(Deep & Cross Network)[12]结构。
该模型的上线，在转转搜索场景带来了全品类点击率6%+，以及支付转化率2%+的提升，尤其是流量相对较小的品类上，相对涨幅超过了全品类，由此可见该模型对多业务问题的解决效果。