京东电商搜索中的语义检索与商品排序( 二 ) _京东

我们标记 query 的多个 embeding 为 Q(q)={e1,e2,...,em}，其中 ei∈Rd，Sku 的 embedding 为 S(s)=g，g∈Rd，Query 和 sku 的打分计算如下：

文章插图

其中 β 是 softmax heat 参数。假设 D 表示训练预料，r(qi,si+) 为正样本，r(qi,si-) 为负样本，模型优化的 loss 可表示为：

文章插图

④ Negative Sampling
我们采用的是用户点击数据，数据量在10亿级作为正样本。负样本并未使用同 session 未点击的样本，因为搜索手机，展示了小米和华为手机，不能说未点击就是不相关商品。负例分为两部分：random negatives、batch negatives 。我们增加了一组超参来调整两者的比例，观察发现 random negatives 越多，召回商品的 popularity 越高，更能吸引用户点击下单，但会降低商品与检索 query 的相关性。

文章插图

模型训练算法具体如下：

文章插图

3. 训练优化
我们也尝试过更强大的神经网络，如 RNN、transform 等，得到的效果类似或稍好一些。然而一个短延时的模型更适用于工业生产建模，这样可以使用更少的服务器做有效的离线训练和在线服务。
模型系统方面，我们也做了一系列训练优化，简单描述其中的几点：

实现 c++ tokenizer，以 custom operator 方式加载到 tensorflow，离线训练和在线服务共用，保证 token 的一致性。
训练数据压缩，修改训练数据格式，把共用的特征数据加载内存，训练时展开从而降低数据存储。也便于训练时做负例采样。

文章插图

可伸缩分布式，切分大的 embedding，并将 sum up 放到 ps 以解决 worker/ps 带宽瓶颈。
模型 servable 服务，我们将向量检索和 tfs 合成一个服务，不仅减少一次网络访问，降低系统 3-5ms 的平响，而且将模型分片部署，从而可以支持上百个模型同时服务或者 A/B 实验。同时 servable 服务是 cpu 和 gpu 混合部署。

文章插图

4. 语义检索效果展示
语义检索上线后获得了很好的体验效果，不仅提升了转化，长尾流量降低了近10%的 query 改写率，也就是说用户不需要多次改写 query，就能获得想要的商品结果。

文章插图

03
商品排序
下面介绍下商品排序：
商品排序主要是根据用户的输入对商品进行打分排序。商品排序的传统方法使用 xgboost 等基于决策树的方法从数据中进行学习，但是这些模型通常有成百乃至上千的数值型人工特征，不能有效的从原始特征比如用户历史点击购买数据、商品文本和图像中直接学习。近年来，深度学习在各种应用中验证了从原始特征中学习的有效性，在业界被广泛使用，比如 wide&Deep、DIN 等。下面介绍一个我们在商品搜索排序中尝试的方法。
1. 双胞胎网络
我们的训练数据来自于用户的搜索日志，通过将同一个 session 中用户购买的商品 ( 商品a ) 和没有购买的商品 ( 商品b ) 配对起来，并把购买未购买作为最终学习的 label，从而构造了用户查询-商品对训练集。
根据训练数据，我们首先设计了双胞胎网络结构：

文章插图

双胞胎网络结构有两个共享参数的模块，每个模块分别输入用户、查询和商品特征，每个模块采用 ReLU 作为激活函数，最终层的输出一个分数，两个模块的差值和数据 label 作为交叉熵损失函数的输入。
在特征方面，我们使用以下几种不同类型的特征：

数值型特征：包括商品销量、用户购买力和用户是否点过、购买过商品等。
文本特征：包括用户输入的查询和商品名称等。
用户历史行为：包括历史点击、购买、加购商品 list 等
商品、用户 id 等

文本特征可以学习到一定的相关性信息，用户历史行为可以学习到个性化信息，id 类特征我们做了 pretrain 。
2. 个性化升级
在第一版双胞胎模型中，我们简单的对用户的历史行为做 sum pooling，但是这样缺乏和搜索商品的交互，无法精准的表示用户的兴趣；为了加强用户的交互，我们升级了模型的结构，用候选商品和用户历史商品做 attention，从而将静态的 user embedding 升级为随 query 和当前商品变化的 user embedding 。