江苏龙网

  1. 首页 > 资讯 > 科技 > >

|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络( 三 )


商品图构建
由于商品序列不天然适用于GNN ， 需要构建图结构以捕捉商品之间的关系 。 对序列中的每个商品 ， 抽取多个商品子序列（本文选取子序列长度为3） ， 并在其之间添加边 。 我们对每一用户记性呢此操作 ， 并计算所有用户被抽取商品对的边数量 。 之后 ， 我们对邻接矩阵进行列归一 ， 即可得到序列中关系更近的商品 。 图2展示了抽取商品邻接对并构建邻接矩阵的方法 。
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图

图2：商品邻接矩阵构建示例
短时兴趣聚合
为捕捉用户短期兴趣 ， 我们使用一个两层GNN以聚合邻接商品 ， 并学习用户短期兴趣表征 。 对于在长度为l的窗口中的商品j ， 其输入嵌入为ej ， 用户短期兴趣可表示如下：
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图

基于用户短期兴趣信息 ， 即可预测用户将浏览的下一个商品 。
但是 ， 近使用上一公式预测 ， 未能考虑到用户过去的长期兴趣：
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图
而对于序列推荐模型而言 ， 如何对长期商品依赖关系建模 ， 并平衡长期和短期信息的关系 ， 是非常重要的问题 。
长时兴趣建模
我们可以使用外部记忆单元存储随时间变化的用户兴趣 。 这一方法的问题在于 ， 维护每一用户的记忆单元会占据大量的存储空间 。 另外 ， 记忆单元可能捕捉和用户嵌入非常相似的信息 。 因此 ， 本文使用记忆网络存储所有用户共享的隐兴趣表征 ， 其中每一记忆单元表示一个特定类型的隐用户兴趣 。 对于一个用户在过去浏览的商品Hu,l ， 可以学习到一个多类型兴趣的组合 ， 以反映用户在Lu,l之前的长期兴趣 。
本文使用了多维度注意力模型以生成查询的嵌入表示 。 Hu,l中的商品嵌入表示为：
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图

则生成查询嵌入Zu,l的多维度注意力计算公式如下：
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图

对于查询嵌入Zu,l ， 我们使用下述查询在记忆网络中寻找合适的共享用户隐兴趣的组合 。 一般地 ， 记忆网络中的键和值分别表示为K和V ， 则用户长期兴趣嵌入可表示为：
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图

兴趣聚合
下一步即在GNN框架中对用户的长期和短期兴趣进行组合 ， 以生成用户兴趣预测 。 我们借鉴LSTM中的门机制平衡两类信息 ， 公式如下：
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图

商品共现建模
对于推荐系统而言 ， 学习商品间关系是最关键的步骤之一 。 在序列推荐问题中 ， 关系紧密的商品会在商品序列中接连出现 。 为捕捉商品共现规律 ， 我们使用双线性函数以显性表示Lu,l序列中的商品 ， 函数如下：
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图

预测和训练
为了推测用户偏好 ， 我们使用了一个预测层以结合前述所有因素：
|性能超越最新序列推荐模型，华为诺亚方舟提出记忆增强的图神经网络
本文插图

由于训练数据从用户隐性反馈中产生 ， 我们通过梯度下降 ， 使用贝叶斯个性化排序算法对模型进行优化 ， 该优化同时对积极（可观测）和消息（不可观测）的商品的对偶排序进行优化：


推荐阅读


上一篇：|SpaceX“龙”飞船首次载人航天发射成功，只是美国航天落日的余晖

下一篇：zol中关村在线|联想拯救者Y7000 2020 电竞女神最爱仅需8699