基于聚类的指代消解算法( 二 ) _指代消解算法

文章插图
Mention-Pair 特征的集合
Cluster-Pair Encoder 对上述特征集合进行 pooling 操作，生成 Cluster-Pair 的特征向量 rc(ci, cj) 。

文章插图
生成 Cluster-Pair 特征向量
2.3 Mention-Ranking Model
作者首先训练和一个 Mention-Ranking Model，用于对 Mention-Pair 打分。主要原因有两个：

预训练 Mention-Ranking Model 模型可以初始化 Cluster-Ranking Model 。
通过 Mention-Ranking Model 预测 Mention-Pair 的得分，可以对 Cluster-Ranking Model 的搜索空间进行剪枝，直接去掉一些不可能的 Mention-Pair 。

Mention-Ranking Model 只包含一层全连接层，得分 sm(a, m) 的计算公式如下，其中 rm(a, m) 是 Mention-Pair Encoder 生成的向量：

文章插图
Mention-Pair 得分
用 A(m) 表示 Mention m 所有可能的先行词集合，用 T(m) 表示 m 真实的先行词集合。通过计算一个 Mention 和所有 T(m) 的得分，可以找出一个得分最高的真实先行词，如下所示。

文章插图
得分最高的真实先行词
作者用了下面的损失函数训练模型，损失函数针对不同的预测错误采用不同的学习权重，NA 表示 Mention 没有先行词。

文章插图
Mention-Ranking 损失函数
2.4 Cluster-Ranking Model
用一个状态 x=（C, m) 表示当前的状态，其中 C={c1, c2, ...} 表示当前所有的簇，m 表示当前考虑的 Mention，cm 表示包含 Mention m 的簇。初始的时候每一个 Mention 单独成为一个簇。对于当前状态 x(c, m)，可以采用的行动 U(x) 包括：