江苏龙网

  1. 首页 > 资讯 > 资讯 > >

遍历|词嵌入的经典方法，六篇论文遍历Word2vec的另类应用( 二 )


然后回到 w，这里的 w 允许对各种形式的 w 进行选择，比如完整的句子或形式的元组 (主要对象、关系、次要对象)。w 的选择取决于我们所关心的任务。例如，在常识断言分类和基于文本的图像检索中，w 是元组中的短语，而在视觉释义中，w 是句子。给定 w，S_w 也是可调的。它可以包括所有的 w(例如，从元组中的一个短语学习时) 或单词的一个子集(例如，从句子中的一个 n 元上下文窗口学习时)。
最后再说一下效果，这个任务其实就是在 w2v 的基础上进行 finetune，这种直接进行全局 finetune 的效果，据论文中所说，也可以保持最开始 w2v 的效果，就是如果一些词在 finetune 过程中没有出现，它们就会保持原有的语义特性，这种全局 finetune 并不会让新型的 w2v 在传统任务中变得更差。
如下表 1 所示的视觉转述任务对比中，vis-w2v 的效果比单纯的 w2v 任务要好很多。
表 1：转述任务平均准确率（AP）。表源：[1]
2.2 Visually Supervised Word2Vec (VS-Word2Vec) [2]
论文链接：https://ieeexplore.ieee.org/abstract/document/8675640?casa_token=lw7U2LlGUk4AAAAA:uhM9BVykvRQyYoWE5KCq3BfjUSjLRED2yV7nktCUgw3jDcAh_R2xx8iV7Az3pBWTZPBQ87cQzEgd
这篇论文也是想将图片中的信息传递给 w2v，让 w2v 空间能够更好地表征图片中的信息。上一篇论文是将广义的图片信息加入到 w2v 中（通过图片的相似度来引导词的相似度），而这篇论文的全称则是 Embedded Representation of Relation Words with Visual Supervision，顾名思义，就是为了让嵌入空间能够更好地表征关系词（“我拿着包”里的 “拿着” 就是关系词）。
本文除了与第一篇论文要表征的信息不同之外，所用的方法也不一样，其根本思想就是：如果这个词是关系词，那么就让上面（CNN）产生的词嵌入跟下面产生的嵌入尽量相同，但是如果这个词不是关系词，那就不管上面的，跟传统的 CBOW 训练完全一样。
这里的 y_wi 就是某个关系词 wi 的表征，具体就是利用 VGG 来得到这个关系词对应的所有图片（Q_i 张图）的特征向量（y_wi^q），然后对这些特征向量取平均值。前面说过，如果训练的词属于关系词，那么作者希望通过 CBOW 和通过 CNN 生成的两种 embedding 尽量一致，本文中的不一致性则由下式衡量：
这里的 s_ij 表示关系词 i 和关系词 j 的余弦相似度，右下角标的 r 代表这是关系词，x 则代表 CBOW 中产生的词嵌入，v 则代表 CNN 中生成的词嵌入，这个式子中 J 越小越好。
遍历|词嵌入的经典方法，六篇论文遍历Word2vec的另类应用
文章图片
首先 D 是 CBOW 的训练集，然后对于这个训练集中的每个词，计算两个损失 e1 和 e2，e1 就是前半部分，也就是传统 CBOW 的损失，e2 是后半部分，衡量了两种 embedding 的不一致性（J_V），\lambda 就是个可调的超参数，p_t 表示 w_t 是不是关系词，如果是关系词，那么 p_t=1，保留后半部分，如果不是关系词，则变成传统的 CBOW 训练过程。
使用这种方法后，作者在 SimVerb-3500 中的九个类别的同义词（SYNONYMS, ANTONYMS, HYPER/HYPONYMS, COHYPONYM，NONE ）进行了对比，对比结果如表 2 所示，总体来说是比 CBOW 要好的，而且一些特别的类中，效果的提升还很大。
表 2：同义词一致性结果。表源：[2]
2.3 Action2Vec [4]
论文链接：https://arxiv.org/pdf/1901.00484.pdf
具体来说，左边先使用由 [5] 中数据集预训练好的 C3D 模型来提取每一帧的图片的特征向量，然后使用了一个 Hierarchical Recurrent Neural Network (HRNN) ，并加入了自注意力机制，最后通过一个全连接层（fully connected weights）将 LSTM2 得到的视频嵌入变成跟词嵌入相同维度的向量，最后这个向量又通过一个全连接层做了一个分类任务，判断这个视频对应的动作是什么。然后通过一个“双损失”（cross entropy+pairwise ranking）来让改善后的 joint embedding space 同时具有视频和文本的语义信息。
双损失（dual loss）：这里的双损失就是指 cross entropy 加 pairwise ranking loss，cross entropy 这里就不多做介绍，对应的就是上面说的分类任务，pairwise ranking loss(PR loss)如果不了解的可以看一下这篇文章（https://gombru.github.io/2019/04/03/ranking_loss/），会更容易理解下面的式子。这里的 PR loss 定义为下式：
最后需要说明的一点是因为两个数据库的词并不能完全一致，可能会出现视频数据库中的词在 word2vec 词库中不存在的情况，这时这些动词就会被转化成对应的形式（如 walking 变成 walk 等）。
实验部分，作者在 ZSAL(Zero Shot Action Learning)任务中与其他 ZSL 模型进行了对比，可见作者提出的模型在各个数据集上的效果都是最好的。
表 3：ZSAL(Zero Shot Action Learning)模型效果对比。表源：[4]
2.4 sound-word2vec [7]
论文链接：https://arxiv.org/pdf/1703.01720.pdf
与第一篇论文一样，这里分类任务的标签又是来自于聚类。s 先经过聚类得到类别标签，然后这个标签就用于训练 W_P 和 W_O。整体上来说，这篇论文的思想跟第一篇论文差不多，但是论文中关于声音如何表征等的声音处理还是很具有启发性的，同时这篇论文再一次证明了整体 finetune 可以在改善传统词嵌入空间上取得不错的效果。


推荐阅读


上一篇： 础设施|超1000亿专项贷款支持新基建？山西：“安排！”

下一篇： 气质|四五十岁的女人不服老！夏季咬咬牙买这3款连衣裙，减龄更有气质