[人工智能]AI研习丨洪宇:信息抽取的常识与前沿( 四 )


图6是Lu等的模型架构 。 同样地 , 该模型也设置了两个通道 , 完成的是一种多任务数据共享的学习过程 。 一条通道在编码过程中 , 集中学习词的表示方法 , 并尽量将学习到的表示用于触发词判别的优化;另一通道则引入了生成对抗机制 , 着力去除目标词项的信息而加强上下文信息的表示学习 , 从而实现上述上下文单一依赖的触 发词分类判别 。 在实用过程中 , 两个通道中的神经网络模型同时运行 , 形成词和上下文独立的分布式表示 , 并拼接在一起形成统一的表示 。 由此 , 我们也可以注意到 , 这种表示的优势在于“此弱彼强”的模式 , 即当词义能够发挥作用时 , 上下文的信息仅仅用作辅助判别的特征 , 当词义无法获得有效表示的时候 , 上下文信息的表示则成为分类的主要依赖 。 我们认为 , 这一模型在实用过程中 , 将发挥更显著的增强效果 。
[人工智能]AI研习丨洪宇:信息抽取的常识与前沿
本文插图

图 6 利用对抗的抽取模型增强技术
(节选自“AI 前沿讲习班 第 8 期 ——自然语言理解、生成与人机对话”)
洪宇 【[人工智能]AI研习丨洪宇:信息抽取的常识与前沿】苏州大学教授 。 主要研究方向为自然语言处理和人工智能 。 合作参与多项国际评测 , 包括TAC-KBP信息抽取评测 , 2014—2016年期间 , 在事件检测和SlotFilling(ColdStart) 任务中 , 曾获综合排名第一和第二的评测成绩 。 参与制定事件关系标准及数据标注规范 , 以及低资源信息抽取、垂直领域信息抽取和跨模态信息抽取的项目指南 。


推荐阅读