江苏龙网

  1. 首页 > 资讯 > 科技 > >

|阿里云开源业界首个面向NLP场景深度迁移学习框架( 四 )



QA 场景领域关系学习
早在 2017 年 ， 我们就在阿里小蜜问答场景里面尝试了迁移学习 ， 我们主要侧重于 DNN based Supervised TL 。 这类算法主要有两种框架 ， 一个是 Fully-shared(FS) ， 另外一个是 Specific-shared(SS) 。 两者最大的差别是前者只考虑了 shared representation ， 而后者考虑了 specific representation 。 通常来说 SS 的模型效果比 FS 效果好 ， 因为 FS 可以看作是 SS 的一个特例 。 对于 SS 来说 ， 最理想的情况下是 shared 的部分表示的是两个领域的共性 ， specific 的部分表示的是特性 。 然而往往我们发现要达到这样的效果很难 ， 于是我们考虑用一个 adversarial loss 和 domain correlation 来协助模型学好这两部分特征 。 基于此 ， 我们提出了一个新的算法 ， hCNN-DRSS ， 架构如下所示：
|阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图

我们将这个算法应用在了小蜜的实际业务场景中 ， 在多个业务场景里（AliExpress, 万象 ， Lazada）取得了不错的效果 。 同时我们也在 WSDM2018 产出了一篇文章: Modelling Domain Relationships for Transfer Learning on Retrieval-based Question Answering Systems in E-commerce. Jianfei Yu, Minghui Qiu, et al., WSDM 2018 。
强化迁移学习 Reinforced Transfer Learning
迁移学习的有效性 ， 很大程度上取决于 source domain 和 target domain 之间的 gap ， 如果 gap 比较大 ， 那么迁移很可能是无效的 。 在小蜜 QA 场景 ， 如果直接把 Quora 的 text matching 数据迁移过来 ， 有很多是不太合适的 。 我们在小蜜的 QA 场景 ， 基于 Actor-Critic 算法 ， 搭建了一个通用的强化迁移学习框架 ， 用 RL 来做样本选择 ， 帮助 TL 模型取得更好的效果 。 整个模型分三部分 ， 基础 QA 模型 ， 迁移学习模型 (TL) 和强化学习模型(RL) 。 其中 RL 的 policy function 负责选出高质量的样本(actions) ， TL 模型在选出来的样本上训练 QA 模型并提供反馈给 RL ， RL 根据反馈（reward）来更新 actions 。 该框架训练的模型在双 11AliExpress 的俄语和西语匹配模型 ， 在西语和俄语的匹配准确率都取得了非常不错的提升 。 同时 ， 我们也将成果整理成论文 ， 发表在 WSDM2019. (Learning to Selectively Transfer: Reinforced Transfer Learning for Deep Text Matching. Chen Qu, Feng Ji, Minghui Qiu, et al., WSDM 2019.）
|阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图

元调优 Meta Fine-tuning
预训练语言模型的广泛应用 ， 使得 Pre-training+Fine-tuning 的两阶段训练模型成为主流 。 我们注意到 ， 在 fine-tuning 阶段 ， 模型参数仅在特定领域、特定数据集上 fine-tune ， 没有考虑到跨领域数据的迁移调优效果 。 元调优（Meta Fine-tuning）算法借鉴 Meta-learning 的思想 ， 旨在学习预训练语言模型跨领域的 meta-learner ， 从而使得学习的 meta-learner 可以快速迁移到特定领域的任务上 。 这一算法学习训练数据样本的跨领域 typicality（即可迁移性） ， 同时在预训练语言模型中增加 domain corruption classifier ， 使得模型更多地学习到领域无关的特征（domain-invariant representations） 。
|阿里云开源业界首个面向NLP场景深度迁移学习框架
本文插图

我们将该 fine-tuning 算法应用于 BERT ， 在自然语言推理和情感分析等多个任务上进行了实验 。 实验结果表明 ， 元调优算法在这些任务上都优于 BERT 的原始 fine-tuning 算法和基于 transfer learning 的 fine-tuning 算法 。 我们也将成果整理成 paper ， 发表在 EMNLP 2020. (Meta Fine-Tuning Neural Language Models for Multi-Domain Text Mining. Chengyu Wang, Minghui Qiu, Jun Huang, et al., EMNLP 2020.）


推荐阅读


上一篇：|微软云上太空计划：马斯克SpaceX星链加持，云服务遍布全球

下一篇：中年|5G发牌一周年之际 贵州移动跑出5G“加速度”