别看人工智能作诗写文章是把好手,新测试显示缺乏常识仍是人工“智障”( 二 )


“之前的研究主要集中在区分常识上 。 ” Xiang Ren说 , “他们用多项选择题来测试机器 , 而机器的搜索空间很小——通常是四五个候选 。 ”
例如 , 区分常识测试的典型设置是多项选择题的回答任务 , 例如:“成年人在哪里使用固体胶水?”A:教室B:办公室C:书桌抽屉 。
当然 , 答案是“B:办公室 。 ”即使是计算机也能毫不费力地解决这个问题 。 相比之下 , 生成式环境则更加开放 , 比如CommonGen任务 , 模型被要求从给定的概念中生成一个自然的句子 。
Xiang Ren解释说:“广泛的模型训练,很容易在这些任务有很好的性能 。 与那些有区别的常识推理任务不同 , 我们提出的测试侧重于机器常识的生成方面 。 ”
Ren和Lin希望这些数据集能成为一个新的基准 , 对未来将常识引入自然语言生成的研究有益 。 事实上 , 它们甚至有一个排行榜 , 描述了各种流行模型的得分 , 以帮助其他研究人员确定它们在未来项目中的可行性 。
“机器人需要了解我们日常生活中的自然场景 , 然后才能做出合理的动作与人互动 。 ” Lin说 。
“通过向机器介绍常识和其他特定领域的知识 , 我相信有一天我们会看到像电影《她》(Her)中的萨曼莎(Samantha , ‘寡姐’斯嘉丽声音出演)那样的人工智能代理产生自然反应 , 并与我们的生活互动 。 ”
编译/前瞻经济学人APP资讯组
原文来源:
【别看人工智能作诗写文章是把好手,新测试显示缺乏常识仍是人工“智障”】


推荐阅读