每日科技果粉|Facebook：易于解释的神经元可能阻碍深度神经网络的学习
编辑：张倩、杜伟
易于解释的神经元对于提升神经网络的性能来说是必要的吗？Facebook的研究者给出了出人意料的答案 。
AI模型能「理解」什么？为什么能理解这些东西？回答这些问题对于复现和改进AI系统至关重要 。 但遗憾的是 ， 计算机科学家在解释深度神经网络（DNN）方面的能力远远落后于我们利用这些网络获取有用成果的能力 。
理解DNN的一类常见方法是聚焦于单个神经元的属性 ， 如找到一个能够被猫的图像而非其他类型的图像激活的神经元 。 我们把这种对于特定图像类型的偏好称之为「类选择性（classselectivity）」 。
选择性的应用非常广泛 ， 部分原因在于它直观、易懂 ， 而且这些类型的神经元其实会自然地出现于多种不同任务上训练的网络中 。 例如 ， 为不同类型图像分类任务训练的DNN包含针对拉布拉多寻回犬激活最强烈（有选择性）的单个神经元 。 为了预测产品评论中单个字母而训练的神经元包含对积极/消极情绪具有选择性的神经元 。
但是 ， 要想让DNN发挥作用 ， 这些易于解释的神经元真的是必要的吗？这就好比通过汽车的排气管来研究其推进系统 。 尽管排气管与车速有一定关系 ， 但推动汽车前进的并不是它 。 那么 ， 类选择性到底是「引擎」还是「排气管」的一部分？
颇为意外的是 ， Facebook的研究者发现 ， 有强烈的证据表明即使DNN的大部分神经元没有类选择性 ， 它也能运转良好 。 他们还表示 ， 其实 ， 易于解释的神经元可能会损害DNN的功能并使其更容易受到任意扭曲的输入的影响 。
【每日科技果粉|Facebook：易于解释的神经元可能阻碍深度神经网络的学习】为了研究这一问题 ， 研究者开发了一种新的技术来直接控制DNN神经元的类选择性 。 他们的研究结果表明 ， 在理解DNN时过度依赖基于直觉的方法可能具有误导性 ， 如果这些方法没有经过严格的测试和验证 。 要完全理解AI系统 ， 我们必须寻找那些不仅依靠直觉 ， 还经历过实验检验的方法 。
Facebook研究者的发现
尽管很多研究者已经将类选择性当做DNN可解释性的一个工具进行了广泛的研究 ， 但令人意外的是 ， 很少有人去研究易于解释的神经元对于DNN发挥最佳作用是否必要 。 最近 ， 部分研究者已经开始了这一问题的探索 ， 但不同的研究给出了不同的结论 。
在此背景下 ， FacebookAI的研究者通过一种新的类选择性操纵方法来探索上述问题 。 在训练一个图像分类网络时 ， 他们不仅指导网络提高其分类图像的能力 ， 还添加了一个降低（或提高）神经元中类选择性程度的激励 。
文章图片
上图显示了操纵类选择性神经元如何影响DNN正确分类图像的能力（在TinyImageNet上训练的ResNet18） 。 每个点代表一个DNN 。 点的颜色代表类选择性在DNN神经元中被激励的程度 。 x轴表示DNN神经元间的平均类选择性 ， y轴表示DNN图像分类的准确性 。 灰色的点表示中立——既不鼓励也不抑制类选择性——表示这种类型DNN在自然状态下的类选择性发生水平 ， 研究者将其作为一个比较分类准确率的基线 。 通过抑制类选择性（蓝色点） ， 我们可以将测试准确率提高2%以上 。 相比之下 ， 激励类选择性（红色的点）会对DNN的图像分类能力产生明显的负面影响 。
在具体操作上 ， 研究者通过在用于训练网络的损失函数中添加一个类选择性项来实现这一点 。 他们使用一个参数来控制类选择性对于网络的重要性 。 通过这个参数可以激励或抑制易于解释的神经元 ， 以及激励/抑制的程度 。 这样的话 ， 研究者就相当于掌握了一个旋钮 ， 通过这个旋钮可以操纵网络中所有神经元的类选择性 。 他们借助这个旋钮进行了实验 ， 以下是实验的结果：
1.减少DNN的类选择性对于性能的影响非常小 ， 在某些情况下甚至会带来性能的提升 。 这些结果表明 ， 尽管类选择性在多种任务和模型中普遍存在 ， 但它并不是DNN发挥作用所必需的 ， 有时甚至会发挥负面作用；
推荐阅读
- 三星公司发布2021款数字座舱 集成诸多高科技
- 刚有望“出人头地”就被三大科技巨头围剿，“挺川者”新阵地下线
- 谷歌建立新AI系统 可开发甜品配方
- 柔性电子市场广阔，领头羊柔宇科技获更多关注
- 曝LG也将推出卷轴屏手机 你怎么看？
- AI战疫、真5G来了，十大最热门科技应用演绎速度与温度
- 又爆炸！联电科技传来一声巨响，或把8 英寸晶圆市场"炸"了
- 唐山四维智能科技有限公司：双臂机器人引领人机协作新纪元
- 国家超算郑州中心首批重大科技专项启动
- 一则消息传来，苹果iPhone12再现问题，“果粉”有点慌