每日科技果粉|Facebook：易于解释的神经元可能阻碍深度神经网络的学习( 二 )
2.在增加类选择性时 ， 可以发现DNN性能显著下降 。 这一结果表明 ， 类选择性的存在并不能保证DNN的良好运行；
3.与学术环境相比 ， 部署到现实世界的DNN通常要处理更加嘈杂、有挑战性的数据 。 研究者发现 ， 减少类选择性之后 ， DNN在处理有噪声、扭曲的数据时更加稳健 。 有趣的是 ， 减少类选择性也使得DNN更容易受到针对性的攻击（故意操纵图像来欺骗DNN） 。
Facebook的研究者认为 ， 我们之所以对这些结果感到惊讶 ， 可以归结为两方面的原因 。 首先 ， 由于类选择性天然地存在于多数DNN中 ， 它已经被广泛地用于理解DNN的性能 。 本文中的研究也表明 ， 在没有类选择性操纵的情况下 ， DNN自然而然地学习尽可能多的类选择性 ， 而不会对性能产生负面影响 。 这就引出了Facebook研究者希望在未来工作中回答的一个更深层次的问题：如果类选择性对良好的表现来说不是必需的 ， 为什么网络要学习它呢？
研究意义
研究者希望 ， 他们提出的这个类选择性旋钮能够鼓励其他研究者利用该技术进一步研究类选择性在DNN中扮演的角色 。 重要的是 ， 他们开发的理解复杂神经网络系统的方法是基于有意义的特征 。 研究者表示 ， 如果能够训练一个没有猫神经元也能很好地识别猫的DNN ， 我们就不应该试图通过关注猫的神经元来理解DNN 。 相比之下 ， AI研究者应该更多地关注、分析大群神经元是如何一起工作的 。
从更广泛的意义上来说 ， 研究者认为 ， 他们的研究为将单个神经元特性作为理解DNN性能关键的方法提了个醒 。 在得出这些结论之后 ， 他们还考察了一些广泛使用的可解释性方法如何产生有误导性的结果 。
为了解决这些问题 ， 他们发表了一篇立场论文来评估两个个案研究 。
本文所讨论的内容主要来自以下三篇论文：
《SELECTIVITYCONSIDEREDHARMFUL:EVALUATINGTHECAUSALIMPACTOFCLASSSELECTIVITYINDNNS》
链接：https://arxiv.org/pdf/2003.01262.pdf?fbclid=IwAR3PlRzcoiGXyfjqfySM5ZEQxeQsYkIknQI5PQfKhPe2XdxDtFUp2ohgAO8
《Ontherelationshipbetweenclassselectivity,dimensionality,androbustness》
链接：https://arxiv.org/pdf/2007.04440.pdf?fbclid=IwAR0yRDRql1uii1O_kqqa7EP2gFhKKFHkbq1OE0C9YAf8e6kcge6lu7Q9C1s
《Towardsfalsifiableinterpretabilityresearch》
链接：https://arxiv.org/pdf/2010.12016.pdf?fbclid=IwAR0lN7qgvPbV3ZUF5WzHs14g5xSr_QVKP9GuG6tkIhY611jWb79oFG9_sBY
推荐阅读
- 三星公司发布2021款数字座舱 集成诸多高科技
- 刚有望“出人头地”就被三大科技巨头围剿，“挺川者”新阵地下线
- 谷歌建立新AI系统 可开发甜品配方
- 柔性电子市场广阔，领头羊柔宇科技获更多关注
- 曝LG也将推出卷轴屏手机 你怎么看？
- AI战疫、真5G来了，十大最热门科技应用演绎速度与温度
- 又爆炸！联电科技传来一声巨响，或把8 英寸晶圆市场"炸"了
- 唐山四维智能科技有限公司：双臂机器人引领人机协作新纪元
- 国家超算郑州中心首批重大科技专项启动
- 一则消息传来，苹果iPhone12再现问题，“果粉”有点慌