江苏龙网

  1. 首页 > 人文 > >

刚融资1500万美元的AI初创公司，被LeCun嘲讽了( 四 )


深度学习“错”在哪里？关于马库斯对AI的批评 ， 最具代表性的是其2018年写下的长文 ， 将自己的对深度学习的看法全面、系统地阐述了一遍 。
这篇文章可以总结为深度学习的十大缺陷 。
1、深度学习对数据很高度依赖抽象的关系 ， 人类依靠明确的定义 ， 很容易就能学会 。
但深度学习不具备这种通过语言描述的清晰定义来学习抽象概念的能力 ， 动辄需要数以亿计的数据训练 。
Geoff Hinton也表达了对深度学习系统依赖于大量标注数据这个问题的担忧 。
刚融资1500万美元的AI初创公司，被LeCun嘲讽了文章插图
2、深度学习迁移能力有限“深度学习”中的“深” ， 指的是技术上、架构上的性质 ， 也就是堆叠了很多隐藏层 。 这种“深” ， 并不是说它对抽象的概念有深刻的理解 。
一旦任务场景改变 ， 就需要重新找数据训练 。
3、深度学习还不能自然处理层级结构当前大多数基于深度学习的语言模型都将句子视为词的序列 。
在遇到陌生的句子结构时 ， 循环神经网络（RNN）无法系统地展示、扩展句子的递归结构 。
这是因为深度学习学到的各组特征之间的关联是平面的 。
4、深度学习还不能搞定开放式推理在斯坦福问答数据集SQuAD上 ， 如果问题的答案包含在题面文本里 ， 现在的机器阅读阅读理解系统能够很好地回答出来 ， 但如果文本中没有 ， 系统表现就会差很多 。
也就是说 ， 现在的系统还没有像人类那样的推理能力 。
刚融资1500万美元的AI初创公司，被LeCun嘲讽了文章插图
5、深度学习还不够透明神经网络的“黑箱”性质一直很受关注 。 但是这个透明性的问题 ， 至今没有解决 。
6、深度学习还未与先验知识结合因为缺少先验知识 ， 深度学习很难解决那些开放性问题 ， 比如怎样修理一辆绳子缠住辐条的自行车？
看似简单的问题 ， 涉及到现实世界中大量不同的知识 ， 没有哪个数据集适用于它们 。
7、深度学习不能区分因果和相关关系深度学习系统 ， 学习的是输入和输出之间复杂的相关性 ， 但是学习不到其间的因果关系 。
刚融资1500万美元的AI初创公司，被LeCun嘲讽了文章插图
8、深度学习需要在严格稳定的环境下工作深度学习的这套逻辑 ， 在高度稳定的环境下表现最佳 ， 例如下棋这种博弈 ， 其中的规则不会改变 ， 但在政治和经济生活中 ， 不变的只有改变 。
9、深度学习只是一种近似深度学习在一些特定领域表现出色 ， 但也很容易被愚弄 。
10、深度学习难以工程化深度学习很难稳健的实现工程化 ， 因为很难保证机器学习系统在一个全新新的环境下有效工作 。
刚融资1500万美元的AI初创公司，被LeCun嘲讽了文章插图
这十大「罪状」 ， 可谓刀刀见肉 ， 深度学习确实存在机械性依赖训练、不透明、模糊因果等问题 。
但马库斯尖锐的批评 ， 如果止于学术本身 ， 或许就不会有LeCun的耿耿于怀 。
深度学习作为当前AI领域最火的工具 。
马库斯直言 ， 学界对于深度学习的吹捧宣传过了头 ， 客观上误导了人们对于AI发展路径的认识 。
刚融资1500万美元的AI初创公司，被LeCun嘲讽了文章插图
这些问题 ， 成为了马库斯炮轰深度学习、质疑AI进展的根本出发点 。
这些年来 ， 马库斯多次与AI界大佬们交锋论战 ， 其中包括深度学习三巨头、吴恩达等等 。
而大佬们的辩护 ， 重点在「深度学习不是定义一种东西 ， 而是指明一个方向」 。
问深度学习能不能做没有意义 ， 有意义的是问如何训练它去做 。


推荐阅读


上一篇：为全场景应用打Call，西部数据的新存储平衡术

下一篇：顺丰的眼中钉肉中刺：创始人曾是顺丰员工，如今做到200亿市值