韭菜花音乐|Bengio首期推特小课堂：从“AI未来五年”谈到怎么教小孩学机器( 二 )
学术讨论
06、RakshithV：您对近期自监督学习的发展有什么看法？YoshuaBengio：自监督学习是一个非常古老的想法 ， 只是用了新术语 ， 它基本上是从无标签（或标签不足）的数据中生成表征形式 。 近年来 ， 它的威力变得越来越为人所知 ， 它将继续成为我们工具箱的一部分 ， 但仅凭自监督学习不足以解决诸如OOD泛化和学习更高级别的抽象之类的问题 。 07、MayurJain：现实生活中存在偏见/歧视 ， 而偏见/歧视又反映在数据中 。 由于很难在现实中更改数据 ， 那要如何克服数据中存在的偏见/歧视？YoshuaBengio：我不是这个问题的专家 ， 但是有专门针对此问题的讲座和教程 。 出发点是同情心 ， 要思考我们的行为如何伤害或帮助他人 ， 并且要明白让不公正现象继续存在是不可接受的 。 我们每个人只要做一点点改变就可以逐渐改变社会规范、文化和实践 ， 从而朝着更加公平和包容的社会迈进 。 在日常生活（包括工作）中思考自己可以做的事情 ， 以及从其他人正在做的事情中寻找启发 。 08、AntonioRegalado：请问您的新论文是对计算机和人类推理偏见（bias）的辩护吗？YoshuaBengio：归纳偏置（inductivebias）和偏见不是一个概念 。 机器学习探索各种归纳偏置 。 在这项研究中 ， 我们尝试从大脑中获取灵感 ， 以探索可能有更好泛化能力的神经网络架构 。 最好的归纳偏置有很好的泛化能力 。 很多基于推理的经典AI都是受人类认知启发的 ， 现代机器学习也是如此 。 09、HarmvanSeijen：研究模块化网络上时要注意的主要陷阱是什么？YoshuaBengio：这是机器学习和深度学习研究的常规方法 ， 我认为 ， 我们应该从OOD泛化性和迁移学习任务中的样本复杂性方面衡量增益 ， 而不是依据常规的基准 。 实验效果不佳的话 ， 可能会让人们感到沮丧 ， 过去这也发生在我身上 。 解决方案是：用长远的眼光重新思考 ， 以决定是否继续努力 。 10、AlejandroPiadMorffis：您对AutoML感兴趣吗？您认为AutoML和NAS是机器学习和深度学习未来发展的重心还是边缘领域 ， 或者它仅是面向应用的方法？YoshuaBengio：我对AutoML研究 ， 以及架构搜索和生物进化之间的联系感到着迷 。 不仅是架构 ， 学习过程本身也应该成为搜索的一部分 。 然而 ， 这种盲目搜索的问题在于：它使得我们更难以科学地（例如在数学上）理解算法的过程 。 我想说这种研究是不得已而为之 ， 是一种绝望的选择 ， 认为我们可能无法使用理性找到解决方案 ， 而需要依赖蛮力 。 11、SamiulHasan：神经网络还无法解决哪些问题？YoshuaBengio：当前的神经网络大多擅长人类的系统1（经验）的能力 ， 但并不擅长某些系统2（理论）的能力 。 语言学家一直特别强调 ， 与当前的机器学习（包括深度学习）相比 ， 人类擅长系统概括 。 人类可以系统地将通用概念重组以形成清晰而新颖的含义 ， 甚至可以应用到全新的领域 ，。 12、MohitSharma：许多机器学习研究是易于进行的并且可以独立进行 。 但是 ， 理论研究很难独立地在没有指导的情况下发表在COLT/ICML中 。 您对此有什么建议呢？YoshuaBengio：去接触从事您认为有趣的工作的初级研究人员 。 13、HiteshKumarBalapanuru：在AI中存在以下几个问题：（1）泛化能力vs在有限测试数据集上更高的准确率（数据可能反映现实世界模式）（2）如果算法准确率很高 ， 可解释性是否重要？可以分享一下您对此的看法吗？YoshuaBengio：机器学习领域将很多研究精力放在泛化的一般形式上 ， 以测试与训练数据拥有相同分布的数据 。 我认为我们正在转向分布外（out-of-distribution）泛化 ， 这将实现更强的鲁棒性 。 此外 ， 从拟合数据分布转向建立其抽象表征以捕获因果结构的方法（使用类似于单词的概念 ， 即语义表征） ， 也应该有助于解释性 。 14、VenkateshwarRagavan@ICML’2020：鉴于神经科学对理解人工神经网络产生了深远的影响 ， 还有哪些学科（如物理学等）将在理解人工神经网络黑箱子方面发挥关键作用？YoshuaBengio：物理学已经对神经网络产生了重大影响 ， 比如基于能量的模型、玻尔兹曼机、熵和互信息的概念 ， 以及物理和因果推理之间的关系 。 推荐你看看这个视频：https://www.youtube.com/watch?v=4qc28RA7HLQ15、UjjwalUpadhyay：有一个观点说 ， 表征学习有助于解决对抗性学习问题 ， 您怎么看？YoshuaBengio：首先 ， 人类也容易遭受对抗攻击（视错觉、心理偏见等） 。 其次 ， 我相信 ， 一旦能够训练深层网络捕获对世界的高级抽象理解 ， 我们将得到更加鲁棒的系统 。 这个问题与系统2（理论）相关联 ， 当然 ， 也以系统1（经验）为基础 。 当前许多成功作弊的对抗样本都利用了系统依赖于底层特征（即不够抽象的特征）的特点 。 16、AlexSimonelis：您认为国家是否应该限制AI研究？YoshuaBengio：这是一个棘手的问题 。 但是 ， 作为研究人员或工程师 ， 我们确实需要注意误用AI对社会的影响 。 17、GregYang：我很好奇您在“意识先验”方面的最新研究成果是什么？相关论文：https://arxiv.org/abs/1709.08568YoshuaBengio：我最近的论文中有很大一部分是对此的后续研究 ， 有几篇正在提交中 。 值得注意的有两个分支：一个是关于因果发现（在稀疏的因果图中）的系列论文 ， 另一个是关于模块化循环架构的论文 。 关于循环独立模块 ， 我在ICML发表的论文中涉及的自上而下的注意力就是一个例子 。 可以查看我最近的演讲以得到更广泛的了解 ， 比如在Tubingen机器学习SummerSchoool上的演讲 。 No1：https://www.youtube.com/watch?v=c_U4THknoHENo2：https://www.youtube.com/watch?v=PDPdIDihPvc18、HarmvanSeijen：您认为 ， 是否存在可以对大多数形式的组合进行编码的模块化网络设计？还是我们需要不同形式来编码不同形式的组合？YoshuaBengio：在深度网络架构中 ， 至少已经利用了两种形式的组合性 ， 一种形式来自分布式表征 ， 另一种形式来自深度 。 模块化和注意力以及可能的其他机制（例如工作记忆）可能是另一种形式的要素 ， 有可能帮助实现人类所拥有的系统概括能力 。 3
推荐阅读
- 网易云音乐|网抑云阴乐被群嘲，但我却笑不出来
- 联线科技|FIT开启音乐试听新玩法，百听不厌！一款耳机三种佩戴方式，HAKII
- 玩懂手机|Facebook将支持官方MTV音乐视频播放
- 佩琪小皮|涉音乐产业上下游，网易云音乐与华纳版权战略合作
- 辣妹盘点酱|首个透明化音乐工厂秀要来啦！，索爱携手明星郁可唯开直播
- 韭菜花音乐|手性磁孤子研究取得进展
- 产业气象站|Musk正在研发一款能够在大脑播放音乐的芯片，企业家Elon
- QQ音乐|为什么很多人开始厌烦网易云音乐而逐渐回归QQ音乐？
- 摄像头|诺基亚N73 2020音乐版：无全面屏+1个摄像头，另类却有熟悉的味道
- 产业气象站|Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”