江苏龙网

  1. 首页 > 人文 > >

产业气象站|Bengio首期推特小课堂：从“AI未来五年”谈到“怎么教小孩学机器学习”( 二 )


电子版免费哦：https://www.deeplearningbook.org/
还有中文版哦：https://github.com/exacity/deeplearningbook-chinese
学会必要的数学知识 ， 然后去研究建议的参考文献 ， 以确保具备阅读机器学习论文所需的知识 。 然后阅读大量论文 ， 并亲自进行大量实验 。 问自己问题 ， 不要认为任何事情都是理所当然的 。
2
学术讨论06、RakshithV：您对近期自监督学习的发展有什么看法？
YoshuaBengio：自监督学习是一个非常古老的想法 ， 只是用了新术语 ， 它基本上是从无标签（或标签不足）的数据中生成表征形式 。
近年来 ， 它的威力变得越来越为人所知 ， 它将继续成为我们工具箱的一部分 ， 但仅凭自监督学习不足以解决诸如OOD泛化和学习更高级别的抽象之类的问题 。
07、MayurJain：现实生活中存在偏见/歧视 ， 而偏见/歧视又反映在数据中 。 由于很难在现实中更改数据 ， 那要如何克服数据中存在的偏见/歧视？
YoshuaBengio：我不是这个问题的专家 ， 但是有专门针对此问题的讲座和教程 。 出发点是同情心 ， 要思考我们的行为如何伤害或帮助他人 ， 并且要明白让不公正现象继续存在是不可接受的 。
我们每个人只要做一点点改变就可以逐渐改变社会规范、文化和实践 ， 从而朝着更加公平和包容的社会迈进 。
在日常生活（包括工作）中思考自己可以做的事情 ， 以及从其他人正在做的事情中寻找启发 。
08、AntonioRegalado：请问您的新论文是对计算机和人类推理偏见（bias）的辩护吗？
YoshuaBengio：归纳偏置（inductivebias）和偏见不是一个概念 。 机器学习探索各种归纳偏置 。 在这项研究中 ， 我们尝试从大脑中获取灵感 ， 以探索可能有更好泛化能力的神经网络架构 。 最好的归纳偏置有很好的泛化能力 。 很多基于推理的经典AI都是受人类认知启发的 ， 现代机器学习也是如此 。
09、HarmvanSeijen：研究模块化网络上时要注意的主要陷阱是什么？
YoshuaBengio：这是机器学习和深度学习研究的常规方法 ， 我认为 ， 我们应该从OOD泛化性和迁移学习任务中的样本复杂性方面衡量增益 ， 而不是依据常规的基准 。
实验效果不佳的话 ， 可能会让人们感到沮丧 ， 过去这也发生在我身上 。 解决方案是：用长远的眼光重新思考 ， 以决定是否继续努力 。
10、AlejandroPiadMorffis：您对AutoML感兴趣吗？您认为AutoML和NAS是机器学习和深度学习未来发展的重心还是边缘领域 ， 或者它仅是面向应用的方法？
YoshuaBengio：我对AutoML研究 ， 以及架构搜索和生物进化之间的联系感到着迷 。 不仅是架构 ， 学习过程本身也应该成为搜索的一部分 。
然而 ， 这种盲目搜索的问题在于：它使得我们更难以科学地（例如在数学上）理解算法的过程 。
我想说这种研究是不得已而为之 ， 是一种绝望的选择 ， 认为我们可能无法使用理性找到解决方案 ， 而需要依赖蛮力 。
11、SamiulHasan：神经网络还无法解决哪些问题？
YoshuaBengio：当前的神经网络大多擅长人类的系统1（经验）的能力 ， 但并不擅长某些系统2（理论）的能力 。
语言学家一直特别强调 ， 与当前的机器学习（包括深度学习）相比 ， 人类擅长系统概括 。 人类可以系统地将通用概念重组以形成清晰而新颖的含义 ， 甚至可以应用到全新的领域 ，。
12、MohitSharma：许多机器学习研究是易于进行的并且可以独立进行 。 但是 ， 理论研究很难独立地在没有指导的情况下发表在COLT/ICML中 。 您对此有什么建议呢？
YoshuaBengio：去接触从事您认为有趣的工作的初级研究人员 。
13、HiteshKumarBalapanuru：在AI中存在以下几个问题：
（1）泛化能力vs在有限测试数据集上更高的准确率（数据可能反映现实世界模式）


推荐阅读


上一篇：光明网社会|10月起未植入芯片将被视为无证养犬，深圳全面启动犬只芯片注射

下一篇：吾本轻狂|看来新iPhone将越做越薄，一体OLED屏幕