清华唐杰教授深度报告：人工智能的下个十年！【附PPT】| 智东西内参( 四 )
文章图片
首先 ， 我们来看看 AI 在感知方面做了哪些事情 。 在感知方面 ， AlphaGo、无人驾驶、文本和图片之间的跨媒体计算等取得了快速发展 。 从宏观来看 ， 算法是这个感知时代最重要、最具代表性的内容 。 如果把最近十年的重要算法进行归类 ， 以深度学习为例进行展示的话 ， 我们可以得到下图所示的发展脉络 。
文章图片
图中最上面浅紫色部分的内容是以前向网络为代表的深度学习算法 。 第二层淡绿色部分的内容表示一个以自学习、自编码为代表的学习时代 。 第三层橘色部分的内容代表自循环神经网络（概率图模型的发展）的算法 。 最下面粉色部分是以增强学习为代表的发展脉络 。
总体来讲 ， 我们可以把深度学习算法归类为这四个脉络 ， 而这四个方面都取得了快速的进展 。
如果再深入追溯最近几年最重要的发展 ， 会发现 BERT 是一个典型代表（想深入了解的读者可以阅读https://arxiv.org/pdf/1810.04805.pdf） 。 以 BERT 为代表的预训练算法得到了快速的发展 ， 基本上所有的算法都采用了预训练+微调+ Fine tune 的方法 ， 如下图所示：
文章图片
BERT 在 2018 年年底通过预训练打败了 NLP 上 11 个任务的经典算法；XLNet 在 2019 年提出来通过双向网络的方法超过了 BERT （想深入了解的读者可以阅读https://arxiv.org/pdf/1906.08237.pdf） ， 如下图所示：
文章图片
再后来 ， ALBERT 又超过了 XLNet 和原始的 BERT（想深入了解的读者可以阅读https://arxiv.org/pdf/1909.11942.pdf） 。 整个 BERT 的发展引发了后续一系列的工作 。
文章图片
在其他方面 ， 也涌现了很多有代表性的工作 。 如在 2018 年年底 ， 英伟达通过预训练模型实现高清视频的自动生成 。 想要了解更多详细信息的读者可以阅读https://arxiv.org/abs/1808.06601 。
DeepMind 又把代表性的关联关系生成到 graph_net 中 ， 于是在网络中可以实现一定的推理 ， 其结构如下图所示 。 想要了解更多信息的读者可以阅读https://arxiv.org/abs/1806.01261 。
文章图片
Facebook 的何恺明等人提出了以 contrastive learning 为基础的 MoCo 及 MoCo2 ， 在很多无监督学习（Unsupervised learning）的结果上超过了监督学习（Supervised learning） ， 这是一个非常重要的进展 ， 这也标志着预训练达到了一个新的高度 。 想要了解更多信息的读者可以阅读https://arxiv.org/abs/1911.05722 。
推荐阅读
- 口罩卢祖洵教授：不用多久，我们就可以摘下口罩自由呼吸
- 清华学霸放弃保研，新身份被网友狂赞！清华学霸放弃保研，新身份被网友狂赞！
- 清华学霸放弃保研,新身份被网友狂赞!
- 形塑合同解释的方法论品格
- 印度一款手机App煽动“抵制中国”， 印教授：鼓吹狭隘“科技民族主义”终会害己
- 大学8旬教授夫妇捐出百万积蓄，设奖学金帮助青年学子
- 清华大学清华大学举办4场“校企行”专项行动对接会，40支“双创”团队亮相
- 中医乌兹别克斯坦驻华大使被授予江西中医药大学名誉教授称号
- 清华学霸放弃保研，新身份被网友狂赞！
- 法典民法专家金平教授： “民法典能通过，此生再无遗憾”