CA：什么时候意识到智能开始出现了？
GB：深度学习，我们一直都觉得自己是一个深度学习实验室 。
如何做到（智能）？我认为在早期，我们不知道 。
我们尝试了很多事情，其中一个人正在训练一个模型来预测亚马逊评论中的下一个字符，他得到了一个结果——这是一个句法过程，你会期望模型会预测逗号放在哪里，名词和动词在哪里 。
但他实际上做出了一个最先进的情感分析分类器 。这个模型可以告诉你一个评论是积极的还是消极的 。
今天我们听到这个，就觉得，得了吧，任何人都可以做到这一点 。
但这是你第一次看到这种语义从潜在的句法过程中出现的情况 。从那时起，我们知道，你必须扩大这个东西，看看它会走到哪里 。
CA：我们很多人都有一个困扰 。这东西（ChatGPT）被叫做预测（下一个词的）机器，但是从它展现的能力来看，它不可能只是一台预测机器 。
涌现思想的关键在于，当数量达到一定程度时，会出现意外的情况 。像蚂蚁，一支蚂蚁到处跑和一群蚂蚁的行动是完全不同的 。城市也是，房屋数量增加，会出现郊区、文化中心、交通拥堵 。
你能告诉我让你都大吃一惊的意外涌现是什么情况吗？
GB：在 ChatGPT 中，如果您尝试添加 40 位数字，该模型将能够执行它，表明它已经学习了一个「内部电路」（internal circuit）来进行加法 。然而，如果您让它做 40 位数字和一个 35 位数字的加法，它经常会出错 。
这表明虽然它正在学习这个过程，但它还没有完全泛化 。
它不可能记住 40 位数字的加法表，这比宇宙中所有原子的数量还要多 。所以它必须学会一些基本规律，（这个案例表明）它还没完全学会，不能理解任意数字是如何相加的 。
CA：所以在这里发生的事情是，你让它扩大规模并分析了大量的文本 。结果，它正在学习你没有预料到它能学到的东西 。
GB：嗯，是的，这也更加微妙 。我们开始擅长的一门科学是预测新兴能力 。
要做到这一点，工程质量至关重要，而且这个领域经常被忽视 。我们不得不重建整个堆栈，就像建造火箭一样，每个公差都必须非常小 。
在机器学习中也是如此，在进行预测之前，必须正确地设计每个堆栈的每个组件 。有许多平滑的扩展曲线告诉我们智能的一些基本特征 。你们可以在我们的 GPT-4 博客文章中看到这些曲线 。
现在，我们能够通过查看比例小 10000 或 1000 倍的模型来预测编码问题的性能 。虽然现在还处于早期阶段，但这其中的一些特点是平稳的 。
CA: 一个大的担忧是随着规模的扩大，可能会出现一些你能够预测但仍然有可能让你惊讶的事情 。这是正在发生的事情的基础 。但为什么没有出现真正可怕的巨大风险呢？
GB：我认为这些都是程度，规模和时间的问题 。
人们似乎忽视了与世界的整合作为一个非常强大和新兴的因素 。这就是我们认为逐步部署非常重要的原因之一 。
目前，我的重点是提供高质量的反馈 。对于我们今天所做的任务，检查它们很容易 。例如，对于数学问题的答案为七，这很简单 。然而，监督总结一本书等任务则很困难 。你怎么知道书的总结是否好呢？你必须阅读整本书，但是没有人想这样做（笑） 。
因此，逐步进行是很重要的 。当我们转向书的概要时，我们需要适当监督这项任务，并与机器建立一个记录，以确保它们能够执行我们的意图 。我们必须生产出更好、更有效、更可靠的扩展方法，使机器与我们相一致 。
CA：在这个会话的后面，我们将听到批评者声称系统内部没有真正的理解 。他们认为我们永远不会知道系统是否会产生错误或者缺乏常识 。格雷格，你是否相信这是真的，但是随着规模的扩大，再加上人类的反馈，系统最终将以高度的自信实现真相和智慧？你能确定这一点吗？
GB：是的，我认为 OpenAI 正在朝着这个方向发展 。OpenAI 的方法是让现实打在脸上，因为这个领域充满了空洞的承诺 。专家们已经说了 70 年，神经网络不会起作用，但他们仍然没有被证明是正确的 。也许还需要 70 年或更长时间才能证明他们是正确的 。我们的方法始终是推动这项技术的极限，以看到它的实际效果，以便我们可以转向新的范式 。我们尚未发掘出这项技术的全部潜力 。
CA：我的意思是，你们所持的立场非常具有争议性 。正确的做法是将其公之于众，然后利用所有这些反馈，而不仅仅是你的团队提供反馈 。现在世界正在提供反馈 。但是，如果坏事要出现，它们将会出现 。
推荐阅读
- 最新电影票房排行榜2022年
- 实物黄金买卖规则最新
- 三本院校最新排名榜
- 最新三本院校排名榜
- 3d捕鱼游戏排行榜最新
- 最新的oppo手机要多少钱一个
- 中国天气网排行榜最新
- 空间大省油的suv车排行榜最新
- 异界异能小说排行榜最新版
- 2017年网络歌曲排行榜最新