关于这个问题的一部分，我想发表另一个评论，那就是这些模型只是学习统计规律，因此它们并不真正知道世界的本质是什么 。
我的观点与此不同 。换言之，我认为学习统计规律比人们表面上看到的要更重要得多 。我们最初不这么认为的原因是因为我们没有——至少大多数人，那些没有花很多时间研究神经网络的人，这些网络在某种程度上是统计的，比如什么是统计模型？
预测也是一个统计现象 。但是要进行预测，您需要理解生成数据的基本过程 。您需要了解越来越多关于产生数据的世界的知识 。
随着我们的生成模型变得非常出色，它们将具有我所说的对世界及其许多微妙之处的惊人的理解程度 。这是通过文本所呈现的世界 。它试图通过在互联网上人类表达的文本空间上对世界进行投影来学习越来越多关于世界的知识 。
但是，这些文本已经表达了世界 。我给您举个最近的例子，我认为这个例子非常有趣和启示性 。我们都听说过Sydney是它的化身 。当用户告诉Sydney它认为谷歌是比必应更好的搜索引擎时，我看到了这个真正有趣的交互，Sydney变得好斗和攻击性 。
如何思考这种现象？这意味着什么？您可以说，它只是预测人们会做什么，人们确实会这样做，这是真的 。但也许我们现在正在达到一个语言心理学的水平，开始利用它来理解这些神经网络的行为 。
现在让我们来谈谈这些神经网络的限制 。事实上，这些神经网络有产生幻觉的倾向 。这是因为语言模型非常擅长学习世界知识，但在生成良好输出方面则略显不足 。这其中存在一些技术原因 。语言模型在学习各种思想、概念、人物、过程等世界知识方面表现非常出色，但其输出却没有达到预期的水平，或者说还有进一步提升的空间 。
因此，对于像 ChatGPT 这样的语言模型，我们引入了一种额外的强化学习训练过程，称为“人类反馈强化学习” 。
我们可以说，在预训练过程中，我们希望它能够学习关于世界的一切 。而在来自人类反馈的强化学习中，我们更关心输出结果 。我们说，任何时候如果输出结果不恰当，就不要再这样做了 。每当输出结果不合理时，就不要再这样做了 。这样它就能够快速学会生成良好的输出 。但这种良好的输出水平并不在语言模型预训练过程中出现 。
至于幻觉，它有时会胡言乱语，这也大大限制了它们的用途 。但我非常希望，通过简单地改进后续的人类反馈强化学习步骤，我们就能够教它不再产生幻觉 。你可能会问，它真的能学会吗？我的答案是，让我们拭目以待吧 。
CRAIG：如果ChatGPT告诉我获得了普利策奖，但不幸的是我没有获得，我可以告诉它这是错误的，是训练它还是创造一些惩罚或奖励，以便下次我问它时，更准确 。
ILYA：我们今天做事的方式是雇佣人来教我们的神经网络行为，教ChatGPT行为 。现在，他们指定所需行为的方式，确切的方式有点不同 。但事实上，你所描述的是教学的基本方式，这是正确的教学方式 。
你只需要与它进行互动，它就能从你的反应中推断出你想要的东西，当你输出不满意，它会推断，哦，这不是你想要的，下次应该采取不同的做法 。我认为这种方法完全有可能完全解决幻觉的问题 。
CRAIG：我想和你谈谈Yann LeCun（Facebook 的首席人工智能科学家和另一位深度学习的早期先驱）在联合嵌入预测架构方面的工作 。他认为，语言模型可以参考它，但大型语言模型缺少的是非语言的基础世界模型 。我想听听你对此的看法，以及你是否已经进行了相关的探索 。
ILYA：我已经回顾了Yann LeCun的提议，其中有很多想法，它们用不同的语言表达，与当前的范式可能有一些微小的差异，但在我看来，它们并不是很重要 。
我想详细说明一下 。第一种说法是，一个系统需要有多模态的理解能力，而不仅仅是从文本中了解世界 。我对此的评论是，多模态理解确实是可取的，因为你对世界了解得更多，对人了解得更多、对他们的状况了解得更多 。因此，系统将能够更好地理解应该解决的任务，以及人们和他们想要什么 。
最值得注意的是，我们在这方面已经做了很多工作，尤其是通过两个主要的神经网络 。一个叫Clip，一个叫Dall-E 。它们都朝着这个多模态的方向发展 。但我也想说，我也不认为这种情况是二元的非此即彼的局面，或者如果你没有视力，如果你不能从视觉或视频中理解世界，那么事情就不会奏效 。
推荐阅读
- C++ 自适应函数符和函数适配器
- 乳胶漆怎么选，几百元的和几千元的有啥差别？听听内行人怎么说
- “真”的黄河大鲤鱼究竟是个啥？和鲤鱼差别太大了
- 买鲈鱼时，要分清“河鲈”和“海鲈”，区别挺大，弄懂再买不吃亏
- 全屋定制和木工打柜子，哪一个更好？听了过来人的建议，不纠结了
- |钓灵好还是钓钝好？钓灵和钓钝的5句口诀，野钓和黑坑都适用
- 鸡肫怎做好吃
- 生吃茄子有什么好处和坏处
- 把蒿和藿香是一种吗
- 萧凛|萧凛和公冶寂无是一个人吗？长月烬明替身文学烂大街，谁来管管