江苏龙网

  1. 主页 > 生活百科 > >

OpenAI科学家Jason Wei专访：思维链灵感来源于冥想( 四 )

OpenAI


A：其中有三篇文章中提到的涌现能力最让我兴奋 。
1) 上下文学习（In-context learning，https://arxiv.org/abs/2303.03846） 。更大的语言模型实际上能进行「真正的」上下文学习，它们能够推理输入标签映射（input-label mAppings），而不是仅仅遵循格式；
2) 思维链推理，尤其是分解 。因为这意味着AI有一天可能能够解决极具挑战性的问题，例如气候变化；
3) U形缩放（U-shape Scaling：https://arxiv.org/abs/2211.02011） 。有时，语言模型会随着规模的扩大而变得更糟，你可能认为它们的表现会持续变得愈加糟糕 。但如果继续扩大规模，这种趋势会发生改变 。随着模型规模扩大，其性能开始变好 。因此整体变化趋势呈现U形 。
Q：如果继续沿着这条路走下去，未来可能会涌现什么样的模型能力？
A：我认为如果模型能具有规划能力会很有趣 。如果你问它，解决这个数学问题需要哪5步，它很可能答不上来 。可能单独的步骤能解决得好，但整体规划就做得很差 。此外就是更好的通用性表现 。当前最主要的问题是有时候语言模型不太可靠，在某些用例中你无法完全信任它，只有90%正确率 。如果能跨过这个门槛，可能会非常有用 。
OpenAI的指针：无他，唯努力尔
Q：你是如何从 Google Brain 过渡到OpenAI的？与在 Google 工作相比，在 OpenAI 工作感觉如何？你喜欢那边的工作氛围吗？
A：我想体验下和不同的人一起工作，确实有很多人从谷歌离职了 。在OpenAI的工作让人非常兴奋，所有人都对通用人工智能 (AGI) 充满热情 。OpenAI 的员工工作非常努力，团队也很专注 。你可以自由地从事自己想做的事情，当然大部分加入OpenAI的人都是想参与研究一些更庞大的事项，成为GPT这样项目的一员 。

OpenAI科学家Jason Wei专访：思维链灵感来源于冥想

文章插图
Q：在 OpenAI 和在 Google 工作最大的区别是什么？
A：谷歌最近也发生了很大的变化 。因此很难进行同类比较 。最大的变化就是从每个人都做自己的研究、选择项目转变为在核心目标更突出的庞大团队中工作 。OpenAI非常专注于构建 AGI，尤其是安全的 AGI 。
Q：你之前的工作和目前GPT-4一类的项目联系如何？
A：我以前研究过大型语言模型，现在我仍然研究大型语言模型，很多东西仍然相关，包括前面提及我主导的两篇工作（Chain-of-Thought Prompting Elicits Reasoning in Large Language Models，https://arxiv.org/abs/2201.11903；Emergent Abilities of Large Language Models，https://openreview.net/pdf?id=yzkSU5zdwD）
我过去学到的主要技能，其中两个最重要的是注重优先级和沟通能力 。我认为这两项技能仍然非常相关，即使我不再写论文了 。我仍然在做研究，但并不是我所做的所有研究都发表了 。另外，GPT-4的大部分工作是在我加入之前就已经完成了的，我在评估方面做了一点贡献 。
Q：你自己的短期或长期研究目标是什么？
A：长期目标只是构建 AGI 。我认为成为构建 AGI 的一员是一件非常深刻和令人兴奋的事情 。
Q：所以AGI还有很长的路要走对吗？
A：取决于你对长的定义 。
Q：构建AGI路径有很多，你在整个方案中AGI项目的工作定位是什么？
A：我想说这是一个很难回答的问题 。我不知道通往AGI的道路 。我认为我之前的一些工作更加关注语言模型可以进行推理的事实 。而且，当你扩展语言模型时，你会获得这些你可能意想不到的新兴能力 。我认为这是我在谷歌期间试图推广的两件事 。
Q：如何看待人工智能的未来以及个人在该领域未来的研究方向？
A：我一直在思考的一件事是评估 。很难进行模型评价的原因之一是：语言模型可以完成非常广泛的任务 。它们生成这些非常长的补全内容，甚至人类也需要很长时间才能阅读 。通常对于这些类型的任务来讲，没有明确的定义来说明什么样才是完美的实现效果 。在某种程度上，评价指标是研究人员所要优化的目标函数 。如果能深入了解模型的行为和局限性，就可以更好地引导研究人员做出正确的事情 。
Q：关于涌现能力，未来的疯狂想象是什么？
A：我觉得未来重要的方向包括，更事实性不会产生幻觉的语言模型，可以使用工具与世界进行交互的多模态模型，以及一般意义上更加安全的模型 。
Q：对于想要在这个领域开展职业生涯的人来说，你认为最重要的建议是什么？
A：工作真的要非常努力 。不仅涉及研究本身，还涉及研究周期的所有部分，例如选择研究课题，并宣传这项工作，并且我有意识地努力与那些我真正钦佩并且能力非常强的人合作 。在谷歌，对我影响很大的人是我的同事Barret Zoph、Liam Fedus 。他们的研究品味深深影响了我，并教会了我很多关于如何思考事物的知识 。


推荐阅读


上一篇：掌握API数据检索：过滤和排序的综合指南

下一篇：从AI模特换装到AIGC赋能运营，生成式AI全方位渗透电商产业链