OpenAI科学家Jason Wei专访：思维链灵感来源于冥想 _OpenAI

文章插图
新智元报道
来源：智源社区
作者：李梦佳
【新智元导读】近日，智源社区邀请到了现任AI target=_blank class=infotextkey>OpenAI科学家Jason Wei，谈了谈他做研究的点点滴滴，以及在谷歌和OpenAI的工作经历。
在大模型的研发道路上，思维链、指令微调和智能涌现等关键思想备受关注。正是思维链技术（Chain of Thought）让大模型能够涌现出一系列神奇的能力，成为了现代大语言模型产生「涌现」的底层技术。思维链旨在通过向大语言模型展示少量的样例，并通过这些样例解释推理过程，让大语言模型学会在生成答案时展示推理过程，并引导其得到更准确的答案。相当于将黑盒深度学习的多步推理过程的中间步骤拆开，结耦了各个步骤的工作，简化了每一步工作上模型的压力，在提高可解释性的同时提升了模型性能。
研究灵感往往来自某次偶然的一瞥惊鸿，可遇而不可求。谈起思维链的灵光乍现，CoT提出者Jason Wei表示，他的灵感来源是一本叫做《Waking up》的冥想之书，该书作者为美国无神论者、公共知识分子Sam Harris，从灵修（spirituality）的角度讲述了思维、意识和自我的关系。
Jason Wei毕业于达特茅斯大学，在大模型研发领域拥有丰富的经验和杰出成就，在谷歌工作期间曾主导推广了大语言模型中包括思维链提示、指令微调和模型涌现在内一系列关键思想的诞生。

文章插图
要点速览

对于当时的许多华人家庭来说，美国梦就是供孩子去读常春藤盟校，在华尔街谋求一份体面的工作，赚很多钱。而我成为了当时朋友圈中唯一一个从事人工智能研究的人。
早期的化学研究教会了我何为研究的本质，以及如何提出严格的假设并进行测试。
在2019年我创建了第一个对肺癌分类的神经网络。这也是我发表的一篇论文，在论文被接收前被拒了六次。
我对冥想很感兴趣。冥想的作用是观测到你头脑中出现的所有想法，我称之为思想流（stream of thought），连续不断流动的思想。参考人类内在的思考过程，我认为模型也可以有思想流。
这项技术上被称为思维链的原因是，思想流更像是杂乱无章地，随机在头脑中涌现的任何东西。而思维链则是一个更有逻辑或组织性质的思维过程。
从谷歌到OpenAI，最大的变化是每个人从做自己的研究、选择项目转变为在具有核心目标的更大团队中工作。
OpenAI 的员工工作非常努力，所有人都对通用人工智能 (AGI) 充满热情。大部分加入OpenAI的人都是想参与研究一些更庞大的事项，成为GPT这样项目的一员。
我不是非常擅长平衡工作和生活，也不认为每个人都应该渴望做到平衡。事实是，没有哪个超级成功的人是不努力工作的。我的策略是每周休息一天，其他日子都工作，到晚上10 点或 11 点左右。确保睡眠充足，且每周至少锻炼3次。
关于推广宣传，很多研究者做得还远远不够。贝尔实验室著名数学家Richard Hamming的建议是，应该花与实际工作（做实验写论文）一样多的时间来做宣传。

华尔街之梦，从银行家到神经网络
Q：能描述下你早年的生活和成长经历，从何时开始接触科研的呢？
A：早年我在弗吉尼亚州的（小镇）上长大，上的公立小学，但考上了一所很有竞争力的高中，也就是Thomas Jefferson中学，那是一所你必须参加考试才能被录取的学校，学生SAT 的平均成绩非常高。

文章插图
位于弗吉尼亚州的托马斯杰弗逊科技中学（Thomas Jefferson High School for Science and Technology），享有「全美第一公立高中」的美誉，全美排名前2%
学校里的同学都很拔尖，高中几乎是我人生中最努力的阶段，基本上我在那里学到的最主要的东西就是要「全力拼搏」work hard 。大多数人要么喜欢打比赛，要么喜欢研究，我属于后者，从高中阶段就开始做研究了。最初，我在美国海军研究实验室（Naval Research Lab，简称NRL）做了一些化学相关的研究。当时接触研究的机会还很少，但我会尽可能抓住机会。当然，我现在不再从事化学研究了。
Q：早期的化学研究在方法论或思维方式上影响了你后来的工作吗？
A：它教会了我何为研究的本质，以及如何提出严格的假设并进行测试。