OpenAI科学家Jason Wei专访：思维链灵感来源于冥想( 二 ) _OpenAI

Q：了解到你最初的梦想是成为一名华尔街银行家，这个梦想后来发生了哪些变化？
A：对，过去我们常说美国梦（American dream）。基本上，对于当时的许多华人家庭来说，美国梦就是让你的孩子去读常春藤盟校，在华尔街谋求一份体面的工作，赚很多钱。我去了达特茅斯，它是比较低调的常春藤盟校，达特茅斯本身和华尔街有很密切的联系，周围所有人都在卷金融去投行，而我大一时没有得到金融方面实习的机会，这就有点像偏离了轨道。正好我母亲有一个朋友在做人工智能初创公司。我联系上了他，于是决定尝试下做AI，因此我成为了朋友圈当中唯一一个从事人工智能研究的人，有点孤单。（编者注：美国梦通常代表经济上的成功或是企业家的精神。历史学者亚当斯在1931年将“美国梦”定义为，“无论每个人的社会阶层或出生环境如何，生活都应该变得更好，更丰富，更丰裕，每个人都有机会根据能力或成就而定” 。）

文章插图
Q：能分享更多在达特茅斯大学生活的经历和轶事吗？
A：达特茅斯虽然是排名前100的学校，但没有很多从事AI研究的教授。当时正好有一个机会做医学图像数据处理，于是我在2019年创建了第一个可以对肺癌进行分类的神经网络。这也是我试图发表的一篇论文，在论文被接收前我被拒了六次。当时的动机只是单纯地想发表论文，为了申请博士项目。在达特茅斯期间，我也曾经前往丹麦交换。
Q：谈谈你最喜欢的导师以及对你影响最大的人吗？
A：我的校友Sam Greydanus，他比我大三岁，我们大概交流过五次。他是在达特茅斯为数不多从事AI研究的人之一，和我一样后来也去了谷歌的AI Residency项目做出很多不错的工作。鉴于当时在达特茅斯AI氛围很一般的情况下，他的存在让我鼓舞人心。他给当时作为机器学习“新学徒”的我写了一封长邮件，列出了很多有用的建议，比如阅读Arxiv、经常发布代码并撰写有关研究的博客文章。具体建议如下：

文章插图
嗨，Jason，我记得你，很高兴收到你的来信！关于如何进行深度学习研究，我有一些（相当固执己见的）建议。这是一个列表（按最重要的内容/半时间顺序排列）。
1. 阅读 Andrej Karpathy 的所有博客文章
2. 阅读 Chris Olah 的所有博客文章
2.5 阅读你感兴趣的 Distill 上的任何帖子。或者看下我列出的帖子(https://Qreydanus.qithub.io/)
3. 也许 - 参加像 Andrew Ng 的 Coursera 课程这样的在线课程
4. 绝对 - 使用 Jupyter Notebook、NumPy 和 PyTorch 编写简单的个人项目。当你完成它们时 a) 发布良好的、记录良好的代码（参见我的 Github） b) 写一篇关于你所做的事情的简短博客文章（参见我的博客）
5. 下载Arx应用程序，浏览 Arxiv（机器学习预印本的在线存储库）上的论文。每天左右在通勤途中检查一下。遵循 cs.LG、cs.NE 和 stat.ML 标签。另外，请为以下作者加注星标：Yoshua Bengio、Yann LeCunn、Geoffery Hinton、Jason Yosinski、David Duvenaud、Andrej Karpathy、Pieter Abbeel、Quoc Lee、Alex Graves、Koray Kavukcuoglu、Gabor Melis、Oriol Vinyals、Jasch Sohl-Dickstein、Ian Goodfellow 和Adam Santoro 。如果及时了解他们上传的论文，并浏览我提到的三个类别中论文的标题/摘要，就可以很快对 SOTA 研究有一个有效的了解。或者：开始每天浏览 Arxiv Sanity Preserver 的“热门炒作”和“最近热门”选项卡。
6. 当/如果你开始在达特茅斯进行研究时，请确保涉及深度学习的一些元素。
7. 如果可以在 PyTorch 和 TensorFlow 之间进行选择，请选择 PyTorch 。你会终生感激这个决定。
8. 值得阅读的热门论文：Ale.NET 论文、Alex Graves“生成序列”论文、Jason Yosinski（他是一位优秀作者）的任何论文、神经图灵机论文、DeepMind Atari 论文，也许还有 Goodfellow 的 GAN 论文，尽管我还没有读过。如果可以的话，远离 GAN 。
9. 在 ML 阶段，简单问题 + 超简单实验 » 大型、多 GPU 的工作。有很多好的研究（例如，到目前为止我几乎所有的工作）都可以在一台像样的 macBook 上完成。
10. 不要被这份清单淹没。你可能会找到更适合自己的道路。我能给出的最好建议就是重复Richard Feynman的建议：“以尽可能无纪律、无礼和原创的方式努力学习你最感兴趣的东西。”
Q：在研究道路上，关键的转折点、幸运时刻还有哪些？