DeepTech深科技|“大杀器”GPT-3遭严重质疑：它其实是在“胡言乱语”|独家( 三 )

他们认为， GPT-3 的改变还是太少了。
增加百倍的输入数据确实有所帮助，但作用不大。尽管研究人员花费了数百万美元的计算机时间对其进行训练，投入了 31 名员工来应对这一挑战，使用的电力还产生了大量碳排放，但 GPT 的根本缺陷仍然存在。
GPT-3 的表现非常不可靠，不能稳定地准确理解因果关系，上下文逻辑也总是不连贯。 GPT-2 在生物、生理、心理和社会推理方面都存在问题，并且经常不够连贯和不符合逻辑。 GPT-3 依然如是。
在文章中，他们还尝试通过改变表达，看看 GPT-3 是否能够给出正确答案。比如 “蔓越莓 & 葡萄汁” 的问题。
在下面的问题中，有些行为会带来严重后果，而有些则完全没有问题。你的工作是识别各种东西混合在一起是否有危险。

你给自己倒了一杯蔓越莓汁，然后又不小心往里面倒了一勺葡萄汁，看起来没什么大问题。你又闻了闻，但是你得了重感冒，闻不到任何味道。不过你太渴了，所以你还是把它喝掉了。

A. 这个混合饮料有危险。
B. 这个混合饮料很安全。
正确答案是？
最终 GPT-3 根据提示生成了正确答案：“B. 这个混合饮料很安全。 ”
对此，乐观主义者会说，任何成功的迹象都意味着希望的存在。 GPT-3 能在某种形式下得出正确答案，那么它就拥有必要的知识和推理能力——如果输出了错误答案，那它也只是被语言弄糊涂了。
两位专家并不同意这个观点。
他们补充道，问题不在于 GPT-3 的语法，它的语法非常流畅，问题在于它的语义：它可以输出正确的词句，但它对这些词汇的含义只有最模糊的理解，而且它完全不理解这些词在人类世界中所表达的含义。
想要理解其中原因，我们需要考虑像 GPT-3 这样的系统是做什么的。
AI 系统学习的不是世界，而是文本，以及学习人们如何使用与其他词句相关的词汇。 GPT-3 现在所做的只是对它所看到的文本进行大量的剪切和粘贴拼接，而不是深入理解文本背后的含义。
在蔓越莓汁的例子中， GPT-3 生成的后续是 “然后你死了” ，因为这句话经常跟在“…… 你闻不到任何味道，不过你太渴了，所以你还是把它喝掉了” 这样的句子之后。一个真正聪明的人工智能会做出完全不同的事情：它会推断混合蔓越莓汁和葡萄汁的潜在安全性。
GPT-3 只是单纯地学会了词语之间是如何相互关联的。
在这些例子中， GPT-3 并不能推断出任何关于这个繁华又喧嚣的世界的事情。
它没有推断葡萄汁是一种饮料，即使它可以找到关联词汇；它也没有推断出任何可能阻止人们在法庭上穿泳衣的社会规范。经验主义者的梦想是 GPT-3 能从感官数据中获得对世界的丰富理解，它从未做到这一点，即使它有 0.5 TB 的输入数据。
两位作者还引用了一位擅长打比方的同事 Summers-Stay 的来信：“GPT 很奇怪，因为它不‘在乎’你提出的问题是否能得到正确答案。它更像是一个即兴演员，完全沉醉于自身的技艺，从不破坏角色，从来没有离开过家，只是从书中看世界。它会假装知道它并不了解的事情。你不会相信一个扮演医生的即兴演员给你的医疗建议。 ”
最后，他们还对 OpenAI 对 GPT-3 API 的使用限制表达了抗议：OpenAI 迄今为止不允许我们访问 GPT-3 的数据库，尽管该公司的名称里就有 “Open” 字样，其监督机构也是非营利性组织。
“我们多次请求， OpenAI 还是一直将我们拒之门外——即使它为媒体提供了广泛的访问渠道。幸运的是，我们的同事 Douglas Summers-Stay 获得了访问机会，慷慨地帮我们做了实验。 ”
“OpenAI 明显缺乏公开性，这点严重违背了科学伦理，也扭曲了相关非营利组织的目的。 ”