ChatGPT作弊成风引担忧，OpenAI：正在自研审核工具 _ChatGPT

机器之心报道
【ChatGPT作弊成风引担忧，OpenAI：正在自研审核工具】编辑：泽南、蛋酱

「对学生有负面影响」，这么大责任 OpenAI 可担不起。

语言生成模型来了，学校的作业会不会从此变得形同虚设？近日，纽约市教育官员宣布禁止学生在公立学校使用 ChatGPT 的事件引发了争论。
语言模型自动生成的内容会「参照」现有作品，产出的速度又几乎无限，人们对其的担忧已经蔓延到了 AI 学界自身，全球知名机器学习会议之一的 ICML 最近也宣布禁止发表包含由 ChatGPT 和其他类似系统生成内容的论文，以免出现「意外后果」。
对于这样的情况， ChatGPT 的提出者 OpenAI 已宣布正在努力开发「缓解措施」，帮助人们检测由 AI 自动生成的文本。

文章插图

「我们将 ChatGPT 作为新研究的预览技术，希望能从现实世界的应用中进行学习。我们认为这是开发和部署功能强大、安全的 AI 系统的关键部分。我们会不断吸取反馈和经验教训，」公司发言人表示。「OpenAI 一直呼吁在使用 AI 生成的文本时要保持透明。我们的使用条款要求用户在使用我们的 API 和创意工具时，首先对其面向的人群负责……我们期待与教育工作者合作制定有效的解决方案，帮助教师和学生等人群寻找从 AI 中受益的方法。」
如果出现了能够区分人类和机器产生内容的算法，生成模型在学术界的使用方式或许会出现改变。学校将能够更有效地限制人工智能生成的论文，而如果人们的态度发生转变，转而期待这些工具能够帮助学生，或许我们也可以逐渐接受使用 AI 进行辅助的方式，提高工作学习的效率。
现在看起来，眼前还有很长的一段路要走。尽管 AI 生成的文字内容在学术会议和学校禁止机器写论文作弊的新闻中看起来令人印象深刻，但你需要知道，与真正的人类写作相比，它们时常缺乏真正的理解与逻辑。
当像 GPT-3 或 ChatGPT 这样的工具通过给出令人震惊的详细答案而让人感到惊讶时，也有冷静的专家表示这证明了模型能够编码知识，但当它们无法正确处理事情时，给出的答案往往很离谱。波莫纳学院 (Pomona College) 经济学教授 Gary Smith 提醒我们，不要上当。
在一篇专栏文章中， Gary Smith 展示了几个 GPT-3 无法有效推理和回答问题的例子，「如果你尝试使用 GPT-3 ，你最初的反应可能是惊讶——似乎是在与一个非常聪明的人进行真正的对话。然而深入探究后，你很快就会发现虽然 GPT-3 可以用令人信服的方式将单词串在一起，但它并不知道单词的含义。」
「预测 down 这个词有可能跟在 fell 这个词后面，并不要求对这两个词的含义有任何理解。只是通过统计层面的计算， AI 就能认为这些词经常在一起。因此， GPT-3 很容易做出完全错误，但又武断的声明。」
OpenAI 在 2022 年 11 月发布了 ChatGPT ，这是一个较新的模型，基于 GPT-3 进行了改进。尽管如此，它仍然存在着这些相同的问题，就像所有现有的语言模型一样。
如何用 AI 检测 AI 生成的文字？
曾几何时， AI 生成的文字内容还是「一眼假」，但自从 ChatGPT 横空出世以来，这种分辨工作是越来越难做了。
在教育领域， ChatGPT 的争论主要围绕作弊的可能性展开。在谷歌上搜索「ChatGPT 写论文」，你能发现大量教育工作者、采访人员和学生通过使用 ChatGPT 完成家庭作业和标准化论文测试来试水的例子。
《华尔街日报》的专栏作家曾使用 ChatGPT 撰写了一篇能拿及格分的 AP 英语论文，而《福布斯》采访人员则利用它在 20 分钟内完成了两篇大学论文。亚利桑那州立大学教授 Dan Gillmor 在接受卫报采访时回忆说，他尝试给 ChatGPT 布置一道给学生的作业，结果发现 AI 生成的论文也可以获得好成绩。