ChatGPT作弊成风引担忧,OpenAI:正在自研审核工具( 二 )


目前 , 已经有开发者制作了面向 ChatGPT 生成内容的检测工具——「GPTZero」 , 只需要将内容粘贴在输入框 , 就能在几秒钟之内得到分析结果 , 快速检测出一篇文章是 ChatGPT 还是人工撰写的 。

ChatGPT作弊成风引担忧,OpenAI:正在自研审核工具

文章插图
 
网友评:世界各地的学生看到后都哭了 。
作者是普林斯顿大学的学生 Edward Tian , 他利用假期的一部分时间编写了 GPTZero 。
ChatGPT作弊成风引担忧,OpenAI:正在自研审核工具

文章插图
 
让我们看看检测过程 , 先以一段《New Yorker》的报道内容为例(百分之百确定由人类写作):
ChatGPT作弊成风引担忧,OpenAI:正在自研审核工具

文章插图
 
再看一段由 ChatGPT 生成的内容接受检测:
ChatGPT作弊成风引担忧,OpenAI:正在自研审核工具

文章插图
 
GPTZero 应用程序的原理是借助一些文本属性进行分析 。首先是困惑度(perplexity) , 即文本对模型的随机性 , 或语言模型对文本的「喜爱」程度;然后是突发度(burstiness) , 即机器写作的文本在一段时间内表现出的困惑度更均匀和恒定 , 而人类书写的文本则不会这样 。
ChatGPT作弊成风引担忧,OpenAI:正在自研审核工具

文章插图
 
GPTZero:「同学们 , 对不起!教授们 , 不客气!」
据《卫报》报道 , OpenAI 目前正在开发一项功能 , 用于统计 ChatGPT 输出结果的「水印」 , 以便阅读器可以在 AI 文本选择中发现隐藏模式 。
在得克萨斯大学的一次演讲中 , OpenAI 客座研究员 Scott Aaronson 表示 , 公司正在研究一种通过「对输出进行统计水印」来打击作弊的系统 。Aaronson 说 , 这项技术将通过微妙地调整 ChatGPT 选择的特定单词选择来发挥作用 , 读者不会注意到这种方式 , 但对于任何寻找机器生成文本迹象的人来说 , 这在统计上都是可预测的 。
「我们实际上有一个水印方案的工作原型了 , 」Aaronson 补充道 。「它似乎表现很好——根据经验 , 几百个词似乎足以得到一个信号:是的 , 这段文本来自 GPT 。」
虽然面临人们的担忧 , 但有关 ChatGPT 的应用也在快速铺开 。在很多场景中 , 人们不想与无法理解简单查询的聊天机器人对话 , 什么都可以说上两句的 ChatGPT 可以解决这一问题 。总部位于多伦多的 Ada 已与 OpenAI 合作把 GPT-3.5 , ChatGPT 背后的大模型应用在了客服聊天机器人上 , 完成了 45 亿次客户服务交互 。
据 The Information 报道 , 微软还与 OpenAI 签订了独家许可协议 , 并计划将该技术整合到 Bing 搜索引擎中 。
ChatGPT 正在模拟真人的道路上加速前进 , 这场打假的战役还会继续下去 。
参考内容:
https://www.theregister.com/2023/01/09/in_brief_ai/
https://techcrunch.com/2023/01/05/as-nyc-public-schools-block-chatgpt-openai-says-its-working-on-mitigations-to-help-spot-chatgpt-generated-text/
https://www.forbes.com/sites/rashishrivastava/2023/01/09/chatgpt-is-coming-to-a-customer-service-chatbot-near-you/
https://www.theguardian.com/technology/2022/dec/31/ai-assisted-plagiarism-chatgpt-bot-says-it-has-an-answer-for-that




推荐阅读