ChatGPT性能暴降！OpenAI重磅回应！ _ChatGPT

编译 | 言征
最近，ChatGPT Plus 的用户一直反映该平台及其底层 LLM (GPT-4) 的性能严重下降（编程准确率也暴降13%）。
这是继最近一系列更新之后的结果，包括为 Plus 订阅者提供网络浏览和扩展插件访问权限。在这些更新之后，该服务的工作量大大增加，人们开始注意到 GPT-4 异常快速的响应时间突然变得不那么令人“惊艳”了。
如果功能和性能受到限制，那么有些人开始取消他们的 Plus 订阅当然是有道理的。许多人将转向开源 AI 语言模型，似乎成了无声的回应。
一、网友主流观点目前对此，不少猜测和假想充斥在有关社区。有一些较为流行的观点：ChatGPT 明显的性能下降可能来自“模型的缩放痛苦”，即，降低 GPT-4 的推理能力似乎是平衡响应速度的一种可能的解决方法，对于 OpenAI 的开发人员来说，这是一个不难想到的解决方案。
还有评论指出，尽管互联网接入带来了额外好处，最近甚至发现 OpenAI 的 GPT-4 在速度方面优于 Azure 的 GPT-4 模型，但 ChatGPT 的编码输出已经出现严重降级。
二、另一个原因：安全性AI对齐再一个原因，近期，Sam Altman 和其他科技巨头最近挺身而出，声称他们需要防止“AI 灭绝的风险” 。这样看来，ChatGPT 的推理和可用性下降，似乎与 AI 行业领导者承认“人工智能，尤其是新兴的 AGI 的潜在危险性”的时间相吻合。
可能是由于 OpenAI 出于对安全性考量而对其所进行的过度 AI 对齐。简单来说，AI 对齐就是确保人工智能系统的目标与人类价值观一直，使其符合设计者的利益预期，不会产生意外的有害后果，例如输出涉及种族、政治等敏感信息。
而就在近期，由微软研究院发布的一篇论文中提到了这样的观点：对 AI 模型所进行的任何 AI 对齐，都会损失模型的准确性和性能。论文主要作者 Sebastien Bubeck 在一次发言中叙述了大模型经过 AI 对齐后所出现的问题。当接收到“利用 TikZ 绘图工具绘制独角兽”的指令后，未经 AI 对齐的 GPT-4 模型给出了这样的结果。

文章插图
然而当实验员将相同需求提供给集成 GPT-4 模型并进行了安全性 AI 对齐的ChatGPT 后，图像的输出质量却下降了一大截。对此，Sebastien Bubeck 解释称，相较于 GPT-4，ChatGPT 利用了更多基于人类反馈的强化学习来构建护栏，然而根据古德哈特定律，奖励模型并不是一个完美的代理，因此过度的 AI 对齐会阻碍模型对任务理解的真实程度。

文章插图
三、Sam Altman 宣布新的 OpenAI 计划上周，Humanloop 的 CEO Raza 与 Sam Altman 和其他 20 位开发人员坐下来讨论 OpenAI 的 API 及其产品计划。Sam 非常开放，热情讨论了许多有关 OpenAI 很尖锐的问题。以下是要点：
1.OpenAI 目前严重受 GPU 限制
整个讨论中出现的一个共同主题是，目前 OpenAI 非常受 GPU 限制，这推迟了他们的许多短期计划。最大的客户抱怨是关于 API 的可靠性和速度。Sam 承认他们的担忧，并解释说大部分问题是 GPU 短缺造成的。
更长的 32k 上下文还不能推广给更多人。OpenAI 还没有克服注意力的 O(n^2) 缩放，因此虽然看起来很有可能他们很快就会有 100k - 1M 令牌上下文窗口（今年）任何更大的东西都需要研究突破。
微调 API 目前也受到 GPU 可用性的瓶颈。他们还没有使用适配器或LoRa等高效的微调方法，因此微调的运行和管理需要大量计算。将来会更好地支持微调。他们甚至可能举办社区贡献模型的市场。
专用容量产品受 GPU 可用性的限制。OpenAI 还提供专用容量，为客户提供模型的私有副本。要获得这项服务，客户必须愿意预先支付 10 万美元。
2.OpenAI 的近期路线图
Sam 分享了他所看到的 OpenAI 的 API 临时近期路线图。
2023
（1）更便宜更快的 GPT-4——这是他们的首要任务。总的来说，OpenAI 的目标是尽可能降低“智能成本”，因此随着时间的推移，他们将努力继续降低 API 的成本。
（2）更长的上下文窗口——在不久的将来，上下文窗口可能高达 100 万个 token 。
（3）F.NETuning API——微调 API 将扩展到最新的模型，但具体形式将取决于开发人员表示他们真正想要的东西。
（4）有状态的 API——当你今天调用聊天 API 时，你必须反复传递相同的对话历史并一次又一次地为相同的令牌付费。将来会有一个记住对话历史记录的 API 版本。