江苏龙网

  1. 主页 > 生活百科 > >

最强API调用模型来了！基于LLaMA微调，性能超过GPT-4

API


最强API调用模型来了！基于LLaMA微调，性能超过GPT-4

文章插图
新智元报道
编辑：拉燕
【新智元导读】UC伯克利华人博士生搞了个Gorilla，可以灵活调用各种API，性能超过GPT-4 。
继羊驼之后，又来了个以动物命名的模型，这次是大猩猩（Gorilla） 。
虽说目前LLM风头正旺，进展颇多，在各种任务中的性能表现也可圈可点，但这些模型通过API调用有效使用工具的潜力还亟待挖掘 。
即使对于今天最先进的LLM，比如GPT-4，API调用也是一项具有挑战性的任务，主要是由于它们无法生成准确的输入参数，并且LLM容易对API调用的错误使用产生幻觉 。
这不，研究人员搞了个Gorilla，一个经过微调的基于LLaMA的模型，它在编写API调用上的性能甚至超过了GPT-4 。
而当与文档检索器相结合时，Gorilla同样展示出了强大的性能，使用户更新或版本变化变得更加灵活 。
此外，Gorilla还大大缓解了LLM会经常遇到的幻觉问题 。
为了评估该模型的能力，研究人员还引入了API基准，一个由HuggingFace、TorchHub和TensorHub API组成的综合数据集
Gorilla
LLMs的各项强大的能力不用再多介绍，包括自然对话能力、数学推理能力，以及程序合成在能力什么的 。
然而，尽管性能强大，但LLM仍然会受到一些限制 。并且，LLM也需要重新训练以及时更新他们的知识库，以及推理能力 。
通过授权LLM可使用的工具，研究人员可以允许LLM访问巨大的、不断变化的知识库，完成复杂的计算任务 。
通过提供对搜索技术和数据库的访问，研究人员可以增强LLM的能力，以处理更大和更动态的知识空间 。
同样，通过提供计算工具的使用，LLM也可以完成复杂的计算任务 。
因此，科技巨头已经开始尝试整合各类插件，使LLM能够通过API调用外部工具 。
从一个规模较小的手工编码的工具，到能够调用一个巨大的、不断变化的云API空间，这种转变可以将LLM转变为计算基础设施，以及网络所需的主要界面 。
从预订整个假期到举办一次会议的任务，可以变得像与能够访问航班、汽车租赁、酒店、餐饮和娱乐网络API的LLM交谈一样简单 。
然而，许多先前的工作将工具整合到LLM中，考虑的是一小套有据可查的API，可以很容易地注入到提示中 。
支持一个由潜在的数百万个变化的API组成的网络规模的集合，需要重新思考研究人员如何整合工具的方法 。
现在已经不可能在一个单一的环境中描述所有的API了 。许多API会有重叠的功能，有细微的限制和约束 。在这种新的环境中简单地评估LLM需要新的基准 。
在本文中，研究人员探索了使用自我结构微调和检索的方法，以使LLM能够准确地从使用其API和API文档表达的大量、重叠和变化的工具集中进行选择 。
【最强API调用模型来了！基于LLaMA微调，性能超过GPT-4】研究人员通过从公共模型中心刮取ML API（模型）来构建API Bench，这是一个具有复杂且经常重叠功能的大型API语料库 。
研究人员选择了三个主要的模型中心来构建数据集：TorchHub、TensorHub和HuggingFace 。
研究人员详尽地包括了TorchHub（94个API调用）和TensorHub（696个API调用）中的每一个API调用 。
对于HuggingFace，由于模型的数量很大，所以研究人员选择了每个任务类别中下载最多的20个模型（总共925个） 。
研究人员还使用Self-Instruct为每个API生成了10个用户问题的prompt 。
因此，数据集中的每个条目都成为了一个指令参考API对 。研究人员采用常见的AST子树匹配技术来评估生成的API的功能正确性 。
研究人员首先将生成的代码解析成AST树，然后找到一个子树，其根节点是研究人员关心的API调用，然后使用它来索引研究人员的数据集 。
研究人员检查LLMs的功能正确性和幻觉问题，反馈相应的准确性 。然后，研究人员再对Gorilla进行微调，这是一个基于LLaMA-7B的模型，使用研究人员的数据集进行文档检索的操作 。
研究人员发现，Gorilla在API功能准确性以及减少幻觉错误方面明显优于GPT-4 。
研究人员在图1中展示了一个实例 。
最强API调用模型来了！基于LLaMA微调，性能超过GPT-4

文章插图
此外，研究人员对Gorilla进行的检索感知训练使得该模型能够适应API文档的变化 。
最后，研究人员还展示了Gorilla理解和推理约束的能力 。
另外，在幻觉方面，Gorilla也表现出色 。
下图是精度和幻觉在四种情况下的对比，零样本（即，没有任何检索器）以及使用BM25、GPT和Oracle的检索器 。


推荐阅读


上一篇：结合使用React和其他技术的七种方法

下一篇：WebGPU 是 2023 年 Web 的未来！