十个2023年最具影响力的开源大语言模型( 二 ) _大语言模型

文章插图
总之，LLaMA 2代表了语言建模方面的重大进步，提供了透明度，可访问性和性能改进，可能会被研究和商业社区广泛接受。
3.AlpacaAlpaca是由斯坦福大学基础模型研究中心（CRFM）的研究人员开发的它是从Meta的LLaMA 7 B模型中微调的，并使用OpenAI的text-davinci-003作为参考，在52000个指导遵循演示中进行了训练。尽管表现出与OpenAI的text-davinci-003相似的行为，但Alpaca模型更小。

文章插图
Alpaca模型的突出特点是其强大的指令遵循能力。凭借其微调的设计和许多指令遵循演示的培训，它为需要精确遵守指令的任务提供了可靠和有效的选择。
该模型主要用于学术研究。然而，由于安全措施不足，它还没有准备好用于一般用途。它不可用于商业用途，因为用于训练Alpaca的指令数据基于OpenAI的text-davinci-003，其使用条款禁止开发与OpenAI竞争的模型。
采用Hugging Face的训练框架对Alpaca进行微调，充分利用完全分片数据并行和混合精度训练。使用8台80GB A100对7B LLaMA模型进行微调大约需要3个小时，展示了其效率和快速开发的潜力。
总之，Alpaca是一种专门的、高效的语言模型，适用于需要准确和精确执行的任务。它的开发和使用面向研究和学术探索，重点是维护安全和遵守许可证限制。
4.Vicuna由LMSYS开发的Vicuna系列大型语言模型以其生成类人文本的能力而闻名。这些模型在理解和提供基于用户提示的响应方面表现出色，使它们对聊天机器人和内容生成等各种应用非常有用。
Vicuna有两种大小的模型：Vicuna-7B和Vicuna-13B 。使用GPT-4作为对比参考的初步评估表明， Vicuna-13B的质量达到OpenAI ChatGPT和google Bard的90%以上。此外，与LLaMA和斯坦福大学Alpaca等其他型号相比，它在90%以上的情况下表现出更强的性能。
Vicuna模型的一个重要方面是它依赖于人类生成的数据。这使它成为第一个使用此类数据训练的开源大语言模型之一，生成连贯并且具有创造性的文本。Vicuna是Alpaca模型的改进版本，它基于Transformer架构，但采用人类生成的对话数据集进行了微调。
Vicuna的主要用途是用于研究，特别是自然语言处理、机器学习和人工智能方面的研究人员和爱好者。Vicuna仅供非商业用途的用户使用，用户必须遵守LLaMA制定的使用模型的规则，尊重OpenAI使用其生成的数据的条款，并遵守ShareGPT的隐私规则。
这两款Vicuna模型都是在LLaMA-13B模型的基础上构建的，并从ShareGPT.com公开API收集的约70000个用户共享对话进行了微调。html被转换回markdown以确保数据质量，不合适或低质量的样本被过滤掉。冗长的对话也被分成较小的片段，以适应模型的最大上下文长度2048个令牌。
在训练过程中，Vicuna基于斯坦福大学的Alpaca模型进行了几项关键改进：

多轮对话：调整训练损失，以解释多轮对话，使模型更好地理解和响应复杂的，多轮对话。
内存优化：最大上下文长度从512扩展到2048，使维库纳能够理解更长的上下文。梯度检查点和Flash Attention用于内存优化，以管理增加的GPU内存需求。
通过Spot实例降低成本：为了减轻由更大的数据集和增加的序列长度导致的显著训练费用，使用了SkyPilot管理的点实例。这些实例更便宜，并具有自动恢复、抢占和自动区域切换功能，显著降低了培训成本。

凭借其更加类似人类的文本生成功能，开放性和多功能性，Vicuna代表了大型语言模型领域的一个突破。
5.GuanacoGuanaco是一个基于Meta的LLaMA模型的高级语言模型系列，用于在多语言环境中出色地完成指令。Guanaco是建立在LLaMA-7B的基础上，使用创新的QLoRA（量化低秩适配器）方法进行了重大改进和微调的结果。这种方法允许在单个GPU上对大型语言模型进行微调。
Guanaco系列模型包括具有不同数量参数的各种变体，参数从70亿到650亿不等。根据研究人员的说法，最大的Guanaco模型能够达到了Chat GPT 99.3%的性能，展示了其在基准测试中的卓越性能。
Guanaco使用QLoRA方法进行训练，该方法有效地将模型量化到4位精度，并结合了低秩自适应权重（LoRA），在保持高性能的同时显著降低了内存需求。这种方法允许最大的650亿参数Guanaco模型在GPU内存不足48千兆字节的情况下有效运行，在不影响性能的情况下可以减少超过780千兆字节大小。