文心大模型升级3.5版本，有多强？我们帮你试了试( 二 ) _文心大模型

文章插图
提问时间：2023 年 7 月 6 日
再比如，要求文心一言绘制出近日北京市的气温变化情况：

文章插图
为了求证文心一言引用的数据是否准确，我们也用百度搜索了今天北京市的气温情况。唯一不够全面的点在于，7 月 6 日北京市气象台发布了高温红色预警信号，北京市部分地区最高气温可达 40℃以上。
第二个插件是「ChatFile」，可基于长文档进行问答和摘要。
比如，机器之心某天有一篇新的论文要读，字数很多，方法很前沿，这时文心一言就能助一臂之力：

文章插图

文章插图
目前，使用 ChatFile 插件的前提是文件基于 PDF 或 Doc 格式，暂不支持扫描件，大小需要在 10MB 之内。
王海峰表示：「插件机制的引入，将进一步扩展大模型能力的边界，也是构建大模型生态过程中非常重要的机制。」下一阶段，文心一言将发布更多优质的百度官方和第三方插件，让用户能够更好地应用文心大模型。同时，文心一言也将逐步开放插件生态给第三方开发者，帮助开发者基于文心大模型打造自己的应用。
技术创新的「叠加效应」
至此，我们已经直观地体会到了文心大模型 3.5 带来的变化。
而这些革新，又是如何实现的呢？
王海峰介绍说，文心一言 ERNIE Bot 是在 ERNIE 及 PLATO 系列模型的基础上研发的，其核心技术包括六个模块：知识增强、检索增强、对话增强、有监督精调、人类反馈的强化学习、提示。
其中，有监督精调、人类反馈的强化学习、提示是大语言模型的通用技术，而知识增强、检索增强、对话增强则属于百度的特有技术，也是文心一言不断进化的基础思路。
知识增强的意义十分关键，其实从英文名称「ERNIE」（Enhanced Representation from kNowledge IntEgration）就可以看出，文心大模型的成长与知识增强是密不可分的。知识增强的大语言模型不只能从原始数据中进行学习，还可以从知识和数据中进行融合学习，这也是提升大模型最终效果和效率的关键。
在知识增强方面，文心一言的知识增强主要是通过知识内化和知识外用两种方式。知识内化是从大规模知识和无标注数据中，基于语义单元学习，利用知识构造训练数据，将知识学习到模型参数中，知识外用是引入外部多源异构知识，做知识推理、提示构建等等。
在检索增强方面，文心一言的检索增强，来自以语义理解与语义匹配为核心技术的新一代搜索架构。通过引入搜索结果，可以为大模型提供时效性强、准确率高的参考信息，更好地满足用户需求。
在对话增强方面，基于对话技术和应用积累，文心一言具备记忆机制、上下文理解和对话规划能力，实现更好的对话连贯性、合理性和逻辑性。
在这次文心大模型 3.5 的打造过程中，百度团队围绕其进行的一系列创新和优化。

文章插图
首先，文心大模型 3.5 在基础模型训练中采用了飞桨最先进的自适应混合并行训练技术及混合精度计算策略，采用多种策略优化数据源及数据分布，加快了模型的迭代速度，同时提升了模型效果和安全性。
其次，文心大模型 3.5 创新了多类型多阶段有监督精调、多层次多粒度奖励模型、多损失函数混合优化策略、双飞轮结合的模型优化等技术，使模型效果及场景适配能力进一步提升。随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强。
此外，在知识增强和检索增强的基础上，百度团队进一步提出了「知识点增强技术」，首先是对用户输入的查询、问题等进行分析理解，并解析生成答案所需要的相关知识点，之后运用知识图谱和搜索引擎为这些知识点找到相应答案，最后用这些知识点构造输入给大模型的提示。知识点增强技术能为大模型注入更具体、更详细、更专业的知识点，显著提升大模型对世界知识的掌握和运用，使其完成各项任务的效果显著提升。
最后，在推理方面，通过大规模逻辑数据构建、逻辑知识建模、粗粒度与细粒度语义知识组合以及符号神经网络技术，显著提升文心大模型 3.5 在逻辑推理、数学计算及代码生成等任务上的表现。