腾讯云祭出行业大模型平台：鹅厂开搞「量体裁衣」，花小成本用大模型( 二 ) _大模型

目前，腾讯云行业大模型平台已经涵盖金融、传媒、文旅、政务、教育等10多个行业场景，提供50+大模型解决方案。
所以具体来看，腾讯云提出的行业大模型平台，将如何帮助他们解决面临的这些问题？
输出自家沉淀能力
总体来看，腾讯云构建行业大模型平台的思路，是尽可能提供更加底层强大、覆盖全面、落地便捷的能力。
而且诚意满满，一次性掏出了腾讯云及腾讯积累多年的技术能力、工程经验及创新成果，并已率先在自家业务上落地应用。
技术方面，腾讯云行业大模型平台的亮点可分为三部分：

模型层面
平台工具
流程方法、配套服务、安全保障

文章插图
首先来看底层模型，这也是大模型平台的核心。
腾讯云TI平台支持企业用户直接结合自身场景数据按需定制精调模型，或者按照所需开展多模型训练任务，让企业用户能更加灵活地调用大模型能力。
平台上内置了多个行业大模型，可以满足金融、传媒、文旅、政务、教育等领域的需求。
在模型层的具体能力上，腾讯云TI平台还在降本增效和简单易用上提出了四大亮点：
第一是低成本训练和推理，这也是企业用户在使用大模型时首要关心的事。腾讯云TI平台实现了在少量算力基础上，可提升特定任务的效果；并选择专注产业场景，降低训练成本、缩短训练周期。
第二是无需配置对话+支持API调用。快速接入调用产业用户API接口，能够端到端高质量完成多轮服务。
第三是高效触达网络知识。这也是大模型的发展趋势，如ChatGPT已经推出联网插件，回答体验立马提升。腾讯云TI平台通过搜索引擎获取网络知识，更广泛和实时的信息，能有效提高回答的多样性和相关性。
第四是高时效、快速更新。目前阶段大模型能获取和理解多少信息，会直接影响它的表现。在这方面，腾讯云建立了实时更新的大模型向量数据库，让大模型阅读理解的长度从2k字增长到8k，翻了4倍。

文章插图
其次来看平台工具方面。
TI-ONE平台提供了完善的大模型工具链，覆盖数据标注、训练、评估、测试和部署等。同时具备多机多卡训练加速能力，能快速进行一站式大模型微调。

文章插图
△腾讯云TI平台行业大模型精调解决方案流程图
在算力方面，腾讯云今年4月发布了面向大模型训练的新一代HCC（High-Performance Computing Cluster）高性能计算集群，具备3.2Tbps业界最高互联网带宽，算力性能提升3倍。
它采用最新一代腾讯云星海自研服务器，结合多层加速的高性能存储系统，加上高带宽、低延迟的网络传输。
数据方面，上面提到的实时更新腾讯云向量数据库（Tecent Cloud Vector DB），是腾讯自研、基于内部多年运营积累的分布式向量数据库，已经过腾讯海量业务场景验证，日均处理向量检索千亿次，支持标量+向量的混合检索，具有高性能、大容量等特点，支持全内存索引。

文章插图
与此同时，TI-ONE平台还提供了多个单点工具。
TI-ONE训练平台是为AI工程师打造的一站式机器学习平台，提供从数据接入、模型训练、模型管理到模型服务的全流程开发支持，内置多种训练方式和算法框架。
TI-DataTruth数据标注平台面向AI数据服务商提供数据标注作业、数据众包管理、场景数据挖掘等智能数据生产服务。
TI-Matrix应用平台支持快速接入各种数据、算法和智能设备，并提供可视化编排工具，进行模型服务和资源的管理及调度，进一步通过AI服务组建集成和标准化接口开放，降低AI应用开发成本。
值得一提的是，腾讯云TI-ACC升级为太极Angel，能提供更强大的训练和推理加速能力。通过异步调度优化、显存优化、计算优化等方式，相较于行业常用方案提升30%+ 。

文章插图
此外，基于腾讯云IaaS层产品服务（计算集群、对象存储、网络加速等），可支持丰富的训练需求和推理应用场景。
腾讯云还联合中国信通院、客户，共建了行业大模型的标准体系及能力架构。包括1套ILMOps方法论、60+的能力建设指标、覆盖主观和客观的能力要求、细化超过200+能力验证指标。覆盖金融、政务、传媒、教育、文旅等各大行业，涵盖模型行业能力、模型工程化性能、模型算力网络、模型安全可靠等方面。