江苏龙网

  1. 主页 > 生活百科 > >

百模征战，如何解决数据卡脖子问题？

数据


百模征战，如何解决数据卡脖子问题？

文章插图
继ChatGPT以来，大模型在国内掀起了一股热潮，大有百模征战之意 。而其中数据、算法、算力作为大模型训练的三驾马车，预训练数据的数量、质量、多样性成为大模型能力表现的关键性因素，数据对于人工智能领域的重要性值得我们重新审视 。
然而，在追求技术创新的同时，确保数据的合法性、隐私保护和伦理问题的考量也应当得到足够的重视 。从目前AI大模型的发展来看，数据集的争议在近年来变得越发常见 。由于大规模训练数据集对于训练强大的AI模型至关重要，数据集的来源和使用问题引发了一系列的法律和伦理争议 。随着AI技术的快速发展和广泛应用，确保数据的合法和透明使用变得尤为重要 。
那么，数据作为大模型训练的基础，应该如何保障数据安全呢？针对大模型训练，“量”为主还是“质”为主呢？针对目前大模型训练过程中的数据问题，又有什么解决办法？
数据成为大模型研发卡脖子问题数据集质量是大模型研发中的关键，只有通过高质量、多样性的数据集，才能让大模型展现出真正的智能和创造力 。然而，在大模型研发过程中，使用的数据却成为了其成长之路上的重要阻碍 。在国外，因大模型研发而造成的数据纠纷早已出现 。
一群匿名人士在一项集体诉讼中声称，ChatGPT的开发商OpenAI公司正在窃取大量个人信息，以训练其人工智能模型不顾一切地追逐利润 。这些匿名人士指责OpenAI从互联网上秘密抓取3000亿字，窃听了“书籍、文章、网站和帖子，包括未经同意获得的个人信息”，违反了隐私法 。
除此之外，国内也出现了大模型相关的数据纠纷，其中笔神作文对学而思大模型的指控更是再次让大家关注到了数据对大模型的重要性 。笔神作文表示，学而思通过“爬虫”技术非法访问、缓存笔神作文App服务器数据多达258万次，严重侵犯了笔神作文APP的数据权益 。这一行为不仅违反了双方的合同条款，也违反了《数据安全法》相关规定，严重侵犯了笔神作文APP的数据权益 。
百模征战，如何解决数据卡脖子问题？

文章插图
对此，学而思官方微博发文回应称:“首先，MathGPT是专注于数学领域的自研大模型，没有任何作文相关数据;其次，‘作文AI助手’目前处于开发状态，尚未发布，该服务并未使用笔神作文的任何数据 。”
此外，推特、“美版贴吧”Reddit也在今年上半年相继宣布对API接口收费，且价格不菲 。此前，这些平台的内容可以被谷歌、OpenAI等公司免费爬取，用作大语言模型的训练库 。推特CEO马斯克曾表示，“他们（微软）非法利用推特的数据来训练，是时候起诉他们了 。”
随后，三星也关注到了这一现象，并推出了一项新政策，要求员工不得在工作场所使用OpenAI的ChatGPT和谷歌Bard等生成式人工智能 。据三星称，4月时一名工程师将内部源代码上传到ChatGPT后，意外泄漏了内部源代码 。这让三星担忧其数据将通过人工智能平台最终落入其他用户手中 。因此，三星员工被禁止在公司设备上使用人工智能工具，包括电脑、平板电脑、手机等 。但员工仍可以在个人设备上使用人工智能工具，不过仅限于与工作无关的事情 。
数据是否已成为大模型训练的卡脖子呢？为此，数据猿就相关问题与业界专家进行了沟通 。
天云数据CEO雷涛表示：这个问题我们要反思到根本：做大模型还是喂大模型？目前，大模型能够提炼的语料是开放的、共享的和免费的 。根据凤凰网周刊，ChatGPT 中文资料为0.09905%，比重还不足千分之一 。如果说蒸汽机是对动力的封装和移动，电是对能源的封装和移动，那么人工智能将是对知识的封装和移动 。大模型的知识会成为以后的基础设施，到那个时候其“布道”的到底是“圣经”还是“诸子百家”，内核差异巨大 。所以填充大模型语料才是根本的卡脖子问题 。《1984》里有一句话：“谁控制了过去，谁就控制了未来；谁控制了现在，谁就控制了过去 。”这句话应用在大模型数据上完全切合 。
华院计算技术总监杨小东博士认为，目前大模型卡脖子问题主要集中于两方面：
首先，对于具体行业内公司及解决方案供应商来讲，高质量的行业数据确实是一个主要的卡脖子的点 。这里二八法则同样适用，也就是说大模型最终效果如何，80%是由数据决定的 。通过高质量数据对模型进行低成本微调（PEFT），或者结合Langchain，可以做出各方面体验还不错的行业大模型 。但如果数据方面比较薄弱，那就只能基于基底模型本身的能力，做些通用的，不痛不养的场景 。


推荐阅读


上一篇：刘亦菲和秋瓷炫同台，一个像白领，一个像村姑，气质差距一目了然

下一篇：大模型重新激活电商领域ChatBot，新的流量入口到来？