一个GPT的幽灵在Gemini上空徘徊

原文来源:硅基立场

一个GPT的幽灵在Gemini上空徘徊

文章插图
图片来源:由无界 AI生成
每次google在生成式人工智能领域祭出大招 , 都能让人感到一种隐秘且巨大的情绪力量:隐忍、不甘与较量 。
在5月的Google I/O上,Google发布PaLM系列模型 , 即被视为是对彼时风头正盛的GPT-4的强劲挑战 。年底毫无预警地祭出Gemini系列大语言模型(包含移动版Nano、基础版Pro和高级版Ultra),在关键性能和基准评测指标上针对GPT的意图更加直接 。
Google官方声称:在被大型语言模型研究和开发广泛使用的 32 项学术基准中,Gemini Ultra 的性能有 30 项超越了目前GPT–4代表的最先进水平 。Gemini标榜“原生多模态”,这让它一开始就在文本、图像、音频、视频和代码等组合模态上进行预训练,故而可能在复杂理解和推理方面有更强表现,特别是解决数学和物理问题 。
Google不遗余力地强调上述优势——OpenAI走的是“渐进式多模态”的路,先基于文本语料 , 代码跟进,再图像视频音频,最后把这些能力组合在一起训练 。而Gemini从一开始就在多模态语料上训练,再用多模态数据调优 , 比OpenAI训练GPT的方法“先进”一些 。
“先进”的多模态训练,理论上能带来更强劲的性能 。公布的Gemini Ultra学术基准评测结果大面积超越GPT-4的细节似可说明 。但学术基准测试本身就是理论的一部分,并不能真正体现应用的效果 。不少人挤兑中国一些大语言模型热衷于基准测试“刷分”,我们该一视同仁,Google的做法与国内大模型冲着超越GPT刷分,本质上没有什么不同 。
目前社交平台X上实测Gemini Pro(Bard聊天机器人目前只支持Pro版)的用户已经贡献了不少吐槽 。比如它混淆了2023年和2022年的奥斯卡奖获得者,也不会用Python/ target=_blank class=infotextkey>Python写入两个多边形的交集这种简单函数 。我们还发现它识别不出叶子的数量,以及做不对简单的求锐角几何题 。即便Gemini Pro对标的是GPT-3.5,它也还是差了点意思 。
【一个GPT的幽灵在Gemini上空徘徊】被人们指出的另一个突出问题是Gemini的宣传视频“造假”:Gemini Ultra对一组手势动作很快做出反应,说这是一个石头剪子布的游戏,但它未被视频显示的功能文档却给出了至少两条提示:“我在做什么?”,“提示,这是一个游戏” 。其它的一些测试甚至需要更多的提示问题辅助生成结果,但这个过程在Gemini的官方视频里被省略掉了 。以至于大多数不太较真的人高估Gemini的理解能力和反应速度,这不能不说是个误导 。
我到现在都记得2017年我在Google I/O的现场 , 台上的Google员工演示如何通过Google Assistant语音助手直接预订一家餐厅,下面掌声雷动,我也跟着拍巴掌,觉得太棒了 。但一个月后即传出这是一个事先准备好的桥段 。Google没有造假 , 但它通常太希望展示其AI能力的无与伦比,太急切地呈现自己的AI乐观主义,以至于经常缩略呈现了背后的过程,也就事实上夸大了效果 。
说白了,Gemini视频的夸张呈现 , 只是说明Google太在意Gemini比GPT强了 。它很着急,加上人们对任何跟ChatGPT较劲的任何大模型,特别是巨头的“杰作” , 通常都比较苛刻 。当然,人们对Google是最苛刻的——毕竟OpenAI选择用Google发明的Transformer架构搞出了划时代的GPT模型 , 动机之一就是摆脱Google无所不在的AI压制,那谁还不希望看见Google露怯呢 。
某种程度上,Google是OpenAI在这个星球上唯一的孪生 。包括Meta的LLamA架构都是开源的 , 以马斯克老师对开源的偏爱,Grok未来大概率也得开源 。中国的大语言模型也在不同程度上都走了开源道路 。只有OpenAI和Google是坚定闭源的,这就让Google在大语言模型上的进展,本能地与OpenAI形成了强绑定关系 。
还有一个戏剧性的张力:每次OpenAI有围绕GPT的大动作 , 舆论都会喊Google出来挨一回落后就要挨的打 。然后Google差不多一定会在OpenAI出招之后的一到两个月,祭出一个新的大招,证明一下你大爷还是你大爷 。然后再憋几个月,OpenAI再出招,Google再被喊出来挨打 。格局真就会因此改变么?
某种程度看,Google在生态建设上还是比OpenAI落后了一个身位 。毕竟这个世界上已经有几百万个开发者自己做的GPTs了 。而Google最早要到明年初才能向开发者和企业客户提供强化训练反馈后的Gemini Ultra,让人们在上面开发自己的应用 。到那时恐怕GPT Store都已经正式推出来了 。我一直有点困惑,Google当年难道不是靠Android的开源夺得苹果半壁江山的么?这次怎么把这个角色让给Meta了?


推荐阅读