地表最强AI大会上，我看到自己就能训练一个GPT的日子即将到来 _AI大会

北京时间3月19日凌晨四点，英伟达GTC 2024主题演讲如期开幕：这不仅五年以来的第一场线下举办的GTC，也是 2024 年重要的一场 AI 峰会。

文章插图
2024GTC丨英伟达
当穿着黑色皮夹克的黄仁勋上台的那一刻，在场所有人都松了一口气：似乎英伟达又回到那个“领先对手的同时也一刻不停奔跑”的时代。

文章插图
开场keynot丨英伟达
今年黄仁勋演讲的主题为“AI 的进步正在塑造人类的未来”，实际上，这场演讲的主题更像是在讲述“人如何与机器共同相处来改变生活”：在英伟达展示的未来中，包括比亚迪、日产、西门子在内的业内巨头都参与其中。
但黄仁勋还是在演讲中处处提醒观众：这不是幻想，而是即将到来的近未来：一个 AI 改变所有事物所有人的未来。
“工业革命新引擎”Blackwel
2018 年，同样是在GTC大会期间，黄仁勋讲出了著名的“黄氏定律” Huang's law：表示为了满足深度学习的计算需求，GPU 效能将会每两年提升一倍以上。
这一定律随着英伟达在生成式 AI 时代的无可撼动的行业地位，也随之广为流传：但实际上，GPU 硬件的性能往往只需要六个月就被翻了一倍—— 但这更像是属于英伟达的独角戏，每次有资格站在擂台上挑战英伟达的，往往都只有英伟达自己，这也是黄教主敢在演讲中将英伟达与台积电相提并论，称英伟达实际上是一家“人工智能晶圆厂” 的底气所在。
Blackwell 平台架构推理卡：这一平台以“二十世纪最杰出数学家之一”的 David Blackwell 的名字命名。搭载了 2080 亿颗晶体管，同时也是英伟达首个采用多芯片封装技术的 GPU 。

文章插图
Blackwell对比Hopper丨英伟达
这一技术能将两颗 GPU 高速串联起来，将其视为一颗 GPU 来分配处理计算任务，同时提供完整的缓存一致性，还具有192GB高带宽内存 (HBM3E)，速度为 8 Gbps ，每个芯片的带宽为 1.8TB/秒。

文章插图
老黄还现场对比了 Blackwell 架构 GPU（左）和此前 Hopper 架构 GPU（右）的体积丨英伟达
但更大的体积还不足以完全展示出先进制程所带来的更强性能，更直观的例子是：OpenAI 最新的 GPT-4-1.8T 的参数规模，2000 台 Blackwell 只需要 90 天就可以完成训练。同样的工作量放在 Hopper GPU 上则需要 8000 张才能完成。无论是电力还是生成 token 成本都能被降低至原本的四分之一，能耗与训练效率更是提升了 25 倍。
黄仁勋有一句经典的口号“即使竞争对手的 GPU 是免费送的，也没有我们的更便宜”：这句话的语境，是指英伟达并非单独售卖 GPU，而是为客户提供了一整套的解决方案：例如在 Blackwell GPU 之上，还有用 72 块 Blackwell GPU 及 36 颗 Grace GPU 组合而成的超级计算机 DGX GB200 。

文章插图
算力需求增长丨英伟达
在 GB200 之上，英伟达还提供了通过 NVIDIA Quantum InfiniBand 网络技术，将数万台 GB200 并联成为真正的超级计算机的解决方案，这套系统能将数以十万计的 Blackwell GPU 串联成为一个整体，用于训练地球上最顶级的生成式 AI 大模型。
更形象一点，这就是能够孕育出下一代聪慧如人的生成式多模态对话 AI 的产房。
随着新品的发布，老黄也在演讲中回忆起了自己亲自送货上门的第一台 DGX —— 彼时这台具有划时代意义的训练设备被送给了 OpenAI，当时只有 0.17 Petaflops 的算力，而如 GB200 的算力，相比八年前的“初号机”已经提升了八千倍。

文章插图
老黄送货上门丨英伟达
现在，除了 OpenAI 之外，包括亚马逊、google、微软一集以及甲骨文也都是 GB200 的首批用户；此外随着模型参数体积越来越?。??糜谘盗返挠⑽按?GPU 性能越来越强，老黄还提醒大家：或许每个人都能训练出自己的 ChatGPT 的时刻，已经用不了多长时间了。