江苏龙网

  1. 主页 > 生活百科 > >

全面转向生成式AI，苹果推出300亿参数多模态大模型

大模型

相较于英伟达、微软等大型科技股 ， 苹果今年的表现令人失望不已，股价年内跌逾10%，且失去了“全球市值最高公司”的宝座 。
【全面转向生成式AI，苹果推出300亿参数多模态大模型】背后原因很简单，苹果在这场人工智能(AI)竞赛中落伍了 。为了摆脱窘境，苹果近期放弃了造车项目，正在全面转向生成式AI领域，并且很快有了新动作 。
就在近日，苹果公司研发团队发布了一篇论文《MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training》，首次公布了多模态大模型MM1，展示了该公司在AI方面的进展与实力 。

全面转向生成式AI，苹果推出300亿参数多模态大模型

文章插图
据悉 ， MM1最高参数量为300亿，该模型支持增强的上下文学习和多图像推理，在一些多模态基准测试中有较好表现 。
研究人员使用这些模型进行实验，找出影响大模型表现的关键因素 。有趣的是，图像分辨率和图像标签数量比视觉语言连接器的影响更大，不同的预训练数据集会显著影响模型的有效性 。
MM1的独特之处在于其庞大的规模和架构创新，包括密集的模型和混合专家模型 。这些模型证明了研究人员方法的有效性，将大规模预训练与战略性数据选择相结合 ， 以增强模型的学习能力 。
研发团队称，MM1不仅在预训练指标中是“最先进的”，并且在一系列已建立的多模态基准测试中 ， 经过微调后也保持了“有竞争力的”性能 。
MM1可以支持增强的上下文学习和多图像推理，使得少数样本的思维链提示成为可能 。
然而，目前MM1的整体性能还没有完全超过谷歌的Gemini和OpenAI的GPT-4 ， 虽然MM1可能还不是绝对的领导者，但它仍然是苹果在AI方面的一次重大飞跃 。
与此同时，苹果公司还出手收购了AI初创公司DarwinAI 。DarwinAI以创建更小、更快的AI系统见长，这是实现设备上高效处理的关键因素 。收购完成后，DarwinAI的网站和社交媒体账户已悄然下线 。
据悉 ， 数十名DarwinAI员工已经加入了苹果的AI部门，作为交易的一部分 ， 滑铁卢大学的AI研究员Alexander Wong已加入苹果，担任AI团队的总监 。




    推荐阅读


    上一篇：马斯克旗下人工智能大模型Grok已正式开源

    下一篇：提示“该网站安全证书存在问题，连接可能不安全”如何解决