从Google Gemini到OpenAI Q*：生成式AI研究领域全面综述 _Google

文章插图
新智元报道
来源：专知
【新智元导读】这项综述性研究报告批判性地分析了生成式AI的发展现状和发展方向，并探究了谷歌Gemini和备受期待的OpenAI Q*等创新成果将如何改变多个领域的实际应用。
近日，来自澳大拉西亚理工学院、梅西大学和皇家墨尔本理工大学等机构的研究人员进行了一项全面的综述，深入探讨了生成式AI不断演变的格局。
研究特别关注了混合专家模型（MoE）、多模态学习的变革性影响，以及对通用人工智能（AGI）的推测进展。

文章插图
论文地址：https://arxiv.org/abs/2312.10868
- 严格审视了生成式人工智能（AI）的当前状态和未来轨迹，探索了像谷歌的Gemini和期待中的OpenAI Q*项目这样的创新是如何重塑研究优先事项和在各个领域的应用，包括对生成式AI研究分类法的影响分析。
- 评估了这些技术的计算挑战、可扩展性和现实世界的影响，同时强调了它们在推动像医疗健康、金融和教育等领域显著进展的潜力。
- 讨论了由AI主题和AI生成的预印本的扩散所带来的新兴学术挑战，检查了它们对同行评审过程和学术交流的影响。
- 强调了在AI发展中融入伦理和以人为本的方法的重要性，确保与社会规范和福祉的一致，并概述了一个未来AI研究的战略，该战略聚焦于MoE、多模态和AGI在生成式AI中的平衡和审慎使用。

文章插图
人工智能（AI）的历史背景可以追溯到艾伦·图灵的「模仿游戏」、早期的计算理论，以及第一批神经网络和机器学习的发展，这为今天的高级模型奠定了基础。
这种演变，被像深度学习和强化学习的兴起这样的关键时刻突出地表现出来，对塑造当代AI的趋势至关重要，包括复杂的混合专家模型（MoE）和多模态AI系统，展示了该领域的动态和不断演进的特性。这些进展证明了AI技术的动态和不断发展的本质。
人工智能（AI）的演化在大语言模型（LLM）的出现，特别是由OpenAI开发的ChatGPT，以及最近google的Gemini的揭幕，见证了一个关键的转折点。这项技术不仅彻底改变了行业和学术界，还重新点燃了关于AI意识及其对人类潜在威胁的关键讨论。
这样的先进AI系统的发展，包括像Anthropic的Claude和现在的Gemini这样的重要竞争者，它们展示了对比GPT-3和Google自己的LaMDA的几项进步，重塑了研究格局。
Gemini具有通过双向对话学习的能力，以及其「spike-and-slab」注意力方法，使其能够在多轮对话中专注于上下文的相关部分，代表了在开发更适合多领域对话应用的模型方面的重大飞跃。这些在LLM中的创新，包括Gemini所采用的混合专家方法，标志着向能够处理多样输入并促进多模态方法的模型的转变。
在这种背景下，OpenAI被称为Q*（Q-Star）的项目的猜测已经浮出水面，据称结合了LLM的强大能力和像Q学习和A*（A-Star算法）这样的复杂算法，进一步促进了动态的研究环境。
人工智能研究热度的变化
随着大语言模型（LLM）领域的不断发展，由Gemini和Q*等创新所体现，大量研究浮现出来，旨在描绘未来研究的道路，这些研究从识别新兴趋势到强调快速进展的领域各不相同。
已建立方法和早期采纳的二分法很明显，LLM研究中的「热门话题」正日益转向多模态能力和由对话驱动的学习，正如Gemini所展示的那样。
预印本的传播加速了知识共享，但也带来了降低学术审查的风险。Retraction Watch指出的固有偏见问题，以及关于剽窃和伪造的担忧，构成了重大障碍。
因此，学术界站在一个十字路口，需要统一努力，以根据该领域快速发展的背景来完善研究方向，这种变化似乎可以通过随时间变化的不同研究关键词的流行程度来部分追踪。
像GPT这样的生成式模型的发布和ChatGPT的广泛商业成功具有影响力。
如图1所示，某些关键词的兴衰似乎与重要的行业里程碑有关，例如2017年「Transformer」模型的发布、2018年GPT模型的发布，以及2022年12月商业化的ChatGPT-3.5 。