🤖 Magma：用于多模态 AI 智能体的基础模型

Jianwei Yang*1†  Reuben Tan1†  Qianhui Wu1†  Ruijie Zheng2‡  Baolin Peng1‡  Yongyuan Liang2‡

Yu Gu1  Mu Cai3  Seonghyeon Ye4  Joel Jang5  Yuquan Deng5  Lars Liden1  Jianfeng Gao1▽

1 微软研究院；2 马里兰大学；3 威斯康星大学麦迪逊分校； 4 韩国科学技术院（KAIST）；5 华盛顿大学

• 项目负责人 † 第一作者 ‡ 第二作者 ▽ 领导层

CVPR 2025

📄 arXiv 论文   🌐 项目主页   🤗 Hugging Face 模型 ☁️ Azure AI Foundry 📺 视频

通往多模态 AI 智能体之路

:sparkles: 亮点

• 数字与物理世界： Magma 是首个专为多模态 AI 智能体打造的基础模型，旨在处理虚拟和现实环境中复杂的交互！
• 多功能能力： Magma 作为单一模型，不仅具备通用的图像和视频理解能力，还能生成目标导向的视觉规划与动作，使其能够胜任各类智能体任务！
• 最先进的性能： Magma 在多种多模态任务上达到了 SOTA 水准，包括 UI 导航、机器人操作，以及通用的图像和视频理解，尤其在空间理解与推理方面表现突出！
• 可扩展的预训练策略： Magma 除了利用现有的智能体数据外，还设计为能够从野外无标签视频中进行可扩展学习，从而具备强大的泛化能力，适用于各类现实应用场景！

:fire: 新闻

• [2025.04.29] 带有 SoM 提示标注的 Mind2Web 和 AITW 数据集已在 Hugging Face 上发布！我们在 Magma 的下游微调中使用了这些数据并在论文表格中报告了结果。
• [2025.04.12] 🔥 我们在 Hugging Face 上发布了带有视觉轨迹的预训练视频数据集 Magma-Video-ToM。
• [2025.04.06] 带有视觉轨迹的 Open X-Embodiment 预训练数据可从 Magma-OXE-ToM 下载。
• [2025.03.16] 我们在 SoM/ToM 生成 中发布了用于生成教学视频的 SoM 和 ToM 的演示代码（即论文中的算法 2）。
• [2025.03.09] 🔥 我们发布了 Magma 训练代码，并提供了在 Magma-820K 数据集上训练 Magma-8B 的示例。请查看 模型训练。
• [2025.03.06] 我们发布了一个展示机器人规划能力的新演示。运行 python agents/robot_traj/app.py 即可启动演示！
• [2025.02.28] 我们在 Hugging Face 上发布了两个演示：Magma-UI 和 Magma-Gaming。查看我们模型在动作定位和规划方面的能力！
• [2025.02.26] ⭐ 激动人心的消息！Magma 已被 CVPR 2025 接收！
• [2025.02.25] 🎉 重大新闻！我们正在 Hugging Face 和 Azure AI Foundry 上发布 Magma 模型！
• [2025.02.23] 我们发布了 Magma 推理代码！
• [2025.02.20] Magma 已登上 Hacker News 头条！
• [2025.02.19] 我们将于 2 月 25 日下周二的 MSR 论坛上发布我们的代码、模型和 UI 导航演示！
• [2025.02.18] 我们在 MSR 的旗舰项目 Magma 已在 arXiv 上发布！

:bookmark_tabs: 待办事项

我们将发布以下所有内容：

• 模型推理代码
• 添加 UI 和游戏智能体演示
• 模型检查点 (Checkpoint)
• 训练代码
• 带有轨迹的 Open-XE 预训练数据
• 带有轨迹的视频预训练数据
• 带有 SoM 的 SeeClick 和 Vision2UI 预训练数据
• UI/Libero 微调脚本
• 视频微调脚本

:clipboard: 大纲

• 什么是 Magma？
• 我们如何预训练 Magma？
• 安装
• 数据预处理
  • SoM 和 ToM 生成
• 模型训练
  • 在没有 SoM/ToM 的情况下进行 Open-X 预训练