GLaMM: 像素级定位大型多模态模型 [CVPR 2024]

Hanoona Rasheed*, Muhammad Maaz*, Sahal Shaji, Abdelrahman Shaker, Salman Khan, Hisham Cholakkal, Rao M. Anwer, Eric Xing, Ming-Hsuan Yang 和 Fahad Khan

穆罕默德·本·扎耶德人工智能大学 (MBZUAI)、澳大利亚国立大学、阿尔托大学、卡内基梅隆大学、加州大学默塞德分校、林雪平大学、Google Research

---

📢 最新更新

• 2024年11月7日: 发布了 VideoGLaMM，将基础对话生成任务扩展到了视频领域 🎥！详情请查看 VideoGLaMM 🔥🔥
• 2024年3月21日: 我们很高兴地宣布发布 GranD 数据集以及 GranD 自动化标注流水线 🔥
• 2023年2月27日: GLaMM 已被 CVPR 2024 录用！🎊
• 2023年12月27日: 发布了 GLaMM 训练与评估代码、预训练检查点以及 GranD-f 数据集，点击查看详情 🔥🔥
• 2023年11月29日: 发布了 GLaMM 在线交互式演示 演示链接。🔥
• 2023年11月7日: 发布了 GLaMM 论文 arXiv 链接。🌟
• 🌟 精选: GLaMM 已在 HuggingFace 的 AK 每日论文 页面顶端被重点推荐！🌟

---

GLaMM 概述

Grounding Large Multimodal Model (GLaMM) 是一个端到端训练的 LMM，它不仅具备视觉定位能力，还能够灵活处理图像和区域输入。这使得我们能够实现一种全新的统一任务——“定位对话生成”（Grounded Conversation Generation），该任务结合了短语定位（Phrase Grounding）、指代分割（Referring Expression Segmentation）以及视觉语言对话。凭借对区域的深入理解、像素级定位能力和对话能力，GLaMM 提供了一种灵活的方式，与用户在不同粒度级别上提供的视觉输入进行交互。

---

🏆 主要贡献

• GLaMM 简介：我们提出了 Grounding Large Multimodal Model (GLaMM)，这是首个能够生成与对象分割掩码无缝集成的自然语言响应的模型。

• 新任务与评估：我们提出了“定位对话生成”（GCG）这一新任务，并为该任务引入了一套全面的评估协议。

• GranD 数据集创建：我们创建了 GranD (Grounding-anything Dataset)，这是一个大规模的密集标注数据集，包含 750 万个独特概念，定位在 8.1 亿个区域中。

---

🚀 深入了解：GLaMM 的训练与评估

通过我们关于模型训练和评估方法的详细指南，深入了解 GLaMM 的核心：

• 安装指南：提供设置 Conda 环境以运行 GLaMM 训练、评估和演示的指南。

• 数据集：提供下载和整理训练及评估所需数据集的详细说明。

• GranD：提供下载 GranD 数据集并运行自动化标注流水线的详细指南。

• 模型库 (Model Zoo)：提供所有预训练 GLaMM 检查点的下载链接。

• 训练：提供关于如何训练 GLaMM 模型以实现其各项功能的说明，包括定位对话生成 (GCG)、区域级描述 (Region-level captioning) 和指代分割 (Referring Expression Segmentation)。

• 评估：概述了使用预训练检查点评估 GLaMM 模型的过程，涵盖了论文中所述的定位对话生成 (GCG)、区域级描述和指代分割。

• 演示：指导您设置本地演示以展示 GLaMM 的各项功能。

👁️💬 GLaMM: 定位大型多模态模型