GPT-4V-Act: Chromium Copilot

🔥 更新（2024年9月14日）：欢迎查看 Windows Agent Arena (WAA)！该项目集成了 GPT-4V-Act 原计划的所有功能，包括旨在实现桌面 UI 环境下 Set-of-Marks 提示词的 AI 标注功能。

GPT-4V-Act 是一款出色的多模态 AI 助手，它将 GPT-4V(ision) 与网络浏览器和谐地结合在一起。其设计初衷是模仿人类操作员的输入与输出——主要是屏幕反馈以及底层的鼠标/键盘交互。该项目的目标是促进人机操作之间的顺畅过渡，助力开发能够显著提升任何用户界面（UI）可访问性的工具，并辅助工作流自动化及自动化 UI 测试。

工作原理

GPT-4V-Act 利用了 GPT-4V(ision) 和 Set-of-Mark Prompting 技术，并结合了定制的自动标注器（auto-labeler）。该标注器为每个可交互的 UI 元素分配一个唯一的数字 ID。

通过将任务和屏幕截图作为输入，GPT-4V-Act 可以推断出完成任务所需的后续行动。在执行鼠标/键盘输出时，它可以参考数字标签以获取精确的像素坐标。

快速开始！

# 克隆仓库
git clone https://github.com/ddupont808/GPT-4V-Act ai-browser
# 进入仓库目录
cd ai-browser
# 安装所需依赖
npm install
# 启动演示
npm start

功能特性

• 🔄 视觉 (部分完成)
  • ✅ JS DOM 自动标注器 (支持 COCO 导出)
  • ❌ AI 自动标注器
• ✅ 点击
• 🔄 输入 (部分完成)
  • ✅ 字符输入 (字母、数字、字符串)
  • ❌ 特殊按键输入 (回车、向上翻页、向下翻页)
• ❌ 滚动
• ❌ 向用户询问更多信息
• ❌ 记忆与任务相关的信息

如果您有任何想法、反馈或希望参与贡献，请随时创建 Issue 或联系 ddupont@mit.edu。

演示示例

以下是通过用户界面指示智能体“为我播放一首随机歌曲”的示例：

这是 GPT-4V 看到的提示词及其相应的输出：

用户

task: play a random song for me

type ClickAction = { action: "click", element: number }
type TypeAction = { action: "type", element: number, text: string }
type ScrollAction = { action: "scroll", direction: "up" | "down" }
type RequestInfoFromUser = { action: "request-info", prompt: string }
type RememberInfoFromSite = { action: "remember-info", info: string }
type Done = { action: "done" }

## response format
{
  briefExplanation: string,
  nextAction: ClickAction | TypeAction | ScrollAction | RequestInfoFromUser | RememberInfoFromSite | Done
}

## instructions
# observe the screenshot, and think about the next action
# output your response in a json markdown code block

助手

{
  "briefExplanation": "I'll type 'random song' into the search bar to find a song for you.",
  "nextAction": { "action": "type", "element": 7, "text": "random song" }
}