open-computer-use

[!TIP] 对 Browser Use 感兴趣吗？请查看 open-browser-use。

open-computer-use 是一个以 MCP（Model Context Protocol）形式封装的开源 Computer Use 服务。任何 AI Agent 或 MCP 客户端都可以使用它在 macOS、Linux 和 Windows 上运行 Computer Use。

本项目受 OpenAI 的 Codex Computer Use 启发。它展示了如何基于辅助功能（Accessibility）构建非侵入式的 CUA，因此我决定构建一个开源版本。

我使用我的 harness template 启动了这个项目，这是一个用于快速构建 AI 优先（AI-first）项目的模板。它是我们近期最实用的工作流之一，特别适用于几乎 100% 由 AI 生成的项目。我还写了一篇博客，介绍了其背后的方法论。

演示

Codex App 和 Codex CLI

open-computer-use 在 Codex App 和 Codex CLI 中作为 Computer Use 使用，体验与官方版本一致。

Gemini CLI

https://github.com/user-attachments/assets/eacb3b15-f939-46c7-b3b3-6f876977a58d

Gemini CLI 通过 MCP 连接到 open-computer-use，并执行完整的 Computer Use 操作。

Linux

https://github.com/user-attachments/assets/e036b1c8-2200-4896-abd4-19225915cf66

在 Linux 上运行的 open-computer-use。

快速开始

npm i -g open-computer-use

在 macOS 上，首次运行需要授予 辅助功能 (Accessibility) 和 屏幕录制 (Screen Recording) 权限。Windows 和 Linux 不需要此步骤。

open-computer-use

使用前，将其安装到你的 Agent 中：

# 通过写入 ~/.codex/config.toml 安装到 Codex
open-computer-use install-codex-mcp

或者手动将其添加到你的客户端：

{
  "mcpServers": {
    "open-computer-use": {
      "command": "open-computer-use",
      "args": ["mcp"]
    }
  }
}

Skill

直接安装 Skill：

# 为 Codex 安装
npx skills add iFurySt/open-codex-computer-use -g -a codex --skill open-computer-use -y
npx skills ls -g -a codex | rg 'open-computer-use'

为 Claude Code 安装：

npx skills add iFurySt/open-codex-computer-use -g -a claude-code --skill open-computer-use -y

更新现有的全局安装（包括上述创建的 Codex 安装）：

npx skills update open-computer-use -g -y

你也可以手动下载并安装 open-computer-use skill。

除了上述的 MCP JSON 配置外，你还可以使用内置命令：

# 通过写入 ~/.codex/config.toml 安装到 Codex
open-computer-use install-codex-mcp

# 作为 Codex 插件安装（主要用于 Codex App）
open-computer-use install-codex-plugin

# 通过写入 ~/.claude.json 安装到 Claude Code
open-computer-use install-claude-mcp

# 通过写入 ./.gemini/settings.json 为当前项目安装到 Gemini CLI
open-computer-use install-gemini-mcp

# 安装到 Gemini CLI 用户配置中
open-computer-use install-gemini-mcp --scope user

# 通过写入 ~/.config/opencode/opencode.json（或活动配置文件）安装到 opencode
open-computer-use install-opencode-mcp

# 调用单个 Computer Use 工具并打印 MCP 格式的 JSON 结果
open-computer-use call list_apps
open-computer-use call get_app_state --args '{"app":"TextEdit"}'

# 在一个进程中运行序列，以便复用 element_index 状态
# 序列默认在成功操作之间等待 1 秒
open-computer-use call --calls '[{"tool":"get_app_state","args":{"app":"TextEdit"}},{"tool":"press_key","args":{"app":"TextEdit","key":"Return"}}]'
open-computer-use call --calls-file examples/textedit-overlay-seq.json --sleep 0.5

# 检查权限；仅在缺少权限时触发引导
open-computer-use doctor

# 显示帮助
open-computer-use -h

Cursor Motion

Cursor Motion 是一个用于 macOS 的开源光标移动系统，基于 Software.Inc 团队成员公开的信息。你可以从 Releases 页面下载该应用。

Star 历史

许可证

MIT

iFurySt/open-codex-computer-use