trycua/cua

Open-source infrastructure for Computer-Use Agents. Sandboxes, SDKs, and benchmarks to train and evaluate AI agents that can control full desktops (macOS, Linux, Windows).

agentai-agentapplecomputer-usecomputer-use-agentcontainerizationcuadesktop-automationhacktoberfestlumemacosmanusoperatorswiftvirtualizationvirtualization-frameworkwindowswindows-sandbox

GAI 中文摘要

Cua 是一个专为计算机使用代理（Computer-Use Agents）打造的开源基础设施平台。它通过提供沙盒、SDK 及基准测试工具，解决 AI 代理在跨平台桌面环境（macOS、Linux、Windows）中难以进行自动化交互和性能评估的难题。

提供后台自动化驱动能力，允许 AI 代理在不抢占用户焦点或鼠标光标的情况下执行点击、输入及验证任务。支持跨操作系统标准化部署，通过统一的命令行界面（CLI）和 MCP 服务器适配主流开发工具及自定义客户端。集成安全沙盒环境，为代理运行和代码执行提供隔离的桌面空间。内置基准测试与环境评估模块，帮助开发者量化 AI 代理的实际操作表现与技能水平。利用虚拟化技术提供原生桌面体验，支持在不同操作系统下进行稳定且可控的交互操作。

适用于 AI 代理开发者及研究人员，可用于构建、测试及部署需要自动化操控全桌面环境的复杂 AI 智能体应用。

⭐

17.4k

Stars

🔱

1.1k

Forks

👁

Watchers

📋

328

Issues

HTMLMIT创建于 2025/1/31更新于今天

在 GitHub 上查看访问主页

README

由 Gemini 翻译整理

Cua

构建、基准测试并部署能够操作计算机的 AI Agent。

选择你的路径

Cua Driver - macOS 和 Windows 的后台计算机操作驱动（Linux 预发布版）

在后台操控原生桌面应用 —— Agent 可以进行点击、输入和验证，且无需占用鼠标光标或获取窗口焦点。在 macOS 和 Windows 上，你可以使用与 Claude Code、Cursor、Codex、OpenClaw 及自定义客户端相同的 CLI 和 MCP Server。Linux 支持目前作为预发布后端提供，平台测试仍在进行中。

macOS / Linux 预发布版

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)"

Windows (PowerShell)

irm https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.ps1 | iex

完整的工具参考、架构说明以及可选的 Agent 技能包请参阅：libs/cua-driver/README.md。

Cua - 适用于任何操作系统的 Agent 专用沙箱

构建能够识别屏幕、点击按钮并自主完成任务的 Agent。无论是在云端还是本地，为任何虚拟机或容器镜像提供统一的 API。

pip install cua

# 需要 Python 3.11 或更高版本
from cua import Sandbox, Image

# 无论 OS 或运行时环境如何，API 保持一致
async with Sandbox.ephemeral(Image.linux()) as sb:   # 或 .macos() .windows() .android()
    result = await sb.shell.run("echo hello")
    screenshot = await sb.screenshot()
    await sb.mouse.click(100, 200)
    await sb.keyboard.type("Hello from Cua!")
    await sb.mobile.gesture((100, 500), (100, 200))  # 多点触控手势

	Linux 容器	Linux 虚拟机	macOS	Windows	Android	自定义镜像 (.qcow2, .iso)
云端 (cua.ai)	✅	✅	✅	✅	✅	🔜 即将推出
本地 (QEMU)	✅	✅	✅	✅	✅	✅

快速开始 | 示例 | API 参考

CuaBot - 为任何 Agent 提供协同计算机操作

cuabot 为任何编码类 Agent 提供了一个无缝的计算机操作沙箱。独立窗口通过 H.265 编码、共享剪贴板和音频流原生显示在你的桌面上。

npx cuabot                 # 设置初始化

# 在沙箱中运行任何 Agent
cuabot claude              # Claude Code
cuabot openclaw            # 沙箱中的 OpenClaw

# 在沙箱中运行任何 GUI 工作流
cuabot chromium
cuabot --screenshot
cuabot --type "hello"
cuabot --click   [button]

开箱即用，内置对 agent-browser 和 agent-device（iOS、Android）的支持。

快速开始 | 安装指南 | 首次亮相于 ClawCon

Cua-Bench - 基准测试与 RL 环境

在 OSWorld、ScreenSpot、Windows Arena 以及自定义任务上评估计算机操作 Agent 的性能，并导出轨迹数据用于训练。

# 安装并创建基础镜像
cd cua-bench
uv tool install -e . && cb image create linux-docker

# 使用 Agent 运行基准测试
cb run dataset datasets/cua-bench-basic --agent cua-agent --max-parallel 4

快速开始 | 合作伙伴 | 注册表 | CLI 参考

Lume - macOS 虚拟化

利用 Apple 的 Virtualization.Framework，在 Apple Silicon 上以近乎原生的性能创建并管理 macOS/Linux 虚拟机。

# 安装 Lume
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/lume/scripts/install.sh)"

# 拉取并启动一个 macOS 虚拟机
lume run macos-sequoia-vanilla:latest

快速开始 | 常见问题 | CLI 参考

软件包

软件包	描述
cuabot	多 Agent 计算机操作沙箱 CLI
cua-agent	核心 Agent SDK