trycua/cua

Open-source infrastructure for Computer-Use Agents. Sandboxes, SDKs, and benchmarks to train and evaluate AI agents that can control full desktops (macOS, Linux, Windows).

agentai-agentapplecomputer-usecomputer-use-agentcontainerizationcuadesktop-automationhacktoberfestlumemacosmanusoperatorswiftvirtualizationvirtualization-frameworkwindowswindows-sandbox

GAI 中文摘要

Cua 是一个开源的计算机操作代理（Computer-Use Agents）基础设施平台。它通过提供沙箱环境、开发工具包和基准测试工具，帮助开发者构建、训练并评估能够完全控制 macOS、Linux 和 Windows 桌面系统的 AI 代理。

提供跨平台的桌面沙箱环境，支持在虚拟化容器中运行 AI 代理以实现安全的操作模拟。配备完善的 SDK，简化了与桌面 GUI 交互的开发流程，使代理能够高效执行各类系统级任务。内置基准测试系统，能够量化评估 AI 代理在不同桌面环境下的操作能力与任务完成效率。集成 Lume 等高性能虚拟化技术，实现了针对 macOS 等系统环境的原生虚拟化支持。

该项目适用于 AI 研发人员及自动化工程师，常用于开发需要跨平台操作桌面应用的智能代理、进行代理性能测试评估或构建自动化系统运维解决方案。

⭐

13.3k

Stars

🔱

822

Forks

👁

Watchers

📋

158

Issues

PythonMIT创建于 2025/1/31更新于今天

在 GitHub 上查看访问主页

README

由 Gemini 翻译整理

Cua

构建、基准测试并部署能够使用计算机的 AI Agent。

选择你的路径

Cua - 适用于任何操作系统的 Agent 就绪型沙箱 (Sandbox)

构建能够识别屏幕、点击按钮并自主完成任务的 Agent。为任何虚拟机 (VM) 或容器镜像（云端或本地）提供统一的 API。

pip install cua

# 要求 Python 3.11 或更高版本
from cua import Sandbox, Image

# 无论何种操作系统或运行时，API 完全一致
async with Sandbox.ephemeral(Image.linux()) as sb:   # 或 .macos() .windows() .android()
    result = await sb.shell.run("echo hello")
    screenshot = await sb.screenshot()
    await sb.mouse.click(100, 200)
    await sb.keyboard.type("Hello from Cua!")
    await sb.mobile.gesture((100, 500), (100, 200))  # 多点触控手势

	Linux 容器	Linux VM	macOS	Windows	Android	自定义镜像 (.qcow2, .iso)
云端 (cua.ai)	✅	✅	✅	✅	✅	🔜 即将推出
本地 (QEMU)	✅	✅	✅	✅	✅	✅

快速开始 | 示例 | API 参考

CuaBot - 为任意 Agent 提供协作式计算机使用能力

cuabot 为任何编码 Agent 提供了一个无缝的计算机使用沙箱。独立的窗口将以原生的形式出现在你的桌面上，支持 H.265 编码、共享剪贴板和音频功能。

npx cuabot                 # 初始化设置

# 在沙箱中运行任意 Agent
cuabot claude              # Claude Code
cuabot openclaw            # 在沙箱中运行 OpenClaw

# 在沙箱中运行任意 GUI 工作流
cuabot chromium
cuabot --screenshot
cuabot --type "hello"
cuabot --click   [button]

内置支持 agent-browser 和 agent-device (iOS, Android)。

快速开始 | 安装指南 | 首次亮相于 ClawCon

Cua-Bench - 基准测试与强化学习 (RL) 环境

在 OSWorld、ScreenSpot、Windows Arena 以及自定义任务上评估计算机使用 Agent。导出轨迹用于训练。

# 安装并创建基础镜像
cd cua-bench
uv tool install -e . && cb image create linux-docker

# 使用 Agent 运行基准测试
cb run dataset datasets/cua-bench-basic --agent cua-agent --max-parallel 4

快速开始 | 合作伙伴 | 注册表 | CLI 参考

Lume - macOS 虚拟化

利用 Apple 的 Virtualization.Framework，在 Apple Silicon 上以近乎原生的性能创建和管理 macOS/Linux 虚拟机。

# 安装 Lume
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/lume/scripts/install.sh)"

# 拉取并启动一个 macOS 虚拟机
lume run macos-sequoia-vanilla:latest

快速开始 | 常见问题 (FAQ) | CLI 参考

软件包

软件包	描述
cuabot	多 Agent 计算机使用沙箱 CLI
cua-agent	用于计算机使用任务的 AI Agent 框架
cua-sandbox	用于创建和控制沙箱的 SDK
cua-computer-server	沙箱内 UI 交互和代码执行驱动程序
cua-bench	计算机使用任务的基准测试与强化学习环境
lume	Apple Silicon 上的 macOS/Linux 虚拟机管理工具