Ghost OS

为 AI Agent 提供完整的计算机操作能力。

你的 AI Agent 可以编写代码、运行测试、搜索文件，但它无法点击按钮、发送电子邮件或填写表单，只能被困在聊天窗口里。

Ghost OS 改变了这一切。只需安装一次，任何 AI Agent 都能查看并操作你 Mac 上的所有应用程序。

了解 Specter

Ghost OS 为 AI Agent 提供了“眼睛”和“双手”。Shadow 为它们提供记忆，而 Specter 为它们提供了一个“家”。

在 90 秒内将持久化 AI Agent 部署到专用虚拟机中。支持自动 DNS、TLS、systemd 加固以及交互式 TUI 仪表板。基础设施完全由你掌控。

让 AI Agent 赢得你的信任。

了解 Shadow

Shadow 是故事的另一半。Ghost OS 为 AI Agent 在 Mac 上提供视力和操作能力，而 Shadow 则为它们提供记忆与智能。

支持 14 种模态捕获、主动建议、情节生成、端侧 LLM 推理以及计算机操作训练数据。全部本地运行，完全开源。

你的电脑从未停止过关注。

更新日志

自学习工作流（Self-learning recipes）。 向 Ghost OS 演示一次操作流程，它将永远铭记。

ghost_learn_start -- 开始观察用户执行任务
ghost_learn_stop -- 停止录制并返回丰富的动作序列
ghost_learn_status -- 查看录制进度

用户手动执行任务（点击、输入、切换应用程序）。Ghost OS 通过 CGEvent tap（结合辅助功能树上下文）观察每一个动作。Claude 将原始观测结果合成为一个参数化的、可重放的工作流（Recipe）。

无需截图，无需视觉模型，只需辅助功能树（Accessibility Tree）和你的键盘/鼠标。

User:    "Watch me send an email."
Agent:   ghost_learn_start task_description:"send email in Gmail"
         ...user performs the task...
Agent:   ghost_learn_stop
         -> 8 actions with full AX context
         -> Synthesizes recipe with 3 parameters: recipient, subject, body
         -> ghost_recipe_save
User:    "Send an email to bob about the Q4 report"
Agent:   ghost_run recipe:"gmail-send-learned" params:{...}

需要“输入监控”权限（系统设置 > 隐私与安全性 > 输入监控）。请运行 ghost setup 进行配置。

版本历史：v2.1.2

新增 4 个工具：ghost_annotate、ghost_hover、ghost_long_press、ghost_drag。固定了视觉辅助组件依赖，修复了视觉模型下载问题，并支持中文/CJK 输入（感谢 @junshi5218）。

感谢 500 多位为本项目点赞的朋友。正是你们的支持让我们不断进步。如果你想直接参与贡献，我们非常欢迎。请参阅 CONTRIBUTING.md。

You:     "Send an email to sarah@company.com about the Q4 report"
Agent:   ghost_run recipe:"gmail-send" params:{recipient, subject, body}
         → Compose opens, fields fill, email sends. Done.

设置

Ghost OS 设置演示

工作流实操

发送邮件、下载论文。任何应用，任何工作流程。

Ghost OS 工作流演示

超越浏览器

无论是 Slack 消息还是 Finder 文件夹，Ghost OS 都能操作原生 macOS 应用，而不仅仅是浏览器。

Ghost OS Slack + Finder 演示

为什么选择 Ghost OS？

其他计算机操作工具通常通过截图来猜测屏幕内容，而 Ghost OS 直接读取 macOS 辅助功能树（Accessibility Tree）——这是关于每个应用中每个元素的结构化、已标记数据。当辅助功能树无法提供足够信息时（例如 Web 应用、动态内容），它会回退到本地视觉模型（ShowUI-2B）进行视觉对齐。

一旦它掌握了工作流，就会将其保存下来。其他工具每次都需要重复进行昂贵的推理过程。

自学习 — 前沿模型只需推演一次工作流程，后续通过小模型即可永久运行。
透明 — 工作流以 JSON 格式存储。运行前可阅读每一步，没有黑盒。
原生 — 优先使用辅助功能树，必要时辅以视觉模型。相比于像素猜测，结构化数据更可靠。
支持所有应用 — 不仅限于浏览器。Slack、Finder、Messages 等任何你 Mac 上的应用都适用。
本地运行 — 你的数据永远不会离开你的设备。
开放 — 基于 MCP 协议。可与 Claude Code、Cursor、VS Code 或任何 MCP 客户端协同工作。

		Ghost OS	Anthropic Computer Use	OpenAI Operator	OpenClaw
👀	视觉方式	辅助功能树 + 本地 VLM	仅截图	仅截图	浏览器 DOM
🖥️	原生应用	任何 macOS 应用	任何（通过像素）	仅限浏览器	仅限浏览器
🧠	学习工作流	JSON 工作流	否	否	否
🔒	数据本地化	是	取决于设置	否（云端）	是
📖	开源	MIT	否	否	MIT

安装

brew install ghostwright/ghost-os/ghost-os
ghost setup

完成。ghost setup 会自动处理权限、MCP 配置、工作流安装以及视觉模型设置。

macOS 测试版用户？请改用手动安装方式。