BAAI-Agents/Cradle

The Cradle framework is a first attempt at General Computer Control (GCC). Cradle supports agents to ace any computer task by enabling strong reasoning abilities, self-improvment, and skill curation, in a standardized general environment with minimal requirements.

aiai-agentai-agents-frameworkcomputer-controlcradlefoundation-agentgccgeneral-computer-controlgenerative-aigroundinglarge-language-modelsllmlmmmultimodalitypersonoidvision-language-modelvlm

GAI 中文摘要

Cradle 是一个专为实现通用计算机控制（GCC）而设计的开源框架，旨在赋予基础模型像人类一样操作计算机的能力。通过将屏幕截图作为视觉输入，并模拟键盘与鼠标操作作为输出，该框架能够使 AI 智能体完成复杂的计算机任务。

利用强推理能力和自我提升机制，实现对各类软件和游戏的自主任务处理。支持以标准化的方式接入多模态模型，通过统一的接口与计算机环境交互。提供技能库管理功能，支持智能体对操作经验进行积累、整理与持续优化。广泛适配各类桌面应用及复杂游戏环境，包括网页浏览、办公软件及开放世界游戏等。

该项目适用于研究 AI 智能体通用交互能力的开发者和学者，特别适合在自动化办公、复杂软件操控以及游戏智能体开发等领域进行探索和应用。

⭐

2.5k

Stars

🔱

256

Forks

👁

Watchers

📋

Issues

PythonMIT创建于 2024/3/3更新于今天

在 GitHub 上查看访问主页

README

由 Gemini 翻译整理

Cradle：赋予基础智能体通用计算机控制能力 (General Computer Control)

[网站] [arXiv] [PDF]

Cradle 框架旨在赋予新兴的基础模型执行复杂计算机任务的能力，其采用与人类相同的统一交互界面：以屏幕截图作为输入，以键盘和鼠标操作作为输出。

📢 更新说明

2024-06-27：重大更新！Cradle 现已扩展支持四款游戏：RDR2 (荒野大镖客：救赎2)、Stardew Valley (星露谷物语)、Cities: Skylines (都市：天际线) 以及 Dealer's Life 2。此外，还支持包括但不限于 Chrome、Outlook、剪映、美图和飞书在内的各类软件。我们同时发布了最新的论文，欢迎阅读！

💾 安装指南

准备环境变量文件

我们目前支持使用 OpenAI 和 Claude 的 API。请在仓库根目录下创建一个 .env 文件来存储密钥（只需配置其中一个即可）。

包含隐私信息的 .env 示例文件：

OA_OPENAI_KEY = "abc123abc123abc123abc123abc123ab"
RF_CLAUDE_AK = "abc123abc123abc123abc123abc123ab" # Access Key for Claude
RF_CLAUDE_SK = "123abc123abc123abc123abc123abc12" # Secret Access Key for Claude
AZ_OPENAI_KEY = "123abc123abc123abc123abc123abc12"
AZ_BASE_URL = "https://abc123.openai.azure.com/"
RF_CLAUDE_AK = "abc123abc123abc123abc123abc123ab"
RF_CLAUDE_SK = "123abc123abc123abc123abc123abc12"
IDE_NAME = "Code"

OA_OPENAI_KEY 是 OpenAI API 密钥，可从 OpenAI 官网获取。

AZ_OPENAI_KEY 是 Azure OpenAI API 密钥，可从 Azure 门户获取。

OA_CLAUDE_KEY 是 Anthropic Claude API 密钥，可从 Anthropic 控制台获取。

RF_CLAUDE_AK 和 RF_CLAUDE_SK 是 Claude API 的 AWS Restful API key 和 secret key。

IDE_NAME 指代运行该仓库代码的 IDE 环境，例如 PyCharm 或 Code (VSCode)。它主要用于实现 IDE 与目标环境之间的自动切换。

设置

Python 环境

请设置您的 Python 环境并安装所需的依赖项：

# 克隆仓库
git clone https://github.com/BAAI-Agents/Cradle.git
cd Cradle

# 创建一个新的 conda 环境
conda create --name cradle-dev python=3.10
conda activate cradle-dev
pip install -r requirements.txt

安装 OCR 工具

1. 选项 1
# 为您的 spaCy 安装下载特定模型的最佳匹配版本
python -m spacy download en_core_web_lg

或者

# 通过路径或 URL 安装 .tar.gz 压缩包或 .whl 文件
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_lg-3.7.1/en_core_web_lg-3.7.1.tar.gz

2. 选项 2
# 复制此链接 https://github.com/explosion/spacy-models/releases/download/en_core_web_lg-3.7.1/en_core_web_lg-3.7.1.tar.gz
# 在浏览器中粘贴并下载文件到 res/spacy/data
cd res/spacy/data
pip install en_core_web_lg-3.7.1.tar.gz

🚀 快速开始

由于每个游戏和软件之间存在巨大差异，我们在下方提供了针对每个环境的具体设置：

🌲 文件结构

由于部分用户可能希望将我们的框架应用于新游戏，本节主要展示 Cradle 的核心目录和组织结构。我们将与迁移到新游戏相关的模块标记为 "⭐⭐⭐"，并在后续文档中提供详细说明。

Cradle
├── cache # 缓存 GroundingDino 模型和 bert-base-uncased 模型
├── conf # ⭐⭐⭐ 环境和 LLM 模型的配置文件
│   ├── env_config_dealers.json
│   ├── env_config_rdr2_main_storyline.json
│   ├── env_config_rdr2_open_ended_mission.json
│   ├── env_config_skylines.json
│   ├── env_config_stardew_cultivation.json
│   ├── env_config_stardew_farm_clearup.json
│   ├── env_config_stardew_shopping.json
│   ├── openai_config.json
│   ├── claude_config.json
│   ├── restful_claude_config.json
│   └── ...
├── deps # Cradle 框架的依赖项，请忽略此文件夹
├── docs # 文档