BAAI-Agents/Cradle

The Cradle framework is a first attempt at General Computer Control (GCC). Cradle supports agents to ace any computer task by enabling strong reasoning abilities, self-improvment, and skill curation, in a standardized general environment with minimal requirements.

aiai-agentai-agents-frameworkcomputer-controlcradlefoundation-agentgccgeneral-computer-controlgenerative-aigroundinglarge-language-modelsllmlmmmultimodalitypersonoidvision-language-modelvlm

GAI 中文摘要

Cradle 是一个专为通用计算机控制（GCC）设计的开源框架，旨在赋予基础模型像人类一样操作计算机的能力。该项目通过标准化的环境接口，使智能体能够利用视觉与操作反馈，自主完成各类复杂的计算机软件及游戏任务。

通过模拟人类的操作逻辑，以屏幕截图作为输入并输出键盘鼠标指令，实现对计算机的直接控制。具备强大的逻辑推理能力，能够拆解复杂任务并做出相应的决策。支持模型的自我提升机制，通过历史操作不断积累经验以优化任务表现。提供标准化的通用环境，极大地降低了接入各种软件和游戏的门槛。通过技能编排与沉淀功能，让智能体能够应对从办公软件到复杂游戏等多场景的挑战。

该项目适用于研究人员与开发者，旨在探索人工智能在桌面自动化、游戏AI以及人机交互领域的广阔应用场景。

⭐

2.5k

Stars

🔱

268

Forks

👁

Watchers

📋

Issues

PythonMIT创建于 2024/3/3更新于今天

在 GitHub 上查看访问主页

README

由 Gemini 翻译整理

Cradle: 赋能基础模型，迈向通用计算机控制 (GCC)

[网站] [arXiv] [PDF]

Cradle 框架赋能新兴的基础模型，使其能够通过人类使用的统一接口（即以屏幕截图作为输入，以键盘和鼠标操作作为输出）来执行复杂的计算机任务。

📢 更新说明

2024-06-27：重大更新！Cradle 现已扩展至四款游戏：荒野大镖客：救赎 2 (RDR2)、星露谷物语 (Stardew Valley)、城市：天际线 (Cities: Skylines) 和经销商人生 2 (Dealer's Life 2)，以及包括但不限于 Chrome、Outlook、剪映 (Capcut)、美图和飞书在内的各类软件。我们也发布了最新的论文，欢迎查阅！

💾 安装指南

准备环境配置文件

目前我们支持 OpenAI 和 Claude 的 API。请在项目根目录下创建一个 .env 文件来存储密钥（只需配置其中一种即可）。

包含敏感信息的 .env 示例文件：

OA_OPENAI_KEY = "abc123abc123abc123abc123abc123ab"
RF_CLAUDE_AK = "abc123abc123abc123abc123abc123ab" # Access Key for Claude
RF_CLAUDE_SK = "123abc123abc123abc123abc123abc12" # Secret Access Key for Claude
AZ_OPENAI_KEY = "123abc123abc123abc123abc123abc12"
AZ_BASE_URL = "https://abc123.openai.azure.com/"
RF_CLAUDE_AK = "abc123abc123abc123abc123abc123ab"
RF_CLAUDE_SK = "123abc123abc123abc123abc123abc12"
IDE_NAME = "Code"

OA_OPENAI_KEY 是 OpenAI API 密钥，可从 OpenAI 获取。
AZ_OPENAI_KEY 是 Azure OpenAI API 密钥，可从 Azure 门户获取。
OA_CLAUDE_KEY 是 Anthropic Claude API 密钥，可从 Anthropic 获取。
RF_CLAUDE_AK 和 RF_CLAUDE_SK 是 Claude API 的 AWS Restful API 密钥和私钥。
IDE_NAME 指运行仓库代码的 IDE 环境，例如 PyCharm 或 Code (VSCode)。它主要用于实现 IDE 和目标环境之间的自动切换。

安装步骤

Python 环境

请设置您的 Python 环境并按如下方式安装依赖项：

# 克隆仓库
git clone https://github.com/BAAI-Agents/Cradle.git
cd Cradle

# 创建一个新的 conda 环境
conda create --name cradle-dev python=3.10
conda activate cradle-dev
pip install -r requirements.txt

安装 OCR 工具

1. 选项 1
# 为您的 spaCy 安装下载特定模型的最佳匹配版本
python -m spacy download en_core_web_lg

或者

# 通过路径或 URL 安装 .tar.gz 压缩包或 .whl 文件
pip install https://github.com/explosion/spacy-models/releases/download/en_core_web_lg-3.7.1/en_core_web_lg-3.7.1.tar.gz

2. 选项 2
# 复制此 URL：https://github.com/explosion/spacy-models/releases/download/en_core_web_lg-3.7.1/en_core_web_lg-3.7.1.tar.gz
# 在浏览器中粘贴并下载文件到 res/spacy/data
cd res/spacy/data
pip install en_core_web_lg-3.7.1.tar.gz

🚀 快速上手

由于不同游戏和软件之间存在巨大差异，我们为您提供了针对每个项目的具体设置说明：

🌲 文件结构

鉴于部分用户可能希望将我们的框架应用于新游戏，本节主要展示 Cradle 的核心目录和组织结构。我们将用“⭐⭐⭐”标注与迁移至新游戏相关的模块，并在后续提供详细说明。

Cradle
├── cache # 缓存 GroundingDino 模型和 bert-base-uncased 模型
├── conf # ⭐⭐⭐ 环境和 LLM 模型的配置文件
│   ├── env_config_dealers.json
│   ├── env_config_rdr2_main_storyline.json
│   ├── env_config_rdr2_open_ended_mission.json
│   ├── env_config_skylines.json
│   ├── env_config_stardew_cultivation.json
│   ├── env_config_stardew_farm_clearup.json
│   ├── env_config_stardew_shopping.json
│   ├── openai_config.json
│   ├── claude_config.json
│   ├── restful_claude_config.json
│   └── ...
├── deps # Cradle 框架的依赖项，请忽略此文件夹
├── docs # 文档