AndroidWorld

网站 • 论文 • 任务 • 排行榜

AndroidWorld 是一个用于构建和基准测试自主计算机控制智能体（Autonomous Computer Control Agents）的环境。

它运行在实时的 Android 模拟器上，包含一个高度可重现的基准测试，涵盖 20 个应用程序中的 116 个手工制作任务。这些任务通过随机生成的参数进行动态实例化，从而创造出数以百万计的独特任务变体。

除了内置任务外，AndroidWorld 还支持来自 Liu et al. 的流行 Web 基准测试 MiniWoB++。

AndroidWorld 的核心特性包括：

• 📝 116 个多样化任务：涵盖 20 个真实世界应用程序
• 🎲 动态任务实例化：可生成数百万种独特的任务变体
• 🏆 持久的奖励信号：用于可靠的评估
• 🐳 实验性 Docker 支持：简化设置并确保环境一致性（截至 2025 年 6 月 2 日）
• 🌐 开放环境：可访问数百万个 Android 应用程序和网站
• 💾 轻量级占用：2 GB 内存，8 GB 磁盘空间
• 🔧 可扩展设计：轻松添加新任务和基准测试
• 🖥️ 集成 MiniWoB++：支持基于 Web 的任务

请在我们的网站上查看演示视频。

安装

1. 设置 Android 模拟器

   1. 点击此处下载 Android Studio。
   2. 按照说明创建一个 Android 虚拟设备 (AVD)。硬件请选择 Pixel 6，系统镜像选择 Tiramisu, API Level 33，并将 AVD 名称设置为 AndroidWorldAvd。观看设置视频。

2. 从命令行启动 Android 模拟器

   请勿使用 Android Studio UI，而是从命令行启动模拟器，并添加 -grpc 8554 参数，这是与辅助功能转发应用程序进行通信所必需的。

   # 通常位于 ~/Android/Sdk/emulator/emulator 或
   # ~/Library/Android/sdk/emulator/emulator
   EMULATOR_NAME=AndroidWorldAvd # 来自上一步
   ~/Library/Android/sdk/emulator/emulator -avd $EMULATOR_NAME -no-snapshot -grpc 8554
   

3. [可选] 建议使用 conda，可从此处下载。

   conda create -n android_world python=3.11.8
   conda activate android_world
   

4. 安装 AndroidWorld。注意：需要 Python 3.11 或更高版本。

   git clone https://github.com/google-research/android_world.git
   cd ./android_world
   pip install -r requirements.txt
   python setup.py install
   

5. 将模型提供商的 API 添加为环境变量。

   # 添加到 .bashrc
   export OPENAI_API_KEY=your-key
   export GCP_API_KEY=your-key
   

6. 安装 ffmpeg（如果尚未安装）。

   # Linux (Ubuntu/Debian)
   # sudo apt update && sudo apt install ffmpeg
   
   # macOS
   brew install ffmpeg
   

快速开始

运行 minimal_task_runner.py 脚本以了解 AndroidWorld 组件的基本机制。它将初始化环境、设置任务，并运行默认智能体 M3A。

python minimal_task_runner.py --task=ContactsAddContact

如果不指定任务，则会随机选择一个任务。注意：如果您想尝试非 Android 系统自带的开源应用，请在脚本中运行 --perform_emulator_setup。

关于模型成本的说明： minimal_task_runner.py 脚本默认使用旧版模型 gpt-4-turbo-2024-04-09。该模型可能比较昂贵。对于正式使用，您可以通过修改脚本中的 model_name 来切换到更具成本效益的模型。

Docker 支持（实验性）

AndroidWorld 现在提供 Docker 支持。这允许您在 Docker 容器内运行 Android 环境和服务器，从而简化设置并确保环境一致性。

注意： 此功能处于实验阶段，尚未经过充分测试。

1. 构建 Docker 镜像：

   导航到 android_world 仓库的根目录并运行：

   docker build -t android_world:latest .
   

2. 运行 Docker 容器：

   docker run --privileged -p 5000:5000 -it android_world:latest
   

   这将启动容器内的 Android 模拟器和 FastAPI 服务器。服务器可通过 http://localhost:5000 访问。

3. 与环境交互： 您可以参考 scripts/run_suite_on_docker.py 脚本，将其作为与 Android 环境服务交互的示例客户端。