mobile-use：使用自然语言自动化你的手机

☁️ 云平台 •
📚 文档 •
📃 论文

Discord •
Twitter / X

Mobile-use 是一款功能强大的开源 AI Agent，它能够通过自然语言控制你的 Android 或 iOS 设备。它能理解你的指令并与 UI 进行交互以执行任务，从发送消息到导航复杂 App，无所不能。

Mobile-use 正在快速迭代。你的建议、想法和反馈的 Bug 将推动这个项目的发展。欢迎加入我们的 Discord 参与讨论或直接贡献代码，我们会回复每一位开发者！❤️

✨ 特性

🗣️ 自然语言控制：使用你的母语与手机交互。
📱 UI 感知自动化：智能导航各种 App 界面（注意：目前对游戏的兼容性有限，因为游戏通常不提供无障碍树数据）。
📊 数据抓取：通过自然语言描述，从任何 App 中提取信息并将其结构化为你需要的格式（例如 JSON）。
🔧 可扩展且可定制：轻松配置不同的 LLM 来驱动 Mobile-use 的 Agent。

基准测试

我们是首个在 AndroidWorld 基准测试中达到 100% 完成度的领先团队。

了解我们如何达成这一里程碑的更多信息：Minitap Benchmark。

官方排行榜可查看此处。

点击此处阅读我们的研究论文。

🚀 快速上手

准备好自动化你的手机体验了吗？请按照以下步骤启动 mobile-use。

🌐 使用我们的平台

最简单的方式是使用我们的云平台。请参考我们的平台快速入门指南进行设置。

🛠️ 从源码安装

设置环境变量： 将示例文件 .env.example 复制为 .env 并填入你的 API keys。
```
cp .env.example .env
```
（可选）自定义 LLM 配置： 若要使用不同的模型或提供商，请创建你自己的 LLM 配置文件。
```
cp llm-config.override.template.jsonc llm-config.override.jsonc
```
然后根据需要编辑 llm-config.override.jsonc。

你也可以使用本地 LLM 或任何其他兼容 OpenAI API 的提供商：
1. 在 .env 中设置 OPENAI_BASE_URL 和 OPENAI_API_KEY。
2. 在 llm-config.override.jsonc 中，为你想要的 Agent 节点指定 openai 作为提供商，并选择你提供商所支持的模型。
[!NOTE] 如果你想使用 Google Vertex AI，必须满足以下条件之一：
- 为你的环境配置了凭据（gcloud, workload identity 等）
- 将服务账号 JSON 文件的路径存储为 GOOGLE_APPLICATION_CREDENTIALS 环境变量
更多信息：- 凭据类型 - google.auth API 参考

快速启动 (Docker)

[!NOTE] 此快速启动目前仅适用于 Android 设备/模拟器，且要求安装 Docker。

首先：

连接你的 Android 设备并通过开发者选项启用 USB 调试
或启动一个 Android 模拟器

然后在终端运行：

对于 Linux/macOS：

chmod +x mobile-use.sh
bash ./mobile-use.sh \
  "Open Gmail, find first 3 unread emails, and list their sender and subject line" \
  --output-description "A JSON list of objects, each with 'sender' and 'subject' keys"

对于 Windows (在 Powershell 终端中)：

powershell.exe -ExecutionPolicy Bypass -File mobile-use.ps1 `
  "Open Gmail, find first 3 unread emails, and list their sender and subject line" `
  --output-description "A JSON list of objects, each with 'sender' and 'subject' keys"

[!NOTE] 如果使用自己的设备，请确保同意设备上弹出的 ADB 连接请求。

minitap-ai/mobile-use