mobile-use：通过自然语言自动化你的手机

☁️ 云平台 •
📚 文档 •
📃 论文

Discord •
Twitter / X

Mobile-use 是一个强大的开源 AI Agent，它可以使用自然语言控制你的 Android 或 iOS 设备。它能够理解你的指令，并与 UI 交互以执行任务，从发送消息到在复杂应用中进行导航，无所不能。

Mobile-use 正在快速演进中。你的建议、想法和反馈的 bug 将决定这个项目的未来。请随时加入 Discord 参与讨论或直接贡献代码，我们会回复每一位用户！❤️

✨ 特性

🗣️ 自然语言控制：使用你的母语与手机交互。
📱 UI 感知自动化：智能导航各类应用界面（注意：目前对游戏的效果有限，因为游戏通常不提供辅助功能树数据）。
📊 数据抓取：通过自然语言描述，从任何应用中提取信息并将其结构化为你需要的格式（例如 JSON）。
🔧 可扩展与自定义：轻松配置不同的 LLM 来驱动 mobile-use 的 Agent。

基准测试

我们是目前顶尖的参与者，也是首个在 AndroidWorld 基准测试中完成率达到 100% 的团队。

获取更多关于我们如何实现这一里程碑的信息，请访问：Minitap 基准测试。

官方排行榜地址：点击此处。

查看我们的研究论文：点击此处。

🚀 快速入门

准备好自动化你的移动设备了吗？请按照以下步骤启动 mobile-use。

🌐 使用我们的平台

最简单的入门方式是使用我们的平台。请参考我们的平台快速启动指南。

🛠️ 从源码安装

设置环境变量： 将示例文件 .env.example 复制为 .env，并添加你的 API 密钥。
```
cp .env.example .env
```
(可选) 自定义 LLM 配置： 若要使用其他模型或提供商，请创建你自己的 LLM 配置文件。
```
cp llm-config.override.template.jsonc llm-config.override.jsonc
```
然后，编辑 llm-config.override.jsonc 以满足你的需求。

你也可以使用本地 LLM 或任何其他兼容 OpenAI API 的提供商：
1. 在 .env 中设置 OPENAI_BASE_URL 和 OPENAI_API_KEY。
2. 在 llm-config.override.jsonc 中，将你需要使用的 Agent 节点的提供商设置为 openai，并选择你提供商支持的模型。
[!NOTE] 如果你想使用 Google Vertex AI，你必须满足以下任一条件：
- 为你的环境配置了凭据（gcloud, workload identity 等）
- 将服务账号 JSON 文件的路径存储为 GOOGLE_APPLICATION_CREDENTIALS 环境变量
更多信息：- 凭据类型 - google.auth API 参考

快速运行 (Docker)

[!NOTE] 本快速启动目前仅支持 Android 设备/模拟器，且你需要安装 Docker。

首先：

连接你的 Android 设备并开启“开发者选项”中的 USB 调试模式
或者启动一个 Android 模拟器

然后在终端运行：

对于 Linux/macOS：

chmod +x mobile-use.sh
bash ./mobile-use.sh \
  "Open Gmail, find first 3 unread emails, and list their sender and subject line" \
  --output-description "A JSON list of objects, each with 'sender' and 'subject' keys"

对于 Windows (在 Powershell 终端中)：

powershell.exe -ExecutionPolicy Bypass -File mobile-use.ps1 `
  "Open Gmail, find first 3 unread emails, and list their sender and subject line" `
  --output-description "A JSON list of objects, each with 'sender' and 'subject' keys"

[!NOTE] 如果使用自己的设备，请务必在设备弹出的 ADB 连接请求中点击允许。

minitap-ai/mobile-use