👾 ElatoAI：基于 Arduino ESP32 的实时语音 AI 模型

在 ESP32 上运行由顶尖 AI 语音模型驱动的实时语音交互。通过安全 WebSockets 和 Deno Edge Functions，可实现全球范围内超过 15 分钟的不间断对话。目前我们支持 OpenAI Realtime API、Gemini Live API、xAI Grok Voice Agents API、Eleven Labs Conversational AI Agents 以及 Hume AI EVI-4。

• 🚀 快速开始
• 使用 PlatformIO 构建
• 在 Arduino IDE 上构建
• 全球化部署
• 🤖🤖🤖 部署多台设备

新闻

• 2026-03-14： Elato 刚刚发布了本地 AI 玩具（Local AI Toys）。🎉🎉🎉 今天是圆周率日（Pi Day）！你的 ESP32 设备现在可以通过 MLX 支持本地 AI 模型和语音生成，包括 Qwen、Mistral 等前沿本地 LLM 和 TTS 模型。点击此处了解详情。

📽️ 演示视频

视频链接：OpenAI Demo | Gemini Demo | Eleven Labs Demo | Hume AI EVI-4 Demo

👷‍♀️ DIY 硬件设计

📱 应用设计

通过 ElatoAI Web 应用，你可以从手机端控制你的 ESP32 AI 设备。

⭐️ 核心语音 AI 特性

🌟 完整特性列表

1. 实时语音转语音 (Speech-to-Speech)：由 OpenAI Realtime API、Gemini Live API、xAI Grok Voice Agent API、Eleven Labs Conversational AI Agents 和 Hume AI EVI4 驱动的即时语音转换。
2. 创建自定义 AI Agent：创建具有不同个性和声音的定制化 Agent。
3. 可定制声音：提供多种声音和个性供选择。
4. 安全 WebSockets：可靠、加密的 WebSocket 通信。
5. 服务端 VAD 对话检测：智能对话流处理，确保交互流畅。
6. Opus 音频压缩：以最小带宽实现高质量音频流传输。
7. 全球边缘性能：低延迟的 Deno Edge Functions 确保全球对话无缝连接。
8. ESP32 Arduino 框架：优化且易于使用的硬件集成。
9. 对话历史：查看你的对话历史记录。
10. 设备管理与认证：注册并管理你的设备。
11. 用户认证：安全的用户认证与授权。
12. 基于 WebRTC 和 WebSockets 的对话：在 NextJS Web 应用中通过 WebRTC 与 AI 对话，在 ESP32 上通过 WebSockets 通信。
13. 音量控制：通过 NextJS Web 应用控制 ESP32 扬声器的音量。
14. 实时转录：对话的实时转录内容存储在 Supabase 数据库中。
15. OTA 更新：支持 ESP32 固件的无线（Over-the-Air）更新。
16. Wi-Fi 管理与强制门户 (Captive Portal)：通过 ESP32 设备连接 Wi-Fi 网络或热点。
17. 恢复出厂设置：通过 NextJS Web 应用将 ESP32 设备重置为出厂状态。
18. 按钮与触摸支持：使用物理按钮或触摸传感器控制 ESP32 设备。
19. 无需 PSRAM：运行语音转语音 AI 无需 ESP32 的 PSRAM。
20. Web 客户端 OAuth：为用户提供 OAuth，以管理其 AI 角色和设备。
21. 音调调节：通过 NextJS Web 应用控制 AI 语音的音调，创造卡通风格的声音。
22. 工具调用 (Tool calling)：从 ESP32 设备调用 Deno Edge Functions 中的工具和函数，实现完整的语音 AI Agent 功能。
23. 点击唤醒：通过触摸传感器即可从休眠状态唤醒设备。

项目架构

ElatoAI 由三个主要组件组成：

1. 前端客户端（托管在 Vercel 上的 Next.js）- 用于创建和与你的 AI Agent 对话，并将其“发送”到你的 ESP32 设备。
2. 边缘服务端函数（在 Deno/Supabase 上运行的 Deno）- 用于处理来自 ESP32 设备的 WebSocket 连接以及 LLM 提供商的 API 调用。
3. ESP32 IoT 客户端（PlatformIO/Arduino）- 用于接收来自边缘服务端函数的 WebSocket 连接，并通过 Deno 边缘服务器向 LLM 提供商发送音频。

🛠 技术栈

组件	所用技术
前端	Next.js, Vercel
后端	Supabase DB
边缘函数	Deno Edge Functions on Deno/Supabase
IoT 客户端	PlatformIO, Arduino Framework, ESP32-S3
音频编码	Opus
通信	Secure WebSockets
库	ArduinoJson, WebSockets, AsyncWebServer, ESP32_Button, Arduino Audio Tools