Open-source framework for conversational voice AI agents
10.4k
Stars
1.2k
Forks
70
Watchers
189
Issues
![Image][ten-framework-banner]
[![TEN Releases][ten-releases-badge]][ten-releases] [![Coverage Status][coverage-badge]][coverage] [![Release Date][release-date-badge]][ten-releases] [![Commits][commits-badge]][commit-activity] [![Issues closed][issues-closed-badge]][issues-closed] [![Contributors][contributors-badge]][contributors] [![GitHub license][license-badge]][license] [![Ask DeepWiki][deepwiki-badge]][deepwiki] [![ReadmeX][readmex-badge]][readmex]
[![README in English][lang-en-badge]][lang-en-readme] [![简体中文操作指南][lang-zh-badge]][lang-zh-readme] [![日本語のREADME][lang-jp-badge]][lang-jp-readme] [![README in 한국어][lang-kr-badge]][lang-kr-readme] [![README en Español][lang-es-badge]][lang-es-readme] [![README en Français][lang-fr-badge]][lang-fr-readme] [![README in Italiano][lang-it-badge]][lang-it-readme]
[![TEN-framework%2Ften_framework | Trendshift][trendshift-badge]][trendshift]
[Official Site][official-site] • [Documentation][documentation] • [Blog][blog]
TEN 是一个用于实时多模态对话式 AI 的开源框架。
[TEN 生态系统][ten-ecosystem-anchor]包括 [TEN Framework][ten-framework]、[智能体示例 (Agent Examples)][agent-examples-repo]、[VAD][ten-vad]、[Turn Detection][ten-turn-detection] 以及 [Portal][ten-portal]。
| 社区频道 | 用途 |
|---|---|
| [![Follow on X][follow-on-x-badge]][follow-on-x] | 在 X 上关注 TEN Framework 获取最新更新与公告 |
| [![Discord TEN Community][discord-badge]][discord-invite] | 加入我们的 Discord 社区与其他开发者交流 |
| [![Follow on LinkedIn][linkedin-badge]][linkedin] | 在 LinkedIn 上关注 TEN Framework 获取最新更新与公告 |
| [![Hugging Face Space][hugging-face-badge]][hugging-face] | 加入我们的 Hugging Face 社区,探索我们的 Spaces 和模型 |
| [![WeChat][wechat-badge]][wechat-discussion] | 加入我们的微信群参与中文社区讨论 |
![Image][voice-assistant-image]
多功能语音助手 — 这是一个低延迟、高质量的实时助手,支持 RTC 和 [WebSocket][websocket-example] 连接。你可以通过 [Memory][memory-example]、[VAD][voice-assistant-vad-example]、[Turn Detection][voice-assistant-turn-detection-example] 以及其他扩展来增强它。
查看 [示例代码][voice-assistant-example] 获取更多详情。
![divider][divider-light] ![divider][divider-dark]
![Image][doodler-image]
Doodler — 一个涂鸦板,可以将口头或输入的提示词转化为简单的手绘草图,包含蜡笔调色板和实时绘图功能。
[示例代码][doodler-example]
![divider][divider-light] ![divider][divider-dark]
![Image][speaker-diarization-image]
说话人日志 (Speaker Diarization) — 实时检测并标记说话人。其中的“谁喜欢什么 (Who Likes What)”游戏展示了一个交互式应用案例。
[示例代码][speechmatics-diarization-example]
![divider][divider-light] ![divider][divider-dark]
![Image][lip-sync-image]
唇形同步虚拟形象 (Lip Sync Avatars) — 支持多家虚拟形象供应商。主角是 Kei,一个采用 MotionSync 技术驱动唇形同步的动漫角色;此外还支持来自 Trulience、HeyGen 和 Tavus 的写实虚拟形象。
查看 [示例代码][voice-assistant-live2d-example] 了解不同的 Live2D 角色。
![divider][divider-light] ![divider][divider-dark]
![Image][sip-call-image]
SIP 通话 — 通过 SIP 扩展,实现由 TEN 驱动的电话通话功能。
[示例代码][voice-assistant-sip-example]
![divider][divider-light] ![divider][divider-dark]
![Image][transcription-image]
转录 (Transcription) — 一个将音频转录为文本的工具。
[示例代码][transcription-example]
![divider][divider-light] ![divider][divider-dark]
![Image][esp32-image]
ESP32-S3 Korvo V3 — 在 Espressif ESP32-S3 Korvo V3 开发板上运行 TEN 智能体示例,将由 LLM 驱动的通信功能集成到硬件中。
查看 [集成指南][esp32-guide] 获取更多详情。
[![][back-to-top]][readme-top]
| 类别 | 要求 |
|---|---|
| 密钥 (Keys) | • Agora [App ID][agora-app-id] 和 [App Certificate][agora-app-certificate] • [OpenAI][openai-api] API key • [Deepgram][deepgram] ASR • [ElevenLabs][elevenlabs] TTS |
| 安装 | ... (后续内容按需补充) |
ten-framework 是一个开源的实时多模态对话式人工智能框架。它旨在为开发者提供构建高质量、低延迟语音及视频 AI 智能体的基础工具,解决复杂的人机交互开发难题。
支持实时多模态交互,能够处理语音和视频等多种输入输出流。 具备极低的响应延迟,确保对话式 AI 的自然流畅体验。 提供完善的扩展能力,支持集成记忆模块等功能以增强智能体表现。 兼容多种连接协议,包括 RTC 和 WebSocket,方便灵活部署。 拥有成熟的生态系统支撑,包含语音活动检测、轮次检测及门户管理等配套组件。
适用于希望开发实时语音助手、虚拟数字人或多模态交互应用的开发者和企业,特别适合需要快速构建生产级人工智能产品的场景。