Open-source framework for conversational voice AI agents
10.6k
Stars
1.3k
Forks
70
Watchers
213
Issues
![Image][ten-framework-banner]
[![TEN Releases][ten-releases-badge]][ten-releases] [![Coverage Status][coverage-badge]][coverage] [![Release Date][release-date-badge]][ten-releases] [![Commits][commits-badge]][commit-activity] [![Issues closed][issues-closed-badge]][issues-closed] [![Contributors][contributors-badge]][contributors] [![GitHub license][license-badge]][license] [![Ask DeepWiki][deepwiki-badge]][deepwiki] [![ReadmeX][readmex-badge]][readmex]
[![README in English][lang-en-badge]][lang-en-readme] [![简体中文操作指南][lang-zh-badge]][lang-zh-readme] [![日本語のREADME][lang-jp-badge]][lang-jp-readme] [![README in 한국어][lang-kr-badge]][lang-kr-readme] [![README en Español][lang-es-badge]][lang-es-readme] [![README en Français][lang-fr-badge]][lang-fr-readme] [![README in Italiano][lang-it-badge]][lang-it-readme]
[![TEN-framework%2Ften_framework | Trendshift][trendshift-badge]][trendshift]
[Official Site][official-site] • [Documentation][documentation] • [Blog][blog]
TEN 是一个用于实时多模态对话式 AI 的开源框架。
[TEN 生态系统][ten-ecosystem-anchor]包括 [TEN Framework][ten-framework]、[智能体示例 (Agent Examples)][agent-examples-repo]、[VAD][ten-vad]、[Turn Detection (轮次检测)][ten-turn-detection] 以及 [Portal][ten-portal]。
| 社区频道 | 用途 |
|---|---|
| [![Follow on X][follow-on-x-badge]][follow-on-x] | 在 X 上关注 TEN Framework 获取更新和公告 |
| [![Discord TEN Community][discord-badge]][discord-invite] | 加入我们的 Discord 社区与开发者交流 |
| [![Follow on LinkedIn][linkedin-badge]][linkedin] | 在 LinkedIn 上关注 TEN Framework 获取更新和公告 |
| [![Hugging Face Space][hugging-face-badge]][hugging-face] | 加入我们的 Hugging Face 社区探索空间和模型 |
| [![WeChat][wechat-badge]][wechat-discussion] | 加入我们的微信群进行中文社区讨论 |
![Image][voice-assistant-image]
多用途语音助手 — 这是一个低延迟、高质量的实时助手,支持 RTC 和 [WebSocket][websocket-example] 连接。你可以通过 [Memory][memory-example]、[VAD][voice-assistant-vad-example]、[Turn Detection][voice-assistant-turn-detection-example] 等扩展来增强其功能。
更多详情请参考 [示例代码][voice-assistant-example]。
![divider][divider-light] ![divider][divider-dark]
![Image][doodler-image]
Doodler — 一个涂鸦画板,可将语音或文本提示转化为简单的手绘草图,配备蜡笔调色板和实时绘制功能。
[示例代码][doodler-example]
![divider][divider-light] ![divider][divider-dark]
![Image][speaker-diarization-image]
说话人日志 (Speaker Diarization) — 实时说话人日志功能,可检测并标记不同的说话人。“谁喜欢什么 (Who Likes What)”游戏展示了一个交互式用例。
[示例代码][speechmatics-diarization-example]
![divider][divider-light] ![divider][divider-dark]
![Image][lip-sync-image]
唇形同步虚拟形象 (Lip Sync Avatars) — 可与多个虚拟形象供应商协同工作。主要角色包括使用 MotionSync 驱动唇形同步的动漫角色 Kei,同时也支持来自 Trulience、HeyGen 和 Tavus 的逼真虚拟形象。
查看 [示例代码][voice-assistant-live2d-example] 以获取不同 Live2D 角色的实现。
![divider][divider-light] ![divider][divider-dark]
![Image][sip-call-image]
SIP 通话 — 支持由 TEN 驱动的电话呼叫的 SIP 扩展。
[示例代码][voice-assistant-sip-example]
![divider][divider-light] ![divider][divider-dark]
![Image][transcription-image]
转录 (Transcription) — 一种将音频转换为文本的转录工具。
[示例代码][transcription-example]
![divider][divider-light] ![divider][divider-dark]
![Image][esp32-image]
ESP32-S3 Korvo V3 — 在 Espressif ESP32-S3 Korvo V3 开发板上运行 TEN 智能体示例,实现由 LLM 驱动的硬件通信集成。
更多详情请参考 [集成指南][esp32-guide]。
[![][back-to-top]][readme-top]
| 分类 | 要求 |
|---|---|
| 密钥 | • Agora [App ID][agora-app-id] 和 [App Certificate][agora-app-certificate] • [OpenAI][openai-api] API key • [Deepgram][deepgram] ASR • [ElevenLabs][elevenlabs] TTS |
| 安装 | ... |
ten-framework 是一个开源的实时多模态对话人工智能框架,专门用于构建具备语音和视频交互能力的智能体。该框架通过高效的架构设计解决实时 AI 系统在处理多模态数据时的延迟与协同问题,旨在简化复杂交互式 AI 应用的开发流程。
支持多模态数据处理,能够无缝整合语音与视觉信息以实现自然的人机交互。提供极低延迟的实时响应能力,确保对话过程流畅且具有高质量的交互体验。具备灵活的连接支持,兼容 RTC 及 WebSocket 等多种通信协议。内置丰富的扩展接口,开发者可轻松接入记忆功能或其他定制化 AI 组件。
适用于需要开发实时语音助手、视频客服或互动式 AI 虚拟人的开发者,特别适合对低延迟和多模态交互有高要求的企业级应用或创新型 AI 项目。