CyberVerse

CyberVerse 是一个开源的实时数字人 Agent 框架。它利用 WebRTC、角色记忆、工具调用、RAG（检索增强生成）以及可选的数字人视频功能，助你构建以语音交互为核心的 AI Agent。

English · 简体中文 · 日本語 · 한국어

---

一张照片，一个鲜活的数字人。

是否梦想过拥有属于自己的 J.A.R.V.I.S. —— 一个能真正看见你、听见你并实时对话的 AI？

是否想再次见到失去的亲人，听听他们的声音，看着他们对你微笑？

又或者，是否有一个你一直希望赋予生命的角色？

仅需一张照片。CyberVerse 让这一切成为现实。

什么是数字人 Agent？

演示

以下角色仅作为演示示例。它们未随 CyberVerse 捆绑提供，且不可用于商业用途。

爱丽丝 — 在 YouTube 观看	丽娜 — 在 YouTube 观看

小龙女 — 在 YouTube 观看

功能特性

实时语音 Agent

语音是 CyberVerse 的默认交互模式，专为低延迟、长会话的实时对话设计。用户可以通过麦克风与 Agent 持续交谈，在模型说话时进行打断，并在同一对话轮次中混合语音和文本输入。

每个角色都可以配置独立的声音、欢迎语和个性，并支持声音克隆。对话支持暂停和恢复；当 inference.avatar.enabled 设置为 false 时，平台将以纯语音模式运行，仅发布音频流，无需本地 Avatar GPU，并保持核心语音体验不变。

基于 WebRTC 的音视频传输

会话流水线构建在 WebRTC 之上，可根据部署场景选择直接 P2P（嵌入式 TURN / NAT 穿透）或 LiveKit SFU 模式，在复杂网络环境下平衡低延迟与连接性。

在标准模式和支持的多模态会话中，Agent 还可以接收用户的摄像头画面或屏幕共享画面作为视觉输入，实现“能听能看”的面对面交互，而不局限于纯文本上下文。

PersonaAgent + SubAgent 任务协作

CyberVerse 采用了多 Agent 架构：PersonaAgent 驻留在前台以保持对话流畅、快速响应打断并处理上下文切换；搜索、研究、资料整理、摘要总结及 HTML 报告生成等耗时任务则异步委托给后台的 SubAgent 处理。

这防止了复杂任务拖慢语音响应速度。用户可以继续交谈、提出后续问题或调整方向，而 PersonaAgent 会在 SubAgent 准备好结果后进行反馈。

角色记忆与 RAG

每个角色的对话历史都会持久化到本地磁盘，并在重新进入对话时自动加载，从而跨会话保持连贯性。你还可以为角色导入知识库、文档和传记资料；系统会对其进行索引以进行检索增强生成（RAG），使回答更符合角色的背景和人格。

可选的数字人视频

当你拥有 GPU 资源并希望 Agent 可见时，可以启用数字人推理：单张角色参考图即可驱动实时面部动画、口型同步，并通过 FlashHead 和 LiveAct 等可配置后端播放缓存的闲置视频。如果你没有 GPU 或暂不需要视频，只需将其关闭即可回到纯语音 Agent 模式；原有的角色和人格配置依然有效。

插件化技术栈

大脑、语音、听觉、工具、记忆和面部均是可替换模块。你可以在 cyberverse_config.yaml 中组合多模态模型、LLM、TTS、ASR、Embedding、RAG、工具调用和数字人后端，并在 Web UI 的 /settings 中配置不同厂商的 API Key 和服务地址，从而根据场景切换提供商和模型组合。

快速开始

前置条件

• Node 18+
• Go 1.25 (需要: protoc-gen-go, protoc-gen-go-grpc)
• Conda
• Python 3.10+
• FFmpeg

对于纯语音会话，不需要本地 Avatar GPU。运行成本取决于你配置的实时语音/多模态/LLM/TTS/ASR 提供商。

请使用以下命令验证环境：

node --version
go version
protoc --version
ffmpeg -version
conda --version

第一步：克隆项目

git clone https://github.com/dsd2077/CyberVerse.git
cd CyberVerse

第二步：创建 Python 环境

conda create -n cyberverse python=3.10
conda activate cyberverse

第三步：配置环境变量

cp infra/.env.example .env

编辑 .env 文件并填入支持的配置信息。