livekit/agents

正在寻找 JS/TS 版本？请查看 AgentsJS

什么是 Agents？

Agent 框架旨在构建可在服务器上运行的实时、可编程参与者。利用它，你可以创建能够观察、倾听并理解的对话式多模态语音 Agent。

功能特性

• 灵活的集成：提供全面的生态系统，支持任意搭配 STT、LLM、TTS 和 Realtime API，以满足你的特定应用场景。
• 集成任务调度：内置任务调度与分发功能，通过 dispatch APIs 将终端用户连接到 Agent。
• 广泛的 WebRTC 客户端支持：利用 LiveKit 的开源 SDK 生态系统构建客户端应用，支持所有主流平台。
• 电话集成：与 LiveKit 的 telephony stack 无缝协作，使你的 Agent 能够拨打或接听电话。
• 与客户端交换数据：使用 RPCs 和其他 Data APIs 与客户端进行无缝数据交换。
• 语义轮次检测：使用 Transformer 模型检测用户何时结束发言，有助于减少打断。
• MCP 支持：原生支持 MCP。只需一行代码即可集成 MCP 服务器提供的工具。
• 内置测试框架：编写测试用例并使用评估器（judges）来确保你的 Agent 按预期运行。
• 开源：完全开源，允许你在自己的服务器上运行整个技术栈，包括目前应用最广泛的 WebRTC 媒体服务器之一 —— LiveKit server。

安装

安装核心 Agents 库及常用模型提供商的插件：

pip install "livekit-agents[openai,silero,deepgram,cartesia,turn-detector]"

文档与指南

关于本框架及使用方法的文档可以在这里找到。

使用 AI 编码助手进行开发

如果你正在使用 AI 编码助手来开发 LiveKit Agents，我们建议采用以下设置以获得最佳效果：

1. 安装 LiveKit Docs MCP server — 使你的编码助手能够访问最新的 LiveKit 文档、跨仓库代码搜索以及实用的代码示例。

2. 安装 LiveKit Agent Skill — 为你的编码助手提供构建语音 AI 应用的架构指导和最佳实践，包括工作流设计、交接、任务和测试模式。

   npx skills add livekit/agent-skills --skill livekit-agents
   

Agent Skill 与 MCP server 配合使用效果最佳：Skill 教你的 Agent 如何规划 开发路径，而 MCP server 则提供实现它所需的 准确 API 细节。

核心概念

• Agent：一种具有明确指令的、基于 LLM 的应用程序。
• AgentSession：用于管理与终端用户交互的 Agent 容器。
• entrypoint：交互式会话的起点，类似于 Web 服务器中的请求处理器。
• AgentServer：负责协调任务调度并为用户会话启动 Agent 的主进程。

使用方法

简单的语音 Agent

---

from livekit.agents import (
    Agent,
    AgentServer,
    AgentSession,
    JobContext,
    RunContext,
    cli,
    function_tool,
    inference,
)
from livekit.plugins import silero


@function_tool
async def lookup_weather(
    context: RunContext,
    location: str,
):
    """Used to look up weather information."""

    return {"weather": "sunny", "temperature": 70}


server = AgentServer()


@server.rtc_session()
async def entrypoint(ctx: JobContext):
    session = AgentSession(
        vad=silero.VAD.load(),
        # 可以使用 STT、LLM、TTS 或 Realtime API 的任意组合
        # 本示例展示了 LiveKit Inference，这是一个通过 LiveKit Cloud 访问不同模型的统一 API
        # 若要直接使用模型提供商的密钥，请替换为以下内容：
        # from livekit.plugins import deepgram, openai, cartesia
        # stt=deepgram.STT(model="nova-3"),
        # llm=openai.LLM(model="gpt-4.1-mini"),
        # tts=cartesia.TTS(model="sonic-3