Bolna

端到端开源语音智能体平台：通过 JSON 快速构建语音优先的对话助手。

Discord | 文档 | 网站

[!NOTE] 我们正在积极招募项目维护者。

简介

Bolna 是一个端到端的开源生产级框架，用于快速构建基于 LLM 的语音对话应用程序。

演示

https://github.com/bolna-ai/bolna/assets/1313096/2237f64f-1c5b-4723-b7e7-d11466e9b226

这是什么仓库？

该仓库包含了构建语音 AI 应用程序的完整编排平台。从技术上讲，它通过 WebSockets 连接各种 ASR（自动语音识别）+ LLM + TTS（文本转语音）提供商和模型，实现对语音对话的编排。

组件

Bolna 帮助你创建 AI 语音智能体，并指派它们执行任务，组成部分如下：

1. 编排平台（本开源仓库）
2. 托管 API (https://docs.bolna.ai/api-reference/introduction)：构建在上述编排平台之上 [目前为闭源]
3. 无代码 UI 平台：位于 https://platform.bolna.ai/，使用托管 API 和 Tailwind CSS 构建 [目前为闭源]

开发理念

1. 任何集成、增强或功能首先都会在这一开源软件包中落地，因为它构成了我们托管 API 和仪表盘的基石。
2. 此后，我们根据需要公开 API 或对现有 API 进行修改。
3. 最后，我们将功能推送到 UI 仪表盘。

graph LR;
    A[Bolna open source] -->B[Hosted APIs];
    B[Hosted APIs] --> C[Hosted Playground]

支持的提供商和模型

1. 使用电话提供商发起通话，例如 Twilio、Plivo、Exotel（即将推出）、Vonage（即将推出）等。
2. 使用 Deepgram、Azure 等进行对话转录。
3. 使用 OpenAI、DeepSeek、Llama、Cohere、Mistral 等 LLM 处理对话。
4. 使用 AWS Polly、ElevenLabs、Deepgram、OpenAI、Azure、Cartesia、Smallest 等将 LLM 响应合成为语音并传回电话线路。

请查阅 文档 以深入了解所有支持的提供商。

本地环境搭建示例 [即将迁移至独立仓库]

基本的本地设置包括使用 Twilio 或 Plivo 进行电话通信。我们在 local_setup/ 中提供了 Docker 化方案。你需要根据 .env.sample 创建一份环境 .env 文件。

该设置包含四个容器：

1. 电话 Web 服务器：
   • 选择 Twilio：发起通话需要设置 Twilio 账户
   • 选择 Plivo：发起通话需要设置 Plivo 账户
2. Bolna 服务器：用于创建和处理智能体
3. ngrok：用于内网穿透。需要将 authtoken 添加到 ngrok-config.yml 中
4. redis：用于持久化存储智能体和提示词数据

快速开始

最简单的入门方式是使用提供的脚本：

cd local_setup
chmod +x start.sh
./start.sh

此脚本将检查 Docker 依赖项，启用 BuildKit 构建所有服务，并以分离（detached）模式启动它们。

手动设置

或者，你可以手动构建并运行服务：

1. 确保已安装 Docker 和 Docker Compose V2
2. 启用 BuildKit 以加快构建速度：

   export DOCKER_BUILDKIT=1
   export COMPOSE_DOCKER_CLI_BUILD=1
   

3. 构建镜像：

   docker compose build
   

4. 运行服务：

   docker compose up -d
   

若仅运行特定服务：

docker compose up -d bolna-app twilio-app
# 或者
docker compose up -d bolna-app plivo-app

一旦 Docker 容器启动，你就可以开始创建智能体并指示它们发起通话了。

可供创建、使用并开始通话的示例智能体

你可以尝试 example.bolna.dev 上的不同智能体示例。

编程使用（极简示例）

你也可以直接在 Python 中构建并运行智能体，而无需本地电话设置。

示例脚本：examples/simple_assistant.py

import asyncio
from bolna.assistant import Assistant
from bolna.models import (
    Transcriber,
    Synthesizer,
    ElevenLabsConfig,
    LlmAgent,
    SimpleLlmAgent,
)


async def main():
    assistant = Assistant(name="demo_agent")

    # 配置音频输入 (ASR)
    transcriber = Transcriber(provider="deepgram", model="nova-2", stream=True, language="en")

    # 配置 LLM
    llm_agent = LlmAgent(
        agent_type="simple_llm_agent",
        agent_flow_type="streaming",
        llm_config=SimpleLlmAgent(
            provider="openai",
            model="gpt-4o-mini",
            temperature=0.3,
        ),
    )

    # 配置音频输出 (TTS)
    synthesizer =