专为 Agent 应用打造的 AI 原生代理服务器与数据平面。

Plano 旨在消除繁琐的基础设施搭建工作，将你从脆弱的框架抽象中解脱出来。它将原本需要在每个代码库中重复实现的逻辑进行中心化管理，包括：Agent 路由与编排、用于持续改进的丰富 Agent 信号与追踪、用于安全与审核的护栏过滤器（Guardrail filters），以及用于模型灵活切换的智能 LLM 路由 API。无论使用何种语言或 AI 框架，Plano 都能助你更快地将 Agent 交付至生产环境。

快速入门指南 • 使用 Plano 构建 Agent 应用 • 文档 • 联系我们

如果你觉得 Plano 有用，请给项目加个星 ⭐️ — 新版本和更新会优先发布在这里。

概览

构建 Agent 演示程序很容易，但要安全、可靠且可重复地将 Agent 应用交付到生产环境却很难。在快速开发完成后的兴奋劲儿过后，你最终会发现自己为了上线而构建了许多“隐藏的中间件”：将请求发送到正确 Agent 的路由逻辑、用于安全与审核的护栏钩子（Guardrail hooks）、用于持续学习的评估与可观测性胶水代码，以及分散在各个框架和应用代码中针对不同模型/提供商的琐碎处理。

Plano 通过将核心交付关注点转移到一个统一的、独立于进程（out-of-process）的数据平面来解决这些问题。

• 🚦 编排 (Orchestration)： Agent 之间的低延迟编排；无需修改应用代码即可添加新 Agent。
• 🔗 模型灵活性 (Model Agility)： 支持通过模型名称、别名（语义化名称）或基于偏好自动进行路由 （参考使用 Plano 作为 LLM 路由器）。
• 🕵 Agentic Signals™： 无代码捕获 Signals，以及跨每个 Agent 的 OTEL 追踪/指标。
• 🛡️ 审核与内存钩子 (Moderation & Memory Hooks)： 通过 过滤器链 (Filter Chains) 一致地构建防越狱保护、添加审核策略及内存管理。

Plano 将枯燥的底层架构工作从你的框架中剥离出来，让你专注于最重要的事情：Agent 应用的核心业务逻辑。Plano 由 行业领先的 LLM 研究 提供支持，并由 Envoy 的核心贡献者构建，他们曾为现代工作负载构建过关键基础设施。

高层网络时序图：

访问我们的 文档，了解如何使用 Plano 提高 Agent 应用的速度、安全性和可观测性。

[!IMPORTANT] Plano 以及 Plano 系列 LLM（如 Plano-Orchestrator）目前在美国中部区域提供免费托管，以便让你获得出色的 Plano 初次体验。如需在大规模生产环境中使用，你可以选择在本地运行这些 LLM，或通过 Discord 联系我们获取 API Key。

---

使用 Plano 构建 Agent 应用

Plano 将 编排、模型管理和可观测性 处理为模块化的构建块——让你只需配置所需的部分（用于 Agent 编排和护栏的边缘代理，或来自你服务的 LLM 路由，亦或两者结合），从而完美融入现有架构。下方是一个使用 Plano 构建的简单多 Agent 旅行助手，展示了所有三个核心功能。

📁 完整代码： 查看 demos/agent_orchestration/travel_agents/ 获取可在本地运行的完整天气和航班 Agent 示例。

1. 使用 YAML 定义你的 Agent

# config.yaml
version: v0.3.0

# 你需要声明的内容：Agent URL 和自然语言描述
# 你不需要编写的内容：意图分类器、路由逻辑、模型回退、提供商适配器或追踪插桩

agents:
  - id: weather_agent
    url: http://localhost:10510
  - id: flight_agent
    url: http://localhost:10520

model_providers:
  - model: openai/gpt-4o
    access_key: $OPENAI_API_KEY
    default: true
  - model: anthropic/claude-3-5-sonnet
    access_key: $ANTHROPIC_API_KEY

listeners:
  - type: agent
    name: travel_assistant
    port: 8001
    router: plano_orchestrator_v1  # 由我们的 4B 参数路由模型驱动。你可以将其更改为其他模型
    agents:
      - id: weather_agent
        description: |
          Gets real-time weather and forecasts for any city worldwide.
          Handles: "What's the weather in Paris?", "Will it rain in Tokyo?"

      - id: flight_agent