Plano

专为智能体（Agentic）应用打造的 AI-native 代理服务器与数据平面（Data Plane）。

Plano 能够剥离繁琐的底层“管道”工作，使你无需依赖脆弱的框架抽象。它将那些不应散落在各个代码库中的功能进行集中化处理，例如：智能体路由与编排、用于持续优化的丰富智能体信号（Signals）与追踪、确保安全与合规的护栏（Guardrail）过滤器，以及提升模型灵活性的智能 LLM 路由 API。你可以使用任何语言或 AI 框架，从而更快地将智能体交付到生产环境。

快速入门指南 • 使用 Plano 构建智能体应用 • 文档 • 联系我们

如果你觉得 Plano 有用，请给 repo 点个 Star ⭐️ —— 新版本和更新会优先在这里发布。

概述

构建智能体 Demo 很简单，但要安全、可靠且可重复地将智能体应用投入生产却很难。在快速原型开发的兴奋感过后，你最终会发现自己不得不编写各种“隐藏的中间件”来满足生产需求：用于定位目标智能体的路由逻辑、用于安全与内容审核的护栏钩子、用于持续学习的评估与观测链路，以及分散在各个框架和应用代码中各不相同的模型/供应商适配逻辑。

Plano 通过将核心交付任务移至一个统一的、进程外（out-of-process）的数据平面，完美解决了上述问题。

• 🚦 编排（Orchestration）： 智能体之间的低延迟编排；添加新智能体时无需修改应用代码。
• 🔗 模型灵活性（Model Agility）： 支持按模型名称、别名（语义名称）进行路由，或通过偏好设置进行自动路由。
• 🕵 智能体信号（Agentic Signals™）： 零代码捕获 Signals，并支持跨所有智能体的 OTEL 追踪与指标分析。
• 🛡️ 审核与记忆钩子（Moderation & Memory Hooks）： 通过 Filter Chains 一致性地构建防越狱保护、添加审核策略及记忆功能。

Plano 将繁琐的管道工作从你的框架中剥离出来，让你专注于最重要的事情：智能体应用的核心产品逻辑。Plano 由业界领先的 LLM 研究提供支持，并由曾为现代工作负载构建关键基础设施的核心贡献者基于 Envoy 开发。

高层网络时序图：

跳转至我们的 文档，了解如何使用 Plano 提升智能体应用的速度、安全性和可观测性。

[!IMPORTANT] Plano 以及 Arch 系列 LLM（如 Plano-Orchestrator-4B、Arch-Router 等）目前在美国中部区域免费托管，旨在为你提供绝佳的 Plano 首次使用体验。如需扩展并运行在生产环境，你可以选择在本地运行这些 LLM，或通过 Discord 联系我们获取 API 密钥。

---

使用 Plano 构建智能体应用

Plano 将编排、模型管理和可观测性作为模块化的构建块，让你只需配置所需的功能（如用于智能体编排和护栏的边缘代理，或来自你服务的 LLM 路由，或者两者结合），即可完美融入现有架构。以下是一个使用 Plano 构建的简单多智能体旅游助手，展示了上述三大核心能力。

📁 完整可运行代码： 请参阅 demos/agent_orchestration/travel_agents/，其中包含可本地运行的天气和航班智能体示例。

1. 在 YAML 中定义你的智能体

# config.yaml
version: v0.3.0

# 你需要声明的：智能体 URL 和自然语言描述
# 你不需要编写的：意图分类器、路由逻辑、模型回退、供应商适配器或追踪埋点

agents:
  - id: weather_agent
    url: http://localhost:10510
  - id: flight_agent
    url: http://localhost:10520

model_providers:
  - model: openai/gpt-4o
    access_key: $OPENAI_API_KEY
    default: true
  - model: anthropic/claude-3-5-sonnet
    access_key: $ANTHROPIC_API_KEY

listeners:
  - type: agent
    name: travel_assistant
    port: 8001
    router: plano_orchestrator_v1  # 由我们的 4B 参数路由模型驱动。你可以将其更改为其他模型
    agents:
      - id: weather_agent
        description: |
          Gets real-time weather and forecasts for any city worldwide.
          Handles: "What's the weather in Paris?", "Will it rain in Tokyo?"

      - id