N
NVIDIA/NeMo-Agent-Toolkit
The NVIDIA NeMo Agent toolkit is an open-source library for efficiently connecting and optimizing teams of AI agents.
PythonApache-2.0创建于 2025/3/6更新于 今天
README
由 Gemini 翻译整理
NVIDIA NeMo Agent Toolkit
NVIDIA NeMo Agent Toolkit 为跨任意框架的 AI Agent 注入智能化能力——通过企业级的探针（Instrumentation）、可观测性（Observability）和持续学习，提升 Agent 的运行速度、准确性及决策能力。
🔥 新特性
- Dynamo 运行时智能 (Runtime Intelligence): 根据 Agent 配置文件自动推断每个请求的延迟敏感度，并应用运行时提示（Hint）以实现缓存控制、负载感知路由和优先级感知服务。
- Agent 性能原语 (APP): 引入了与框架无关的性能原语，通过并行执行、预测性分支和节点级优先级路由，为 LangChain、CrewAI 和 Agno 等基于图的 Agent 框架提供加速。
- LangSmith 原生集成: 通过原生的 LangSmith 追踪功能观测端到端的 Agent 执行过程，运行评估实验，对比结果，并管理开发与生产工作流中的 Prompt 版本。
- FastMCP 工作流发布: 使用 FastMCP 服务器运行时将 NeMo Agent Toolkit 工作流发布为 MCP 服务器，从而简化 MCP 原生部署与集成。
- 迁移通知:
1.5.0版本简化了包安装和依赖管理。请参阅 迁移指南。
✨ 核心功能
- 🛠️ 构建 Agent: 通过各类工具加速 Agent 开发，助您更轻松地将 Agent 投入生产环境。
- 🧩 框架无关性: 与各种 Agent 框架协同工作，添加观测、分析和优化 Agent 所需的探针。该工具包适用于 LangChain、LlamaIndex、CrewAI、Microsoft Semantic Kernel 和 Google ADK 等主流框架，以及企业自定义框架和简单的 Python Agent。
- 🔁 可复用性: 组件构建一次即可多次使用，最大化开发投入的价值。
- ⚡ 定制化: 从预构建的 Agent、工具或工作流开始，并根据您的需求进行定制。
- 💬 内置用户界面: 使用 NeMo Agent Toolkit UI 聊天界面与 Agent 交互、可视化输出并调试工作流。
- 📈 Agent 洞察: 利用 NeMo Agent Toolkit 的探针功能，深入了解 Agent 在运行时的具体运作方式。
- 📊 分析与画像 (Profiling): 从 Agent 级别到单个 Token，对完整工作流进行性能分析，以识别瓶颈、分析 Token 效率，并指导开发者优化 Agent。
- 🔎 可观测性: 在生产环境中跟踪性能、追踪执行流程并深入了解 Agent 行为。
- 🚀 Agent 优化: 利用贯穿 Agent 生命周期的全套工具，提升 Agent 的质量、准确性和性能。
- 🧪 评估系统: 通过离线评估工具集，验证并保持 Agent 工作流的准确性。
- 🎯 [超参数优化:] (需补充内容)