✨ AI Gateway 实验场

探索用于管理 AI 模型、工具和智能体（Agents）的企业级网关

📰 最新消息！ AI Gateway Dev Portal 现已发布 —— 这是在 Azure API Management AI Gateway 之上构建您自己的开发者门户的起点。您可以 Fork 该项目，使用 GitHub Copilot（或任何编码 Agent）在 VS Code 中打开它，并根据您的需求进行定制！

为什么选择 AI Gateway？

构建生产级 AI 应用不仅需要调用模型 API，还需要兼顾安全性、可靠性、可观测性和成本控制，且不能拖慢创新的步伐。

由 Azure API Management 提供支持的 AI Gateway 具备以下特性：

• 🔐 安全性 — OAuth 2.0、托管身份（Managed Identities）、内容安全过滤
• ⚡ 性能 — 负载均衡、语义缓存、请求路由
• 📊 可观测性 — Token 指标、内置日志记录、分布式追踪
• 💰 成本控制 — 速率限制（Rate limiting）、配额管理、FinOps 框架
• 🔌 扩展性 — MCP 协议支持、函数调用（Function Calling）、多模型路由

📚 探索实验（Labs）

🔗 浏览全部 30 多个实验，请访问 aka.ms/ai-gateway/labs

每个实验都是一个动手实践的 Jupyter Notebook，包含分步说明、Bicep 基础设施模板以及您可以部署到 Azure 订阅中的 APIM 策略。

🧠 面向模型的 AI Gateway

通过企业级策略管理和控制对大型语言模型的访问。

实验	描述
后端池负载均衡	在多个模型端点之间分发请求
Token 速率限制	通过速率限制策略控制 Token 消耗
语义缓存	使用向量相似度缓存响应，以实现更快速、低成本的补全
模型路由	根据模型和版本将请求路由到不同的后端
FinOps 框架	通过自动化配额控制来管理 AI 预算

🔧 面向工具的 AI Gateway

利用 MCP 协议和函数调用能力，实现安全的工具访问。

实验	描述
模型上下文协议 (MCP)	即插即用的工具与 OAuth 凭据管理
MCP 客户端授权	使用客户端授权流实现 MCP
函数调用	将 OpenAI 函数调用与 Azure Functions 后端结合使用
实时音频 + MCP	将实时语音 API 与 MCP 工具相结合

🤖 面向智能体（Agents）的 AI Gateway

使用编排框架构建和控制智能体应用。

实验	描述
AI Agent 服务	探索具备多服务控制能力的 Foundry Agent 服务
OpenAI Agents SDK	将 OpenAI Agents 与 Azure OpenAI 及 APIM 管理的工具结合使用
Gemini MCP 智能体	将 Google Gemini 模型与 MCP 工具集成
支持 A2A 的智能体	支持 A2A（Agent-to-Agent）的智能体，配备模型和 MCP 即插即用工具

🚀 快速入门

前置要求

• Python 3.12+
• 准备好 Python 环境（包含 requirements.txt），或在终端运行 pip install -r requirements.txt
• VS Code 以及 Jupyter 扩展
• Azure 订阅