✨ AI Gateway 实验项目

探索用于管理 AI 模型、工具和智能体（Agents）的企业级网关

为什么选择 AI Gateway？

构建生产就绪的 AI 应用程序不仅仅是调用模型 API。您还需要在不影响创新速度的前提下，实现安全性、可靠性、可观测性和成本控制。

由 Azure API Management 提供支持的 AI Gateway 可提供：

• 🔐 安全性 — OAuth 2.0、托管标识（Managed Identities）、内容安全过滤
• ⚡ 性能 — 负载均衡、语义缓存、请求路由
• 📊 可观测性 — Token 指标、内置日志记录、追踪（Tracing）
• 💰 成本控制 — 速率限制、配额管理、FinOps 框架
• 🔌 扩展性 — MCP 协议支持、函数调用（Function Calling）、多模型路由

📚 探索实验项目

🔗 点击 aka.ms/ai-gateway/labs 浏览全部 30 多个实验

每个实验都是一个动手操作的 Jupyter Notebook，包含分步说明、Bicep 基础设施模板以及您可以部署到 Azure 订阅中的 APIM 策略。

🧠 面向模型的 AI Gateway

利用企业级策略管理并控制对大语言模型的访问。

实验	描述
后端池负载均衡	在多个模型端点之间分发请求
Token 速率限制	通过速率限制策略控制 Token 消耗
语义缓存	利用向量相似度缓存响应，实现更快、更廉价的补全
模型路由	根据模型和版本将请求路由到不同的后端
FinOps 框架	通过自动配额控制管理 AI 预算

🔧 面向工具的 AI Gateway

通过 MCP 协议和函数调用功能实现安全的工具访问。

实验	描述
模型上下文协议 (MCP)	带有 OAuth 凭据管理的即插即用工具
MCP 客户端授权	在客户端授权流程中实现 MCP
函数调用	使用带有 Azure Functions 后端的 OpenAI 函数调用
实时音频 + MCP	将实时语音 API 与 MCP 工具结合使用

🤖 面向智能体（Agents）的 AI Gateway

利用编排框架构建并控制智能体应用程序。

实验	描述
AI 智能体服务	探索具有多服务控制功能的 Foundry 智能体服务
OpenAI Agents SDK	将 OpenAI Agents 与 Azure OpenAI 和 APIM 管理的工具结合使用
Gemini MCP 智能体	将 Google Gemini 模型与 MCP 工具集成
启用 A2A 的智能体	带有模型和 MCP 即插即用工具的 A2A 智能体

🚀 快速入门

前置要求

• Python 3.12+
• 包含 requirements.txt 的 Python 环境，或在终端运行 pip install -r requirements.txt
• VS Code 以及 Jupyter 插件
• 拥有“参与者 (Contributor)” + “RBAC 管理员”角色的 Azure 订阅
• 已登录到您的订阅的 Azure CLI

开始使用

# 克隆仓库
git clone https://github.com/Azure-Samples/AI-Gateway