🧪

📰 最新！ AI Gateway 开发者门户现已上线——这是基于 Azure API Management AI Gateway 构建自己的开发者门户的起点。复制该项目，使用 GitHub Copilot（或任何编码 Agent）在 VS Code 中打开，并根据你的需求进行定制！

为什么选择 AI Gateway？

构建可用于生产环境的 AI 应用，不只是调用模型 API。你还需要安全性、可靠性、可观测性和成本控制，同时不能减缓创新。

由 Azure API Management 提供支持的 AI Gateway 可提供：

• 🔐 安全性 — OAuth 2.0、托管标识、内容安全筛选
• ⚡ 性能 — 负载均衡、语义缓存、请求路由
• 📊 可观测性 — Token 指标、内置日志记录、跟踪
• 💰 成本控制 — 速率限制、配额管理、FinOps 框架
• 🔌 可扩展性 — MCP 协议支持、函数调用、多模型路由

📚 探索实验

🔗 在 aka.ms/ai-gateway/labs 浏览全部 30 多个实验

每个实验都是一份实践型 Jupyter 笔记本，包含分步说明、Bicep 基础设施模板，以及可部署到 Azure 订阅的 APIM 策略。

🧠 面向模型的 AI Gateway

使用企业级策略管理和控制对大语言模型的访问。

实验	描述
后端池负载均衡	在多个模型终结点之间分发请求
Token 速率限制	使用速率限制策略控制 Token 消耗
语义缓存	使用向量相似度缓存响应，以更快、更低成本地生成内容
模型路由	根据模型和版本将请求路由到不同的后端
FinOps 框架	使用自动化配额控制管理 AI 预算

🔧 面向工具的 AI Gateway

借助 MCP 协议和函数调用功能，实现安全的工具访问。

实验	描述
模型上下文协议（MCP）	即插即用工具，并管理 OAuth 凭据
MCP 客户端授权	使用客户端授权流程实现 MCP
函数调用	将 OpenAI 函数调用与 Azure Functions 后端配合使用
实时音频 + MCP	将实时语音 API 与 MCP 工具结合使用

🤖 面向 Agent 的 AI Gateway

使用编排框架构建和控制 Agent 应用。

实验	描述
AI Agent Service	探索 Foundry Agent Service，了解多服务控制
OpenAI Agents SDK	将 OpenAI Agents 与 Azure OpenAI 和由 APIM 管理的工具结合使用
Gemini MCP Agents	将 Google Gemini 模型与 MCP 工具集成
A2A Enabled Agents	使用模型和即插即用的 MCP 工具构建支持 A2A 的 Agent

🚀 快速入门

先决条件

• Python 3.12+
• uv（快速 Python 包管理器）— 通过 curl -LsSf https://astral.sh/uv/install.sh | sh（Linux/macOS）或 powershell -c "irm https://astral.sh/uv/install.ps1 | iex"（Windows）安装
• 安装了 Jupyter extension 的 VS Code
• Azure Subscription，并具有 Contributor + RBAC Administrator 角色
• Azure CLI，已通过身份验证并连接到你的订阅

开始使用

# Clone the repository
git clone https://github.com/Azure-Samples/AI-Gateway.git
cd AI-Gateway

# Create the virtual environment and install dependencies
uv sync
uv pip install -r pyproject.toml

# Open VS Code and start with a lab
code .

打开笔记本时，选择由 uv sync 创建的 .venv 解释器作为 Jupyter 内核。

也可以通过 GitHub Codespaces ☁️ 立即启动

🔨 开发者工具

tools/ 文件夹提供用于测试和开发的实用工具：

工具	描述
Tracing	调用启用了追踪功能的 AI Foundry API
Streaming	测试 AI 模型的流式响应
Rate Limit Tester	验证速率限制配置
Mock Server	用于本地开发和测试的 OpenAI API 模拟服务
OAuth Client	测试 OAuth 身份验证流程

👩‍💻 使用 AI 构建自己的实验

此代码库包含 Copilot Agent Skills，可帮助你在 VS Code 中通过 AI 辅助开发创建新实验。

可用技能

技能	描述
lab-creator	搭建包含笔记本、Bicep 和策略的新实验
apim-bicep	为 APIM 资源生成 Azure Bicep 模板
apim-terraform	为 APIM 生成 Terraform 配置
apim-policies	为 AI gateway 场景创建 APIM XML 策略
apim-kql	生成用于控制模型、工具和 Agent 的 KQL 查询
mcp-builder	构建用于工具集成的 MCP 服务

示例：创建新实验

在 VS Code 中打开此代码库并启用 GitHub Copilot，然后使用以下提示词：

Create a new lab called "multi-model-failover" that demonstrates how to 
implement automatic failover between different AI models when the primary 
model is unavailable or throttled. Include:
- A backend pool with priority-based routing
- Retry policy with exponential backoff
- Circuit breaker pattern for unhealthy backends
- Built-in LLM logging to track usage across all backends
- Test the model with a LangChain agent: https://docs.langchain.com/oss/python/langchain/agents
Use gpt-4.1-mini as primary and gpt-4.1-nano as fallback, deploy to Sweden Central.

Copilot 将生成完整的实验结构，包括：

• 📓 提供分步说明的 Jupyter 笔记本
• 🦾 Bicep 基础设施模板
• ⚙️ APIM 策略 XML
• 📖 README 文档
• 🧹 清理笔记本

🏛️ Well-Architected Framework

实验遵循 Azure Well-Architected Framework 原则进行设计：

支柱	实验
安全性	访问控制、内容安全、专用连接
可靠性	后端池负载均衡、令牌速率限制
性能	语义缓存、模型路由
运营	内置日志记录、令牌指标生成
成本	FinOps 框架、语义缓存

📕 企业 AI 网关电子书

下载企业 AI 网关电子书，全面了解企业 AI 网关模式，了解为什么对于大规模采用 AI 的组织而言，集中式治理层必不可少，以及如何使用 Azure API Management 和 Microsoft Foundry 实际实现这一模式。
电子书将 AI 网关描述为一个控制平面，用于协调 AI 应用和 Agent 与底层模型、数据及工具之间的所有交互，从而统一落实安全、安全性、成本控制、弹性、可扩展性、可观测性和治理。总的来说，电子书将企业 AI 网关定位为基础架构组件，使企业能够快速创新地应用 AI，同时保持信任、合规性、可见性和控制力。

🎬 会议与网络广播

通过这些介绍 AI 网关概念与实现的视频向专家学习。

📖 资源

• 📘 AI 网关文档
• 🎓 AI 网关研讨会
• ⚙️ APIM 示例
• 📚 APIM 学习模块
• 💡 Landing Zone 加速器
• 🏛️ Foundry Ctadel
• 📰 API Management 新闻

🤝 贡献

欢迎贡献！请阅读 CONTRIBUTING.md 了解相关指南。

许可证

MIT