🧪

📰 新着！ AI Gateway Dev Portal が公開されました。Azure API Management AI Gateway 上に独自の開発者ポータルを構築するための出発点です。フォークして、GitHub Copilot（または任意のコーディングエージェント）を使って VS Code で開き、ニーズに合わせてカスタマイズしましょう！

AI Gateway を選ぶ理由

本番環境に対応した AI アプリケーションを構築するには、モデル API を呼び出すだけでは不十分です。イノベーションを妨げることなく、セキュリティ、信頼性、可観測性、コスト管理を実現する必要があります。

Azure API Management を基盤とする AI Gateway が提供する機能：

• 🔐 セキュリティ — OAuth 2.0、マネージド ID、コンテンツ安全性フィルタリング
• ⚡ パフォーマンス — 負荷分散、セマンティックキャッシュ、リクエストルーティング
• 📊 可観測性 — トークンメトリック、組み込みログ、トレース
• 💰 コスト管理 — レート制限、クォータ管理、FinOps フレームワーク
• 🔌 拡張性 — MCP プロトコルのサポート、関数呼び出し、複数モデルのルーティング

📚 ラボを詳しく見る

🔗 aka.ms/ai-gateway/labs ですべての 30 以上のラボをご覧ください

各ラボは、手順を追って学べる Jupyter ノートブックです。Azure サブスクリプションにデプロイできる Bicep インフラストラクチャテンプレートと APIM ポリシーも用意されています。

🧠 モデル向け AI Gateway

エンタープライズグレードのポリシーで、大規模言語モデルへのアクセスを管理および制御します。

ラボ	説明
バックエンドプールの負荷分散	複数のモデルエンドポイント間でリクエストを分散します
トークンのレート制限	レート制限ポリシーでトークン消費を制御します
セマンティックキャッシュ	ベクトル類似度を使って応答をキャッシュし、より高速かつ低コストで回答を生成します
モデルルーティング	モデルとバージョンに基づいて、リクエストを異なるバックエンドにルーティングします
FinOps フレームワーク	クォータ制御を自動化して AI の予算を管理します

🔧 ツール向け AI Gateway

MCP プロトコルと関数呼び出し機能を使って、安全なツールアクセスを実現します。

ラボ	説明
Model Context Protocol（MCP）	OAuth 認証情報管理を使って、ツールをプラグアンドプレイで利用できます
MCP クライアント認証	クライアント認証フローで MCP を実装します
関数呼び出し	Azure Functions バックエンドで OpenAI の関数呼び出しを使用します
リアルタイム音声 + MCP	リアルタイム音声 API と MCP ツールを組み合わせます

🤖 エージェント向け AI ゲートウェイ

オーケストレーションフレームワークを使用して、エージェント型アプリケーションを構築・制御します。

ラボ	説明
AI Agent Service	複数のサービスを制御しながら、Foundry Agent Service を試します
OpenAI Agents SDK	Azure OpenAI と APIM 管理のツールを使用して、OpenAI Agents を活用します
Gemini MCP Agents	Google Gemini モデルを MCP ツールと統合します
A2A Enabled Agents	モデルと MCP のプラグアンドプレイツールを備えた、A2A 対応エージェントを使用します

🚀 クイックスタート

前提条件

• Python 3.12+
• uv（高速な Python パッケージマネージャー） — curl -LsSf https://astral.sh/uv/install.sh | sh（Linux/macOS）または powershell -c "irm https://astral.sh/uv/install.ps1 | iex"（Windows）でインストールします
• Jupyter 拡張機能をインストールした VS Code
• Contributor と RBAC Administrator のロールが付与された Azure サブスクリプション
• サブスクリプションに認証済みの Azure CLI

はじめに

# Clone the repository
git clone https://github.com/Azure-Samples/AI-Gateway.git
cd AI-Gateway

# Create the virtual environment and install dependencies
uv sync
uv pip install -r pyproject.toml

# Open VS Code and start with a lab
code .

ノートブックを開く際は、uv sync で作成された .venv インタープリターを Jupyter カーネルとして選択してください。

または、GitHub Codespaces ☁️ ですぐに起動できます。

🔨 開発者ツール

tools/ フォルダーには、テストと開発に役立つユーティリティが用意されています。

ツール	説明
Tracing	トレースを有効にして AI Foundry API を呼び出します
Streaming	AI モデルからのストリーミング応答をテストします
Rate Limit Tester	レート制限の構成を検証します
Mock Server	ローカルでの開発とテストに使える OpenAI API モックです
OAuth Client	OAuth 認証フローをテストします

👩‍💻 AI で独自のラボを構築する

このリポジトリには、VS Code で AI 支援開発を使って新しいラボを作成するのに役立つ Copilot Agent Skills が含まれています。

利用可能なスキル

スキル	説明
lab-creator	ノートブック、Bicep、ポリシーを含む新しいラボのひな形を作成します
apim-bicep	APIM リソース用の Azure Bicep テンプレートを生成します
apim-terraform	APIM 用の Terraform 構成を生成します
apim-policies	AI ゲートウェイのシナリオ用に APIM XML ポリシーを作成します
apim-kql	モデル、ツール、エージェントを制御する KQL クエリを生成します
mcp-builder	ツール統合用の MCP サーバーを構築します

例：新しいラボを作成する

GitHub Copilot を使用して VS Code でこのリポジトリを開き、次のプロンプトを使用します。

Create a new lab called "multi-model-failover" that demonstrates how to 
implement automatic failover between different AI models when the primary 
model is unavailable or throttled. Include:
- A backend pool with priority-based routing
- Retry policy with exponential backoff
- Circuit breaker pattern for unhealthy backends
- Built-in LLM logging to track usage across all backends
- Test the model with a LangChain agent: https://docs.langchain.com/oss/python/langchain/agents
Use gpt-4.1-mini as primary and gpt-4.1-nano as fallback, deploy to Sweden Central.

Copilot は次のものを含む、ラボの完全な構成を生成します。

• 📓 手順を追った説明付きの Jupyter ノートブック
• 🦾 Bicep インフラストラクチャテンプレート
• ⚙️ APIM ポリシー XML
• 📖 README ドキュメント
• 🧹 クリーンアップ用ノートブック

🏛️ Well-Architected Framework

ラボは、Azure Well-Architected Framework の原則に沿って設計されています。

柱	ラボ
セキュリティ	アクセス制御、コンテンツの安全性、プライベート接続
信頼性	バックエンドプールの負荷分散、トークンのレート制限
パフォーマンス	セマンティックキャッシュ、モデルルーティング
運用	組み込みロギング、トークンメトリックの出力
コスト	FinOps フレームワーク、セマンティックキャッシュ

📕 エンタープライズ AI ゲートウェイ e-Book

エンタープライズ AI ゲートウェイ e-Bookをダウンロードして、エンタープライズ AI ゲートウェイパターンの包括的なエンドツーエンドの概要をご覧ください。組織が AI を大規模に導入する際に、なぜ一元化されたガバナンス層が不可欠なのか、また Azure API Management と Microsoft Foundry を使用して実用的に実装する方法を説明しています。
AI ゲートウェイを、AI アプリやエージェントと、それらを支えるモデル、データ、ツールとの間のすべてのやり取りを仲介するコントロールプレーンとして説明し、セキュリティ、安全性、コスト管理、回復性、スケーラビリティ、可観測性、ガバナンスを一貫して適用できるようにします。全体として、この e-Book ではエンタープライズ AI ゲートウェイを、信頼、コンプライアンス、可視性、制御を維持しながら、企業が AI を活用して迅速にイノベーションを起こすための基盤となるアーキテクチャコンポーネントとして位置付けています。

🎬 カンファレンスとウェブキャスト

AI ゲートウェイのコンセプトと実装を扱う以下の動画で、専門家から学びましょう。

📖 リソース

• 📘 AI ゲートウェイのドキュメント
• 🎓 AI ゲートウェイのワークショップ
• ⚙️ APIM のサンプル
• 📚 APIM の学習モジュール
• 💡 ランディングゾーンアクセラレーター
• 🏛️ Foundry Ctadel
• 📰 API Management のニュース

🤝 コントリビューション

コントリビューションを歓迎します！ガイドラインについては、CONTRIBUTING.mdをお読みください。

ライセンス

MIT