gke-inference-quickstart

GKE Inference Quickstart（GIQ）

目的

このスキルでは、GIQ を使用して GKE に AI/ML 推論ワークロードをデプロイする方法を説明します。gcloud container ai profiles manifests create を活用して、Google のベストプラクティスとベンチマークに基づく最適化された Kubernetes マニフェストを作成します。

使用するタイミング

• 目標： AI モデル（例：Llama、Gemma、Mistral）を GKE にデプロイします。
• 目標： 推論用の Kubernetes マニフェストを生成します。
• 状況： GKE 上の「GIQ」、「Inference Quickstart」、「AI ベンチマーク」について質問された場合。

前提条件

• GKE クラスター（できれば GPU/TPU ノードプールを備えたもの。ただし、GIQ は要件の特定にも役立ちます）。
• gcloud CLI がインストールされ、認証済みであること（検出コマンドを実行するため）。

ワークフロー

1. 検出：モデルとハードウェアを探す

マニフェストを生成する前に、モデル、モデルサーバー、アクセラレーターの有効な組み合わせを選ぶ必要がある場合があります。

サポートされているモデルをすべて一覧表示します：

gcloud container ai profiles models list

特定のモデルで利用できるアクセラレーターとサーバーを探します：

# Replace <MODEL_NAME> with a model from the list above (e.g., 'gemma-2-9b-it')
gcloud container ai profiles list --model=<MODEL_NAME>

ベンチマーク／プロファイルを表示します（任意）： コストとレイテンシの目標を確認するには：

gcloud container ai profiles list --model=<MODEL_NAME>

2. マニフェストを生成する

gcloud container ai profiles manifests create コマンドを使用します。これにより、CLI から最新のサポート対象フラグとオプションを直接使用できます。

パラメーター：

• --model：モデル ID（例：gemma-2-9b-it）。
• --model-server：推論サーバー（例：vllm、tgi、triton、tensorrt-llm）。
• --accelerator-type：アクセラレーターの種類（例：nvidia-l4、nvidia-tesla-a100）。
• --target-ntpot-milliseconds：（任意）出力トークンあたりの正規化時間（ミリ秒）の目標値。

コマンド例：

gcloud container ai profiles manifests create \
  --model=gemma-2-9b-it \
  --model-server=vllm \
  --accelerator-type=nvidia-l4 \
  --target-ntpot-milliseconds=50 > inference-workload.yaml

3. 確認してデプロイする

1. 保存： 上記のコマンド例では、出力を inference-workload.yaml に保存します。このファイルがあることを確認してください。
2. 確認： プレースホルダーや固有の要件（PVC やシークレットなど）がないか確認してください。
   • 注：一部のモデルでは Hugging Face トークンが必要です。シークレットのクエリ手順に従っていることを確認してください。
3. デプロイ：

   kubectl apply -f inference-workload.yaml
   

トラブルシューティング

• 無効な組み合わせ： 無効な組み合わせのエラーでマニフェストの作成に失敗した場合は、ステップ 1 の検出コマンドを再実行して、組み合わせ（モデル、サーバー、アクセラレーター）を確認してください。
• クォータの問題： 対象リージョンに、要求したアクセラレーター（例：NVIDIA_L4_GPUS）の十分なクォータがあることを確認してください。

参考資料

• ドキュメント： GKE Inference Quickstart のドキュメント