gke-inference-quickstart

GKE 推理快速入门（GIQ）

用途

本技能可指导你使用 GIQ 在 GKE 上部署 AI/ML 推理工作负载。它利用 gcloud container ai profiles manifests create，根据 Google 的最佳实践和基准测试创建经过优化的 Kubernetes 清单。

使用场景

• 目标： 将 AI 模型（例如 Llama、Gemma、Mistral）部署到 GKE。
• 目标： 为推理生成 Kubernetes 清单。
• 背景： 用户询问 GKE 上的“GIQ”“Inference Quickstart”或“AI benchmarks”。

前提条件

• 一个 GKE 集群（最好配备 GPU/TPU 节点池，不过 GIQ 可以帮助确定所需配置）。
• 已安装并完成身份验证的 gcloud CLI（用于运行发现命令）。

工作流

1. 发现：查找模型和硬件

生成清单之前，通常需要选定有效的模型、模型服务器和加速器组合。

列出所有受支持的模型：

gcloud container ai profiles models list

查找特定模型可用的加速器和服务器：

# Replace <MODEL_NAME> with a model from the list above (e.g., 'gemma-2-9b-it')
gcloud container ai profiles list --model=<MODEL_NAME>

查看基准测试/配置文件（可选）： 查看成本和延迟目标：

gcloud container ai profiles list --model=<MODEL_NAME>

2. 生成清单

使用 gcloud container ai profiles manifests create 命令。这样可确保你直接使用 CLI 提供的最新受支持标志和选项。

参数：

• --model：模型 ID（例如 gemma-2-9b-it）。
• --model-server：推理服务器（例如 vllm、tgi、triton、tensorrt-llm）。
• --accelerator-type：加速器类型（例如 nvidia-l4、nvidia-tesla-a100）。
• --target-ntpot-milliseconds：（可选）目标标准化每输出令牌时间，单位为毫秒。

命令示例：

gcloud container ai profiles manifests create \
  --model=gemma-2-9b-it \
  --model-server=vllm \
  --accelerator-type=nvidia-l4 \
  --target-ntpot-milliseconds=50 > inference-workload.yaml

3. 检查并部署

1. 保存： 上面的示例命令会将输出保存到 inference-workload.yaml。请确保已有此文件。
2. 检查： 检查是否有任何占位符或特定要求（例如 PVC 或密钥）。
   • 注意：某些模型需要 Hugging Face 令牌。请确保遵循有关密钥的查询说明。
3. 部署：

   kubectl apply -f inference-workload.yaml
   

故障排除

• 组合无效： 如果创建清单时因组合无效而失败，请重新运行第 1 步中的发现命令，确认模型、服务器和加速器的组合有效。
• 配额问题： 确保目标区域有足够的配额来满足所请求的加速器（例如 NVIDIA_L4_GPUS）。

参考

• 文档： GKE 推理快速入门文档