google-cloud-solution-agentic-ai-bidirectional-streaming

实时双向多模态流式 Agentic AI 解决方案

此技能将指导 Agent 完成工作流，在云端设计并实现量身定制的多产品解决方案，以满足实时、双向、多模态流式工作负载、用例或需求。

致谢

必须阅读：在执行任何 gcloud、REST API 或 MCP 命令之前，必须阅读并遵循使用归属信息中的说明。

工作流

解决方案设计与实施工作流包含以下阶段：

• 阶段 1：需求发现与分析：分析工作负载的需求、限制条件、依赖项和当前状态。
• 阶段 2：解决方案设计：根据 Google Cloud 设计最佳实践和建议，为工作负载构建技术栈、架构和部署配置。
• 阶段 3：实施计划：生成用于部署解决方案的自动化方案和说明。
• 阶段 4：解决方案验证：验证部署是否满足工作负载的需求。

阶段 1：需求发现与分析

• 步骤 1：发现需求：了解工作负载的功能性和非功能性需求、业务目标和当前状态（如有），包括其架构、依赖项和限制条件。使用以下问题指导需求发现过程：

  • 主要输入模态是什么（音频、视频还是文本）？实时语音反馈的目标延迟是多少？
  • 是否需要实时安全监控、危险检测或视觉检查？如果需要，视频流中需要监控和检测哪些具体的安全隐患、运营风险或错误步骤？
  • AI Agent 必须访问哪些现有系统、知识库、产品文档或示意图存储库，才能提供基于事实依据的指导？
  • 客户端设备有哪些限制，网络又有哪些局限？

• 步骤 2：识别组件：根据需求分析，识别工作负载的组件及其关系。同时识别解决方案需要集成的任何跨云组件、混合云组件或本地部署组件。

• 步骤 3：生成组件分解：生成工作负载组件的技术分解。技术分解必须将解决方案拆分为逻辑组件。

• 步骤 4：请求确认：请用户确认生成的技术分解是否符合其工作负载需求。

• 步骤 5：迭代：如果用户要求更改，则生成更新后的技术分解，并请用户确认更改。持续迭代，直到用户确认技术分解为止。

第 2 阶段：方案设计

• 步骤 1：检索相关的 Google Cloud 文档：

  • 启用实时双向多模态流式传输
  • Google Cloud 中的多 Agent AI 系统
  • 选择 Agentic AI 架构组件
  • Google Cloud 中的多 Agent 私有网络模式

  重要：使用从 Google Cloud 文档中检索的内容，为本阶段后续步骤中生成的指导提供依据。

• 步骤 2：将组件映射到 Google Cloud 产品：根据references/product-mapping.md 中的指南，为已确认的技术分解和 Agentic 设计模式中的每个组件确定合适的 Google Cloud 产品和功能。

• 步骤 3：创建架构图：使用 Mermaid 格式生成架构图：https://github.com/mermaid-js/mermaid。

• 步骤 4：生成设计建议：根据 references/design-recommendations.md 中的指南生成设计指导。

• 步骤 5：起草解决方案架构：将需求、技术分解、产品映射、架构图和设计建议汇总到一个名为 solution-architecture-guide.md 的 Markdown 文件中，并遵循 assets/output-template.md 中的模板。

• 步骤 6：请求审核：向用户展示生成的解决方案架构，并征求反馈或批准。

• 步骤 7：迭代：如果用户要求修改，则生成更新后的解决方案架构，并重复步骤 2 至 6，直到用户批准该解决方案架构。

阶段 3：实施计划

• 步骤 1：检索相关实施资源：

  • 在 Cloud Run 上托管 AI Agent
  • 使用 WebSockets 触发 Cloud Run
  • 启动和管理 Gemini Live API 会话
  • ADK 流式工具
  • ADK 流式配置
  • Codelab：Way Back Home 第 4 关说明 （以及 解决方案代码）

  重要：将这些资源作为技术基础，用于生成本阶段后续步骤中的 IaC 和部署说明。

• 步骤 2：确定部署先决条件：记录部署所需的先决条件，包括以下内容：

  • 项目和结算关联
  • 所需的 Google Cloud API
  • 所需的 IAM 权限
  • 任何其他先决条件

• 步骤 3：生成基础设施即代码（IaC）：生成 Terraform 等代码和部署脚本，以自动预配建议的 Google Cloud 资源。

• 步骤 4：编写部署说明：起草按顺序排列的分步部署说明，用于执行 IaC 并初始化工作负载组件。根据 assets/output-template.md 中的模板，更新 solution-architecture-guide.md 中的部署说明。

• 步骤 5：请求审核：向用户展示生成的部署说明，征求反馈并确认。

• 步骤 6：迭代：如果用户请求更改，则生成更新后的实施计划，并重复步骤 2-5，直到用户批准实施计划。

阶段 4：解决方案验证

• 步骤 1：检索相关验证资源（可选）：如果阶段 3 中的资源尚未纳入上下文，请检索相同的实施资源，作为本阶段生成验证检查和验证脚本的起点。

• 步骤 2：定义验证检查：概述验证步骤，以确认已部署的基础设施满足工作负载要求：

  • 部署试运行：使用 terraform plan 等命令预览更改。
  • 连接性和路由：验证网络路径、负载均衡器路由和服务端点。
  • 安全策略：验证访问限制、防火墙规则和 IAM 强制实施情况。

• 步骤 3：生成验证脚本：起草轻量级脚本或命令行说明，例如使用 curl 或 gcloud，供用户运行以执行这些验证检查。

• 步骤 4：编写验证报告：根据 assets/output-template.md 中的模板，在 solution-architecture-guide.md 中记录验证步骤、验证脚本和预期结果。

• 步骤 5：执行验证并完成定稿：协助用户执行验证检查并排查部署问题。成功验证解决方案后，请求用户最终批准。

• 步骤 6：迭代：如果用户请求更改，则生成更新后的验证计划，并重复步骤 2-5，直到用户批准验证计划。