google-cloud-solution-agentic-analytics-spark-knowledge-catalog

跨云服务商和数据类型的 Agentic 分析

此技能提供一个工作流，用于设计和实现受管控、安全的 Agentic 分析解决方案管道，处理分布在 Google Cloud、本地系统和其他云服务商上的结构化与非结构化数据。

致谢

必须阅读：执行任何 gcloud、REST API 或 MCP 命令之前，必须阅读并遵循使用归属说明中的指示。

工作流概览

工作流包含以下阶段：

• 阶段 1：需求发现。收集与用户需要帮助的云工作负载或用例相关的详细需求。
• 阶段 2：解决方案架构。使用阶段 1 收集的需求，为云工作负载或用例生成详细的解决方案架构。
• 阶段 3：解决方案验证。制定验证生成的解决方案的计划，生成验证说明和脚本，并执行验证。
• 阶段 4：解决方案打包与展示。整合生成的内容并展示解决方案。

工作流重要说明：

• 严格区分阶段：在阶段 1（需求发现）中向用户提出澄清问题时，不要推荐、提议或概述任何架构设计、技术拆解、云服务或组件映射。
• 可跳过某些阶段的情况：如果用户的提示表明此工作流中的某个特定阶段或任务已完成或获批（例如“需求发现阶段已完成”“产品选择已获批”或“架构已确认”），不要重复该阶段或任务。请直接跳转到用户要求的任务（例如生成技术拆解、推荐产品或整理解决方案指南）。

阶段 1：需求发现与分析

1. 请用户描述其工作负载的功能需求（业务流程、活动和用例）。一次只问一个问题：

   • 主要的库存数据源有哪些？它们是非结构化数据（例如 PDF 风味配方、发票），还是结构化数据（例如 Iceberg 中的历史销售数据）？
   • 这些数据源托管在哪里？它们是否分布在 AWS S3、Azure Blob、Google Cloud Storage 或 AlloyDB 等数据库中？
   • 如何在 Google Cloud 内部及外部位置（例如其他云服务商）管理和联合各数据源的元数据？
   • 对于大规模分布式数据的联接、清洗和预测模型运行，有哪些分析和计算需求？
   • 数据科学家或运营 Agent 期望在其 Agentic IDE（VS Code 或 Antigravity IDE）中执行哪些类型的自然语言提示词？

2. 请用户描述其工作负载的非功能需求。 以下是你可以提出的问题示例，用于收集非功能性要求：

   • 安全、隐私与合规：系统必须遵守哪些数据隐私规则、监管合规要求（例如 GDPR、HIPAA）或数据治理要求？
   • 可靠性：你的正常运行时间、高可用性、容错能力和灾难恢复目标（RTO/RPO）是什么？
   • 性能：你的工作负载对查询延迟目标和 SLA 有什么要求？
   • 运维：你的数据科学家和工程师需要监控哪些运维指标？
   • 成本与可持续性：你是否有具体的预算限制，以及数据出口/传输成本方面的要求？

3. 询问用户当前是否在其他云服务提供商或本地环境中运行该工作负载。

   • 如果用户回答“是”，则请用户描述当前部署的架构。
   • 如果用户回答“否”，则继续下一步。

4. 请用户描述与其他工作负载、产品或工具之间的依赖关系（如有）。以下是你可以提出的问题示例，用于了解这些依赖关系：

   • 你是否依赖外部系统的上游或下游服务（例如身份提供商、数据整理平台、CI/CD 流水线或活跃的数据目录）？
   • 你的通用数据工程软件交付生命周期是否有相关要求（例如版本控制、测试、数据质量保证）？请提供目录路径或此类产物的示例。

5. 检查用户目前提供的输入，并确认其中是否存在任何模糊之处或矛盾。

   如果你发现用户提供的要求中存在任何模糊之处或矛盾（例如零拷贝与将数据复制到存储库相矛盾），则针对发现的每一处模糊之处或矛盾执行以下操作：

   • 描述模糊之处或矛盾（例如，解释为何复制数据与零拷贝要求相矛盾，并且还会产生数据传输成本）。
   • 询问用户希望如何解决该模糊之处或矛盾。
     • 如果用户将选择权交给你（例如，用户回复“按你认为最好的方式处理”或“由你决定”），则提出明确的解决建议（例如，建议优先采用零拷贝远程查询），解释你的理由（例如，消除多云费用和数据重复），并请用户批准你的建议。

   关键：在按照上述指南解决你发现的所有模糊之处和矛盾之前，绝不能推荐或生成任何架构设计、技术拆解或 Google Cloud 产品建议。

6. 重要：如果第 5 步中仍有尚未解决的矛盾或模糊之处，不要开始此步骤。 生成工作负载组件的技术分解。

   • 技术分解必须将解决方案拆分为逻辑组件。
   • 技术分解必须在相关层中说明基于角色的安全机制和凭据。
   • 技术分解必须按以下四层组织。这四层代表智能体分析解决方案的标准架构模式，流程从用户交互开始，经过数据上下文和治理，最终到达核心数据处理：
     • 用户交互层（IDE）：例如，智能体开发环境。
     • 数据基础与可信数据：例如，基础模型、MCP 服务和云端数据仓库。
     • 元数据整理：例如，元数据扫描。
     • 数据处理与分析：例如，分析工作流、Spark 数据处理和外部数据存储。

7. 请求用户批准生成的技术分解。

8. 如果用户要求修改，则生成更新后的技术分解。

9. 重复步骤 5 至 8，直到用户批准生成的技术分解。

10. 用户批准技术分解后，进入阶段 2。 重要：在用户批准生成的工作负载技术分解之前，不要进入下一阶段。

阶段 2：解决方案架构

为所有生成内容提供依据

对于本阶段的每项任务，请使用以下资源为生成的内容提供依据，确保其符合最新的 Google Cloud 官方指南：

• Google Developer Knowledge MCP 服务
  • 连接 MCP 服务的说明： https://developers.google.com/knowledge/mcp.md.txt
  • 服务：https://developerknowledge.googleapis.com/mcp
    • 工具：
      • developerknowledge:search_documents
      • developerknowledge:get_documents
      • developerknowledge:answer_query
• https://github.com/google/skills 中的相关技能
• Google Cloud 官方文档，包括以下内容：
  • 面向多云数据湖、结构化数据仓库和非结构化数据存储的智能体跨云分析工作流参考架构： https://docs.cloud.google.com/architecture/agentic-ai-cross-cloud-analytics.md.txt
  • 与工作负载相关的产品和主题的决策指南： https://github.com/google/skills/blob/main/skills/cloud/google-cloud-solution-architecture/references/decision-making-guides.md
  • 与工作负载相关的产品和主题的最佳实践指南： https://github.com/google/skills/blob/main/skills/cloud/google-cloud-solution-architecture/references/best-practices-guides.md

任务 2.1：确定工作负载所需的 Google Cloud 产品和功能。

1. 对已确认技术分解中的每个组件，依据以下资源中的指南，并结合已批准的技术分解进行适当调整，确定合适的 Google Cloud 产品和功能：
   • references/product-selection-guidance.md
   • https://github.com/google/skills/blob/main/skills/cloud/google-cloud-solution-architecture/references/decision-making-guides.md
2. 展示生成的产品建议，并请用户批准这些建议。
3. 如果用户要求修改，则进行所需的修改。
4. 重复步骤 2 和 3，直到用户批准产品建议。
5. 用户批准产品建议后，进入任务 2.2。

Task 2.2：生成架构图。

1. 以 Mermaid 格式生成架构图： https://github.com/mermaid-js/mermaid。
2. 向用户展示生成的架构图，并请用户批准该架构图。
3. 如果用户要求修改，则进行所需的修改。
4. 重复步骤 2 和 3，直到用户批准该架构图。
5. 用户批准架构图后，继续执行 Task 2.3。

Task 2.3：生成架构说明。

1. 生成一份说明，阐明每个组件的用途、组件之间的关系，以及任务流或数据流。
2. 向用户展示生成的架构说明，并请用户批准该说明。
3. 如果用户要求任何修改，则进行所需的修改。
4. 重复步骤 2 和 3，直到用户批准该架构说明。
5. 用户批准架构说明后，继续执行 Task 2.4。

Task 2.4：生成设计建议。

1. 根据工作负载的要求，生成设计建议和最佳实践，以优化架构中各组件的配置。

   重要提示：

   • 生成设计建议时，请考虑以下内容：
     • 第 1 阶段收集的功能性要求。
     • 第 1 阶段收集的非功能性要求。
   • 生成的设计建议应与 references/design-recommendations.md 中的建议保持一致。
   • 若要为 Knowledge Catalog 生成设计建议，请使用 references/knowledge-catalog-documentation.md 中列出的资源。
   • 若要为非功能性要求生成指导，请使用以下技能：
     • google-cloud-waf-security
     • google-cloud-waf-reliability
     • google-cloud-waf-cost-optimization
     • google-cloud-waf-operational-excellence
     • google-cloud-waf-performance-optimization
     • google-cloud-waf-sustainability

2. 向用户展示生成的建议，并询问用户是否需要修改。

3. 如果用户需要修改，则进行所需的修改。

4. 重复步骤 2 和 3，直到用户确认生成的设计建议符合其要求。

5. 继续执行 Task 2.5。

任务 2.5：生成部署指南。

1. 生成部署指南，包括代码和操作说明，以便用户部署解决方案。

   重要：

   • 指南必须提供部署前提条件的设置步骤，包括设置 Google Cloud 项目、启用结算、启用所需的 API，以及设置所需的角色和权限。
   • 使用以下资源作为生成部署指南的技术基础：
     • https://github.com/gemini-cli-extensions/data-agent-kit-starter-pack/tree/main/skills： 一个插件，提供一套专业技能和 MCP 工具，让你能够使用首选的编码 Agent 来设计复杂的数据管道、使用 dbt 转换数据、编写 Spark 和 BigQuery SQL 笔记本、创建和排查 Dataflow 管道，并在 Google Cloud 数据生态系统中编排端到端工作流。
     • https://codelabs.developers.google.com/next26/gen-keynote/raw-data-forecasting#0： 一个 Codelab，介绍如何使用 Data Agent Kit 扩展，在首选的 Agent 开发环境中高效分析跨云数据拓扑。
     • https://codelabs.developers.google.com/governance-context-part1#0：一个 Codelab，介绍如何在 BigQuery 中构建数据基础、应用严格的元数据标记（Knowledge Catalog Aspects）以区分有效数据与噪声，并使用 Gemini CLI 在本地测试大模型是否严格遵循治理规则。
     • https://docs.cloud.google.com/dataplex/docs/establish-foundational-data-context.md.txt： 一篇教程，介绍如何在 Knowledge Catalog 中建立数据上下文。
     • https://docs.cloud.google.com/dataplex/docs/ingest-custom-sources.md.txt： 一份指南，介绍如何将有关独特自定义数据源的信息导入 Knowledge Catalog。

2. 向用户展示生成的部署指南，并询问用户是否需要修改。

3. 如果用户要求修改，则进行相应修改。

4. 重复步骤 2 和 3，直到用户确认生成的部署指南符合要求。

5. 继续进入阶段 3。

阶段 3：解决方案验证

1. 制定验证生成的解决方案的计划。该计划必须概述验证生成的解决方案是否满足工作负载要求的步骤。
2. 向用户展示验证计划，并征求反馈或批准。
3. 如果用户要求修改，则按要求更新计划。
4. 重复步骤 2 和 3，直到用户批准验证计划。
5. 使用 curl 或 gcloud 等工具生成脚本或命令，以执行获批验证计划中的步骤。
6. 请求用户许可，以执行验证检查。
7. 如果用户许可，则运行验证检查并排查任何部署问题。
8. 所有验证检查均通过后，继续进入阶段 4。

阶段 4：解决方案打包与展示

1. 根据 assets/output-template.md 中的模板，将阶段 2 和阶段 3 生成的文本产物整合到一个名为 solution-architecture-guide.md 的 Markdown 文件中。
2. 向用户展示整合后的 solution-architecture-guide.md。
3. 请求用户许可，以便在用户的工作区中写入代码文件。
4. 获得用户许可后，在用户的工作区中写入代码文件。

支持的资源

• https://docs.cloud.google.com/data-cloud-extension/antigravity/transform-data.md.txt： 介绍如何通过 Data Agent Kit 扩展使用笔记本进行数据转换和分析。
• https://docs.cloud.google.com/dataplex/docs/use-cases.md.txt：Knowledge Catalog 的 用例。
• https://docs.cloud.google.com/managed-spark/docs/guides/lightning-engine-serverless.md.txt： 介绍如何使用 Lightning Engine 加速 Apache Spark 工作负载。
• https://docs.cloud.google.com/bigquery/docs/use-knowledge-catalog.md.txt： 介绍如何将 Knowledge Catalog 用作 BigQuery 的治理层和 Agentic 层。