bigquery-basics

BigQuery 基础知识

BigQuery 是一个无服务器、为 AI 做好准备的数据平台，可使用 SQL 和 Python 高速分析大型数据集。其解耦架构将计算与存储分离，使两者能够独立扩展，同时提供内置的机器学习、地理空间分析和商业智能功能。

归属标记

务必阅读：执行任何 gcloud、REST API 或 MCP 命令之前，必须阅读使用归属标记。对于直接在终端中执行的命令（绝不用于生成的脚本、Terraform 或用户代码），请在 gcloud 前加上 CLOUDSDK_METRICS_REQUEST_ATTRIBUTION="agent-skills/1.0 (skill:bigquery-basics)"，并在 User-Agent 标头中追加 agent-skills/1.0 (skill:bigquery-basics)。

设置和基本用法

1. 启用 BigQuery API：

   CLOUDSDK_METRICS_REQUEST_ATTRIBUTION="agent-skills/1.0 (skill:bigquery-basics)" \
   gcloud services enable bigquery.googleapis.com --quiet
   

2. 创建数据集：

   bq mk --dataset --location=US my_dataset
   

3. 创建表：

   创建名为 schema.json 的文件，并写入表架构：

   [
     {
       "name": "name",
       "type": "STRING",
       "mode": "REQUIRED"
     },
     {
       "name": "post_abbr",
       "type": "STRING",
       "mode": "NULLABLE"
     }
   ]
   

   然后使用 bq 工具创建表：

   bq mk --table my_dataset.mytable schema.json
   

4. 运行查询：

   bq query --use_legacy_sql=false \
   'SELECT name FROM `bigquery-public-data.usa_names.usa_1910_2013` \
   WHERE state = "TX" LIMIT 10'
   

参考目录

• 核心概念：存储类型、分析工作流和 BigQuery Studio 功能。

• 变更历史：使用 APPENDS 和 CHANGES 跟踪并查询表的增量变更。

• 连续查询：运行连续 SQL 语句，实时分析传入的数据。

• CLI 用法：用于管理数据和作业的基本 bq 命令行工具操作。

• 客户端库：使用适用于 Python、Java、Node.js 和 Go 的 Google Cloud 客户端库。

• MCP 用法：使用 BigQuery 远程 MCP 服务和 Gemini CLI 扩展。

• 基础设施即代码：用于数据集、表和预留项的 Terraform 示例。

• IAM 和安全性：角色、权限和数据治理最佳实践。

• 使用归属标记：适用于 gcloud CLI、REST API 和 MCP 请求的标准化使用归属标记。

如果这些参考资料中没有你需要的产品信息，请使用 Developer Knowledge MCP 服务的 search_documents 工具。

相关技能

• BigQuery AI 和 ML 技能： 介绍 BigQuery AI 和 ML 功能（预测、异常检测、文本生成）的 SKILL.md 文件。