databricks-unity-catalog

Unity Catalog

Unity Catalog 系统表、卷和治理指南。

何时使用此技能

以下情况请使用此技能：

• 使用卷（在 /Volumes/ 中上传、下载和列出文件）
• 查询沿袭（表依赖关系、列级沿袭）
• 分析审计日志（谁访问了什么、权限变更）
• 监控计费和用量（DBU 消耗、成本分析）
• 跟踪计算资源（集群用量、仓库指标）
• 查看作业执行情况（运行历史记录、成功率、失败情况）
• 分析查询性能（慢查询、仓库利用率）
• 分析数据质量（数据剖析、漂移检测、指标表）

参考文件

主题	文件	描述
系统表	5-system-tables.md	沿袭、审计、计费、计算、作业、查询历史记录
卷	6-volumes.md	卷文件操作、权限、最佳实践
数据剖析	7-data-profiling.md	数据剖析、漂移检测、剖析指标

快速入门

卷文件操作（MCP 工具）

工具	用法
list_volume_files	list_volume_files(volume_path="/Volumes/catalog/schema/volume/path/")
get_volume_folder_details	get_volume_folder_details(volume_path="catalog/schema/volume/path", format="parquet") - 架构、行数、统计信息
upload_to_volume	upload_to_volume(local_path="/tmp/data/*", volume_path="/Volumes/.../dest")
download_from_volume	download_from_volume(volume_path="/Volumes/.../file.csv", local_path="/tmp/file.csv")
create_volume_directory	create_volume_directory(volume_path="/Volumes/.../new_folder")

启用系统表访问权限

-- Grant access to system tables
GRANT USE CATALOG ON CATALOG system TO `data_engineers`;
GRANT USE SCHEMA ON SCHEMA system.access TO `data_engineers`;
GRANT SELECT ON SCHEMA system.access TO `data_engineers`;

常用查询

-- Table lineage: What tables feed into this table?
SELECT source_table_full_name, source_column_name
FROM system.access.table_lineage
WHERE target_table_full_name = 'catalog.schema.table'
  AND event_date >= current_date() - 7;

-- Audit: Recent permission changes
SELECT event_time, user_identity.email, action_name, request_params
FROM system.access.audit
WHERE action_name LIKE '%GRANT%' OR action_name LIKE '%REVOKE%'
ORDER BY event_time DESC
LIMIT 100;

-- Billing: DBU usage by workspace
SELECT workspace_id, sku_name, SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE usage_date >= current_date() - 30
GROUP BY workspace_id, sku_name;

MCP 工具集成

使用 mcp__databricks__execute_sql 查询系统表：

# Query lineage
mcp__databricks__execute_sql(
    sql_query="""
        SELECT source_table_full_name, target_table_full_name
        FROM system.access.table_lineage
        WHERE event_date >= current_date() - 7
    """,
    catalog="system"
)

最佳实践

1. 按日期筛选 - 系统表可能很大；请始终使用日期筛选条件
2. 设置适当的保留期限 - 查看工作区的保留设置
3. 仅授予最低限度的访问权限 - 系统表包含敏感元数据
4. 安排报告 - 创建定时查询以进行定期监控

相关技能

• databricks-spark-declarative-pipelines - 用于写入 Unity Catalog 表的管道
• databricks-jobs - 用于查看系统表中的作业执行数据
• databricks-synthetic-data-gen - 用于生成存储在 Unity Catalog 卷中的数据
• databricks-aibi-dashboards - 用于基于 Unity Catalog 数据构建仪表板

资源

• Unity Catalog 系统表
• 审计日志参考