databricks-unity-catalog

Unity Catalog

Unity Catalog のシステムテーブル、ボリューム、ガバナンスに関するガイダンスです。

このスキルを使用するタイミング

次の作業を行う場合に、このスキルを使用します。

• ボリュームの操作（/Volumes/ 内のファイルのアップロード、ダウンロード、一覧表示）
• リネージのクエリ（テーブルの依存関係、列レベルのリネージ）
• 監査ログの分析（誰が何にアクセスしたか、権限の変更）
• 課金と使用状況の監視（DBU 消費量、コスト分析）
• コンピュートリソースの追跡（クラスターの使用状況、ウェアハウスメトリクス）
• ジョブ実行の確認（実行履歴、成功率、失敗）
• クエリパフォーマンスの分析（低速なクエリ、ウェアハウスの利用率）
• データ品質のプロファイリング（データプロファイリング、ドリフト検出、メトリクステーブル）

リファレンスファイル

トピック	ファイル	説明
システムテーブル	5-system-tables.md	リネージ、監査、課金、コンピュート、ジョブ、クエリ履歴
ボリューム	6-volumes.md	ボリュームのファイル操作、権限、ベストプラクティス
データプロファイリング	7-data-profiling.md	データプロファイリング、ドリフト検出、プロファイルメトリクス

クイックスタート

ボリュームのファイル操作（MCP ツール）

ツール	使用方法
list_volume_files	list_volume_files(volume_path="/Volumes/catalog/schema/volume/path/")
get_volume_folder_details	get_volume_folder_details(volume_path="catalog/schema/volume/path", format="parquet") - スキーマ、行数、統計情報
upload_to_volume	upload_to_volume(local_path="/tmp/data/*", volume_path="/Volumes/.../dest")
download_from_volume	download_from_volume(volume_path="/Volumes/.../file.csv", local_path="/tmp/file.csv")
create_volume_directory	create_volume_directory(volume_path="/Volumes/.../new_folder")

システムテーブルへのアクセスを有効にする

-- Grant access to system tables
GRANT USE CATALOG ON CATALOG system TO `data_engineers`;
GRANT USE SCHEMA ON SCHEMA system.access TO `data_engineers`;
GRANT SELECT ON SCHEMA system.access TO `data_engineers`;

一般的なクエリ

-- Table lineage: What tables feed into this table?
SELECT source_table_full_name, source_column_name
FROM system.access.table_lineage
WHERE target_table_full_name = 'catalog.schema.table'
  AND event_date >= current_date() - 7;

-- Audit: Recent permission changes
SELECT event_time, user_identity.email, action_name, request_params
FROM system.access.audit
WHERE action_name LIKE '%GRANT%' OR action_name LIKE '%REVOKE%'
ORDER BY event_time DESC
LIMIT 100;

-- Billing: DBU usage by workspace
SELECT workspace_id, sku_name, SUM(usage_quantity) AS total_dbus
FROM system.billing.usage
WHERE usage_date >= current_date() - 30
GROUP BY workspace_id, sku_name;

MCP ツールの統合

システムテーブルへのクエリには mcp__databricks__execute_sql を使用します。

# Query lineage
mcp__databricks__execute_sql(
    sql_query="""
        SELECT source_table_full_name, target_table_full_name
        FROM system.access.table_lineage
        WHERE event_date >= current_date() - 7
    """,
    catalog="system"
)

ベストプラクティス

1. 日付でフィルタリングする - システムテーブルは大きくなる場合があるため、必ず日付フィルターを使用します
2. 適切な保持期間を設定する - ワークスペースの保持設定を確認します
3. アクセス権を最小限にする - システムテーブルには機密メタデータが含まれています
4. レポートをスケジュールする - 定期的な監視のため、スケジュールされたクエリを作成します

関連スキル

• databricks-spark-declarative-pipelines - Unity Catalog テーブルに書き込むパイプライン向け
• databricks-jobs - システムテーブルで確認できるジョブ実行データ向け
• databricks-synthetic-data-gen - Unity Catalog ボリュームに保存するデータの生成向け
• databricks-aibi-dashboards - Unity Catalog データに基づくダッシュボードの構築向け

リソース

• Unity Catalog システムテーブル
• 監査ログのリファレンス