tracing-upstream-lineage

アップストリームのリネージ：データソース

データの起点を追跡し、「このデータはどこから来たのか？」に回答します。

リネージ調査

ステップ 1：対象の種類を特定する

何を追跡するのかを特定します。

• テーブル
• カラム
• DAG

ステップ 2：データを生成する DAG を見つける

1. DAG を一覧表示します。list_active_dags と list_paused_dags を使用します
2. DAG のソースを読み取ります。get_dag_source_code を使用します
3. 実行履歴がある場合は、analyse_dag_latest_run を使用してタスクとログを確認します

ステップ 3：データソースを追跡する

DAG のコードから、ソーステーブルとシステムを特定します。

• FROM 句または JOIN 句内の SQL ソース
• オペレーターのフックまたは接続 ID を介した外部ソース
• オブジェクトストレージ内のファイル

go_to_connections_view を使用して接続のメタデータを確認します。

ステップ 4：リネージの連鎖を構築する

例：

TARGET: analytics.orders_daily
    ^
    +-- DAG: etl_daily_orders
            ^
            +-- SOURCE: raw.orders
            |
            +-- SOURCE: dim.customers

ステップ 5：ソースの状態を確認する

• アップストリームの DAG で get_dag_runs または get_dag_history を使用します
• ログを確認するには、go_to_dag_log_view を使用します

カラムのリネージ

1. 対象テーブルのスキーマでカラムを見つけます
2. DAG のソース内でそのカラムへの参照を検索します
3. 変換とマッピングを追跡します

出力：リネージレポート

以下を含めます。

• データソースの概要
• リネージ図
• データソースの詳細（接続、鮮度）
• 変換の連鎖
• データ品質への影響

関連スキル

• checking-freshness
• debugging-dags
• tracing-downstream-lineage
• annotating-task-lineage
• creating-openlineage-extractors