tracing-downstream-lineage について
テーブルや DAG の変更による下流への影響を調べるデータリネージスキルです。利用者を追跡して重要度を分類し、担当者や緩和策を含む影響レポートにまとめます。
主な機能
- 01テーブルと DAG の直接利用者を特定
- 02下流の依存関係を追跡
- 03重要度別にアセットを分類
- 04スキーマと実行時期のリスク評価
- 05影響、担当者、緩和策の報告
活用シーン
- 01テーブル変更前の影響評価
- 02別の DAG の出力を使う DAG の特定
- 03下流変更リスクレポートの作成
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ necatiarslan/ airflow-vscode-extension --skill tracing-downstream-lineageインストール後、Claude Code で/tracing-downstream-lineageを入力して読み込まれたか確認します。
詳細
下流リネージ:影響
「これを変更すると何が壊れますか?」という質問に答えます。
影響分析
ステップ 1:直接の利用者を特定する
テーブルの場合:
list_active_dagsとlist_paused_dagsを使って DAG を一覧表示しますget_dag_source_codeを使って DAG のソースコード内でテーブル参照を検索します
DAG の場合:
- DAG のソースコードから出力を特定します
- それらの出力を読み取る下流の DAG をたどります
ステップ 2:依存関係ツリーを作成する
例:
SOURCE: fct.orders
|
+-- TABLE: agg.daily_sales -> Dashboard: Executive KPIs
+-- TABLE: ml.order_features -> Model: Forecasting
ステップ 3:重要度を分類する
- 重大:本番ダッシュボード、顧客向けアプリ
- 高:社内運用ダッシュボード、下流 ETL
- 中:アドホック分析
- 低:非推奨またはテストデータ
ステップ 4:変更リスクを評価する
次の点を検討します:
- スキーマの変更
- データのタイミングの変更
- 削除または非推奨化
ステップ 5:関係者を特定する
- DAG 定義内の DAG オーナー
- BI ツール内のダッシュボードオーナー
出力:影響レポート
次の内容を含めます:
- 下流アセットの概要
- 影響図
- 影響の詳細とオーナー
- リスク評価と軽減策
関連スキル
- tracing-upstream-lineage
- checking-freshness
- debugging-dags
- annotating-task-lineage
- creating-openlineage-extractors
コメント
Markdown 対応