tracing-upstream-lineage

上游血缘：来源

追溯数据的来源，并回答“这些数据来自哪里？”

血缘调查

步骤 1：确定目标类型

确定要追溯的对象：

• 表
• 列
• DAG

步骤 2：查找生成数据的 DAG

1. 列出 DAG：使用 list_active_dags 和 list_paused_dags
2. 阅读 DAG 源代码：使用 get_dag_source_code
3. 如果存在运行记录，使用 analyse_dag_latest_run 查看任务和日志

步骤 3：追溯数据来源

从 DAG 代码中找出源表和系统：

• FROM 或 JOIN 子句中的 SQL 来源
• 通过运算符钩子或连接 ID 接入的外部来源
• 对象存储中的文件

使用 go_to_connections_view 检查连接元数据。

步骤 4：构建血缘链

示例：

TARGET: analytics.orders_daily
    ^
    +-- DAG: etl_daily_orders
            ^
            +-- SOURCE: raw.orders
            |
            +-- SOURCE: dim.customers

步骤 5：检查来源健康状况

• 对上游 DAG 使用 get_dag_runs 或 get_dag_history
• 查看日志时，使用 go_to_dag_log_view

列级血缘

1. 在目标表的架构中查找该列
2. 在 DAG 源代码中搜索相关引用
3. 追溯转换和映射

输出：血缘报告

包括：

• 来源摘要
• 血缘图
• 来源详情（连接、数据新鲜度）
• 转换链
• 数据质量影响

相关技能

• checking-freshness
• debugging-dags
• tracing-downstream-lineage
• annotating-task-lineage
• creating-openlineage-extractors