senior-data-engineer

高级数据工程师

生成管道配置（Airflow、Prefect、Dagster），通过分析和异常检测验证数据质量，并提供可操作的建议来优化 SQL/Spark 性能。

核心能力

• 管道生成 — 为批量和增量加载生成 Airflow/Prefect/Dagster DAG 代码，并验证 DAG。
• 数据质量 — 模式验证、分析、异常检测、数据契约和 Great Expectations 套件生成。
• ETL/ELT 优化 — SQL 和 Spark 分析、分区策略，以及按数据仓库估算查询成本。
• 架构决策 — 批处理与流处理、数据仓库与湖仓的权衡框架。
• 可靠性模式 — 增量水位线、死信队列、新鲜度检查和模式漂移检测。

适用场景

• 设计数据架构，或选择批处理与流处理、数据仓库与湖仓。
• 构建或生成 Airflow/Spark/dbt 管道。
• 添加数据质量检查或数据契约。
• 优化运行缓慢的 ETL/ELT 查询，或排查管道故障。

先行确认

生成管道前，请确认以下输入。如果有任何信息未知或含糊不清，请提问 — 不要自行假设：

• 编排器 — Airflow / Prefect / Dagster（--type；会影响生成的 DAG 代码）
• 来源、目标和加载模式 — 涉及的系统以及批处理还是增量加载（--source/--destination/--mode；决定管道的结构）
• 数据质量预期 — 要强制执行的模式和契约（决定 Great Expectations 套件的生成方式）

停止规则：只询问最能影响输出的 2-3 个问题。如果用户说“先起草就行”，则继续操作，并在产物顶部列出你的假设。

快速开始

# Generate an Airflow DAG for incremental PostgreSQL -> Snowflake
python scripts/pipeline_orchestrator.py generate \
  --type airflow --source postgres --destination snowflake \
  --tables orders,customers --mode incremental --schedule "0 5 * * *"

# Validate data quality against a schema
python scripts/data_quality_validator.py validate data.csv \
  --schema schema.json --detect-anomalies --json

# Profile a dataset
python scripts/data_quality_validator.py profile data.csv --json

# Optimize a slow SQL query
python scripts/etl_performance_optimizer.py analyze-sql query.sql \
  --warehouse snowflake --json

# Estimate query cost
python scripts/etl_performance_optimizer.py estimate-cost query.sql \
  --warehouse bigquery --stats data_stats.json --json

工具

工具	子命令	用途
pipeline_orchestrator.py	generate、validate、template	生成 Airflow/Prefect/Dagster 管道代码，验证 DAG
data_quality_validator.py	validate、profile、generate-suite、contract、schema	模式验证、分析、异常检测、Great Expectations
etl_performance_optimizer.py	analyze-sql、analyze-spark、optimize-partition、estimate-cost、template	SQL/Spark 优化、分区策略、成本估算

所有子命令都支持 --json，用于生成机器可读的输出；也支持 --output，用于写入文件。

参考资料

加载与任务匹配的参考资料 — 保持此文件精简，按需获取详细信息：

• references/pipeline-workflows.md — 三个端到端完整示例管道及其代码：批量 ETL（PostgreSQL → dbt → Snowflake）、实时流处理（Kafka → Spark → Delta Lake）和数据质量框架。构建具体管道时阅读。
• references/decisions-and-troubleshooting.md — 批处理与流处理、数据仓库与湖仓的决策框架、反模式和故障排查表。选择架构或诊断故障时阅读。
• references/data_pipeline_architecture.md — 管道架构模式的深入参考资料。需要深入了解架构设计时阅读。
• references/data_modeling_patterns.md — 维度建模和数据建模模式。对数据集市和维度进行建模时阅读。
• references/dataops_best_practices.md — 有关 CI/CD、测试和管道运维的 DataOps 实践。将管道投入运营时阅读。

集成点

技能	集成方式
senior-data-scientist	特征工程使用整理后的数据集市数据
senior-ml-engineer	ML 流水线依赖特征存储表
senior-devops	dbt 的 CI/CD、Airflow 部署和容器编排
senior-architect	针对湖仓一体与数据仓库决策进行架构评审
code-reviewer	对 DAG、dbt 模型和 Spark 作业进行流水线代码评审