senior-data-engineer

高级数据工程师

面向生产环境的数据工程技能，用于构建可扩展、可靠的数据系统。

目录

1. 触发短语
2. 快速开始
3. 工作流
4. 架构决策框架
5. 技术栈
6. 参考文档
7. 故障排除

---

触发短语

当你遇到以下情况时启用此技能：

管道设计：

• "Design a data pipeline for..."
• "Build an ETL/ELT process..."
• "How should I ingest data from..."
• "Set up data extraction from..."

架构：

• "Should I use batch or streaming?"
• "Lambda vs Kappa architecture"
• "How to handle late-arriving data"
• "Design a data lakehouse"

数据建模：

• "Create a dimensional model..."
• "Star schema vs snowflake"
• "Implement slowly changing dimensions"
• "Design a data vault"

数据质量：

• "Add data validation to..."
• "Set up data quality checks"
• "Monitor data freshness"
• "Implement data contracts"

性能：

• "Optimize this Spark job"
• "Query is running slow"
• "Reduce pipeline execution time"
• "Tune Airflow DAG"

---

快速开始

核心工具

# Generate pipeline orchestration config
python scripts/pipeline_orchestrator.py generate \
  --type airflow \
  --source postgres \
  --destination snowflake \
  --schedule "0 5 * * *"

# Validate data quality
python scripts/data_quality_validator.py validate \
  --input data/sales.parquet \
  --schema schemas/sales.json \
  --checks freshness,completeness,uniqueness

# Optimize ETL performance
python scripts/etl_performance_optimizer.py analyze \
  --query queries/daily_aggregation.sql \
  --engine spark \
  --recommend

---

工作流

→ 详情见 references/workflows.md

架构决策框架

使用此框架为你的数据管道选择合适的方案。

批处理与流处理

标准	批处理	流处理
延迟要求	数小时到数天	数秒到数分钟
数据量	大规模历史数据集	持续的事件流
处理复杂度	复杂转换、机器学习	简单聚合、过滤
成本敏感度	更具成本效益	基础设施成本更高
错误处理	更易于重新处理	需要仔细设计

决策树：

Is real-time insight required?
├── Yes → Use streaming
│   └── Is exactly-once semantics needed?
│       ├── Yes → Kafka + Flink/Spark Structured Streaming
│       └── No → Kafka + consumer groups
└── No → Use batch
    └── Is data volume > 1TB daily?
        ├── Yes → Spark/Databricks
        └── No → dbt + warehouse compute

Lambda 与 Kappa 架构

方面	Lambda	Kappa
复杂度	两套代码库（批处理 + 流处理）	单一代码库
维护	较高（需同步批处理/流处理逻辑）	较低
重新处理	原生批处理层	从源头重放
适用场景	机器学习训练 + 实时服务	纯事件驱动

何时选择 Lambda：

• 需要基于历史数据训练机器学习模型
• 复杂的批处理转换无法在流处理中实现
• 已有批处理基础设施

何时选择 Kappa：

• 事件溯源架构
• 所有处理都可以表达为流操作
• 从零开始，没有遗留系统

数据仓库与数据湖仓

特性	仓库（Snowflake/BigQuery）	湖仓（Delta/Iceberg）
最适合	BI、SQL 分析	机器学习、非结构化数据
存储成本	较高（专有格式）	较低（开放格式）
灵活性	写时模式	读时模式
性能	SQL 表现优异	良好，持续改进中
生态系统	成熟的 BI 工具	不断发展的机器学习工具

---

技术栈

类别	技术
编程语言	Python、SQL、Scala
编排	Airflow、Prefect、Dagster
转换	dbt、Spark、Flink
流处理	Kafka、Kinesis、Pub/Sub
存储	S3、GCS、Delta Lake、Iceberg
数据仓库	Snowflake、BigQuery、Redshift、Databricks
质量	Great Expectations、dbt tests、Monte Carlo
监控	Prometheus、Grafana、Datadog

---

参考文档

1. 数据管道架构

详见 references/data_pipeline_architecture.md，内容包括：

• Lambda 与 Kappa 架构模式
• 基于 Spark 和 Airflow 的批处理
• 基于 Kafka 和 Flink 的流处理
• 精确一次语义的实现
• 错误处理与死信队列

2. 数据建模模式

查看 references/data_modeling_patterns.md，了解以下内容：

• 维度建模（星型/雪花型）
• 缓慢变化维（SCD 类型 1-6）
• Data Vault 建模
• dbt 最佳实践
• 分区与聚簇

3. DataOps 最佳实践

查看 references/dataops_best_practices.md，了解以下内容：

• 数据测试框架
• 数据契约与模式校验
• 数据管道的 CI/CD
• 可观测性与血缘
• 事件响应

---

故障排查

→ 详见 references/troubleshooting.md