senior-data-engineer

シニアデータエンジニア

パイプライン構成（Airflow、Prefect、Dagster）を生成し、プロファイリングと異常検知でデータ品質を検証し、実行可能な推奨事項を提示してSQL／Sparkのパフォーマンスを最適化します。

主な機能

• パイプライン生成 — バッチロードおよび増分ロード用のAirflow／Prefect／Dagster DAGコードと、DAGの検証。
• データ品質 — スキーマ検証、プロファイリング、異常検知、データコントラクト、Great Expectationsスイートの生成。
• ETL／ELTの最適化 — SQLとSparkの分析、パーティション戦略、データウェアハウスごとのクエリコスト見積もり。
• アーキテクチャの意思決定 — バッチとストリーミング、データウェアハウスとレイクハウスを比較するための判断フレームワーク。
• 信頼性パターン — 増分ウォーターマーク、デッドレターキュー、鮮度チェック、スキーマドリフト検知。

使用するタイミング

• データアーキテクチャの設計、またはバッチとストリーミング／データウェアハウスとレイクハウスの選択。
• Airflow／Spark／dbtパイプラインの構築または生成。
• データ品質チェックやデータコントラクトの追加。
• 遅いETL／ELTクエリの最適化、またはパイプライン障害のトラブルシューティング。

まず確認すること

パイプラインを生成する前に、以下の入力情報を確認してください。不明または曖昧な項目がある場合は、推測せずに質問してください。

• オーケストレーター — Airflow／Prefect／Dagster（--type。生成されるDAGコードが変わります）
• ソース、宛先、ロードモード — 関連するシステムと、バッチか増分か（--source／--destination／--mode。パイプラインの構成に影響します）
• データ品質への期待事項 — 適用するスキーマとコントラクト（Great Expectationsスイートの生成に必要です）

停止ルール：出力に最も影響する2～3項目だけ質問してください。ユーザーが「とりあえず下書きを作って」と言った場合は作業を進め、アーティファクトの冒頭に前提を列挙してください。

クイックスタート

# Generate an Airflow DAG for incremental PostgreSQL -> Snowflake
python scripts/pipeline_orchestrator.py generate \
  --type airflow --source postgres --destination snowflake \
  --tables orders,customers --mode incremental --schedule "0 5 * * *"

# Validate data quality against a schema
python scripts/data_quality_validator.py validate data.csv \
  --schema schema.json --detect-anomalies --json

# Profile a dataset
python scripts/data_quality_validator.py profile data.csv --json

# Optimize a slow SQL query
python scripts/etl_performance_optimizer.py analyze-sql query.sql \
  --warehouse snowflake --json

# Estimate query cost
python scripts/etl_performance_optimizer.py estimate-cost query.sql \
  --warehouse bigquery --stats data_stats.json --json

ツール

ツール	サブコマンド	目的
pipeline_orchestrator.py	generate、validate、template	Airflow／Prefect／Dagsterのパイプラインコードを生成し、DAGを検証します
data_quality_validator.py	validate、profile、generate-suite、contract、schema	スキーマ検証、プロファイリング、異常検知、Great Expectations
etl_performance_optimizer.py	analyze-sql、analyze-spark、optimize-partition、estimate-cost、template	SQL／Sparkの最適化、パーティション戦略、コスト見積もり

すべてのサブコマンドで、機械可読形式の出力には--json、ファイルへの書き込みには--outputを使用できます。

参考資料

タスクに合った参考資料を読み込んでください。このファイルは簡潔に保ち、必要に応じて詳細を参照します。

• references/pipeline-workflows.md — コード付きの、エンドツーエンドで実装された3つのパイプライン：バッチETL（PostgreSQL → dbt → Snowflake）、リアルタイムストリーミング（Kafka → Spark → Delta Lake）、データ品質フレームワーク。具体的なパイプラインの構築時に参照してください。
• references/decisions-and-troubleshooting.md — バッチとストリーミング、データウェアハウスとレイクハウスの判断フレームワーク、アンチパターン、トラブルシューティング表。アーキテクチャの選択や障害の診断時に参照してください。
• references/data_pipeline_architecture.md — パイプラインアーキテクチャパターンの詳細な参考資料。アーキテクチャ設計を深く検討する際に参照してください。
• references/data_modeling_patterns.md — ディメンショナルモデリングとデータモデリングのパターン。データマートやディメンションのモデリング時に参照してください。
• references/dataops_best_practices.md — CI/CD、テスト、パイプライン運用のためのDataOpsの実践方法。パイプラインの運用を始める際に参照してください。

統合ポイント

スキル	統合
senior-data-scientist	特徴量エンジニアリングで、キュレーション済みのマートデータを利用します
senior-ml-engineer	ML パイプラインは特徴量ストアのテーブルに依存します
senior-devops	dbt の CI/CD、Airflow のデプロイ、コンテナオーケストレーション
senior-architect	レイクハウスとデータウェアハウスの選択に関するアーキテクチャレビュー
code-reviewer	DAG、dbt モデル、Spark ジョブのパイプラインコードレビュー