airflow-dag-patterns について
Apache Airflow を使うチーム向けに、本番データパイプラインの設計、テスト、デプロイ、トラブルシューティングを支援するスキルです。DAG の構成に加え、オペレーター、センサー、運用方法を扱います。
主な機能
- 01DAG の設計と依存関係
- 02カスタムオペレーターとセンサー
- 03DAG のローカルテスト
- 04デプロイと障害対応のガイダンス
- 05冪等性、リトライ、可観測性
活用シーン
- 01Airflow データパイプラインの設計
- 02カスタムオペレーターやセンサーの作成
- 03デプロイ前の DAG テスト
- 04失敗した DAG 実行の調査
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/airflow-dag-patternsを入力して読み込まれたか確認します。
同梱ファイルresources/implementation-playbook.md
詳細
Apache Airflow DAG パターン
DAG の設計、オペレーター、センサー、テスト、デプロイ戦略を含む、本番環境に対応した Apache Airflow のパターンです。
このスキルを使用する場合
- Airflow によるデータパイプラインのオーケストレーションを作成する場合
- DAG の構造と依存関係を設計する場合
- カスタムオペレーターとセンサーを実装する場合
- Airflow DAG をローカルでテストする場合
- 本番環境に Airflow をセットアップする場合
- 失敗した DAG 実行をデバッグする場合
このスキルを使用しない場合
- シンプルな cron ジョブやシェルスクリプトのみが必要な場合
- Airflow がツールスタックに含まれていない場合
- タスクがワークフローオーケストレーションと無関係な場合
手順
- データソース、スケジュール、依存関係を特定します。
- 明確なオーナーシップとリトライを備えた冪等なタスクを設計します。
- 可観測性とアラートのフックを備えた DAG を実装します。
- ステージング環境で検証し、運用ランブックを文書化します。
詳細なパターン、チェックリスト、テンプレートについては resources/implementation-playbook.md を参照してください。
安全性
- 承認なしに本番環境の DAG スケジュールを変更しないでください。
- データの重複を防ぐため、バックフィルとリトライは慎重にテストしてください。
リソース
- 詳細なパターン、チェックリスト、テンプレートについては
resources/implementation-playbook.mdを参照してください。
制限事項
- このスキルは、タスクが上記の範囲に明確に一致する場合にのみ使用してください。
- 出力を、環境固有の検証、テスト、専門家によるレビューの代替と見なさないでください。
- 必要な入力、権限、安全境界、成功基準が欠けている場合は、停止して確認を求めてください。
コメント
Markdown 対応