mcpField
D
data-pipeline-builder

data-pipeline-builder

github.com/onewave-aiデータ・データベース393237 回インストール1 週間前に更新
リポジトリ

data-pipeline-builder について

data-pipeline-builderは、データソース、出力先、変換要件に基づいてETL/ELTパイプラインを設計・実装するスキルです。オーケストレーション、品質チェック、テスト、運用手順を含む実装ファイルと仕様書を生成します。

主な機能

  1. 01要件に基づくパイプライン構成の設計
  2. 02抽出、変換、ロード処理の生成
  3. 03Airflow DAGと設定ファイルの作成
  4. 04要件に応じた品質チェックとテストの追加
  5. 05バックフィルと運用手順の文書化

活用シーン

  1. 01指定されたデータソース向けのETL/ELT構築
  2. 02チェックポイント付き増分パイプラインの生成
  3. 03パイプラインのファイルと運用手順書の準備

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/onewave-ai/claude-skills --skill data-pipeline-builder

インストール後、Claude Code で/data-pipeline-builderを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

references/
orchestration-config.md
project-structure.md
python-patterns.md
quality-checks.md
spec-template.md

詳細

データパイプラインビルダー

本番環境で使える品質の ETL／ELT データパイプラインを設計、実装します。データソース、宛先、変換要件を受け取り、完全なパイプライン仕様と、実行に必要な実装ファイル一式を作成します。

目次

  • references/project-structure.md -- 出力ファイルのレイアウト、アーキテクチャパターンの選択、コンポーネントの選択。
  • references/python-patterns.md -- Python コード規約と、ベースとなる抽出、変換、ロード、再試行のパターン。
  • references/quality-checks.md -- 組み合わせ可能なデータ品質チェックのフレームワークと組み込みチェック。
  • references/orchestration-config.md -- Airflow DAG、パイプライン設定 YAML、監視／アラートのパターン。
  • references/spec-template.md -- 出力する data-pipeline-spec.md のテンプレート。

ワークフロー

  1. 要件を収集します。ユーザーが明確な要件を提示している場合は、設計に進みます。そうでない場合は、対象を絞った質問をします。データソース（データベース、API、ファイル、ストリーム）、宛先（ウェアハウス、レイク、データベース）、変換（結合、集計、フィルター、ビジネスルール）、鮮度要件（リアルタイム、毎時、毎日）、技術面の希望（Airflow、dbt、Spark、クラウドプロバイダー）、データ品質とコンプライアンスの要件を確認します。

  2. 分析して設計します。各ソース（接続タイプ、認証、スキーマ、データ量、CDC の利用可否、レート制限）を整理します。宛先（プラットフォーム、スキーマ設計、パーティショニング、クラスタリング、アクセスパターン）を定義します。変換（フィールドマッピング、ビジネスロジック、型変換、結合、集計、重複排除、SCD の処理、派生フィールド）を対応付けます。非機能要件（鮮度 SLA、処理時間枠、障害許容度、保持期間、コンプライアンス）を設定します。references/project-structure.md に従って、アーキテクチャパターンとコンポーネントを選択します。

  3. コードを生成する前に設計を提示します。アーキテクチャ、ソース、宛先、スケジュール、主要な変換、品質ゲートをユーザーに確認し、承認を得てから先に進みます。

  4. 実装を生成します。references/project-structure.md のレイアウトに従い、対象のパイプラインに合わせて、手作業での編集が必要なプレースホルダーコードを含めずに、すべてのファイルを作成します。

    • 各ソースについて、BaseExtractor を継承する具体的なエクストラクターを生成します（references/python-patterns.md を参照）。
    • 各変換について、具体的なトランスフォーマークラスまたは SQL ファイルを生成します。
    • 各宛先について、BaseLoader を継承する具体的なローダーを生成します。
    • すべてのタスク依存関係を接続した Airflow DAG と、パイプライン設定 YAML を生成します（references/orchestration-config.md を参照）。
    • データに合わせた品質チェックと、適切なしきい値を設定した監視設定を生成します（references/quality-checks.md および references/orchestration-config.md を参照）。
    • すべてのカスタムビジネスロジックのテストを生成します。

  5. 最後に仕様を生成します。references/spec-template.md を使って data-pipeline-spec.md を作成し、すべての実装ファイルを参照するとともに、作業中に決定した設計内容を反映します。

運用ルール

  • 冪等性を考慮して設計し、各ステップを安全に再実行できるようにします。
  • 増分パイプラインには、ウォーターマーク／チェックポイントの追跡を含めます。
  • 処理に失敗したレコードのために、デッドレター処理を含めます。
  • ソースのスキーマ変更に対応できるよう、スキーマの進化への処理を含めます。
  • 認証情報をハードコードしないでください。環境変数またはシークレットマネージャーを使用します。
  • 品質チェックを省略しないでください。品質チェックは不良データに対する最初の防衛線です。
  • SQL で表現できる変換には SQL を優先し、SQL では適切に表現できない複雑なロジックには Python を使用します。
  • バックフィル戦略と、一般的な障害シナリオを網羅する運用手順書を仕様に含めます。
  • 全体を通して構造化ログを使用し、各変換ステップでデータリネージを追跡します。

コメント

Markdown 対応