data-quality-frameworks

データ品質フレームワーク

信頼性の高いデータパイプラインを実現するために、Great Expectations、dbt テスト、データコントラクトを使用してデータ品質を実装する本番環境向けのパターンです。

このスキルを使用する場面

• パイプラインにデータ品質チェックを実装する場合
• Great Expectations の検証を設定する場合
• 包括的な dbt テストスイートを構築する場合
• チーム間でデータコントラクトを確立する場合
• データ品質メトリクスを監視する場合
• CI/CD でデータ検証を自動化する場合

このスキルを使用しない場面

• データソースが未定義、または利用できない場合
• 検証ルールやスキーマを変更できない場合
• タスクがデータ品質やコントラクトに関連しない場合

手順

• 重要なデータセットと品質の側面を特定します。
• 期待値／テストとコントラクトルールを定義します。
• CI/CD で検証を自動化し、チェックをスケジュールします。
• アラート、担当者、修正手順を設定します。
• 詳細なパターンが必要な場合は、resources/implementation-playbook.md を開きます。

安全性

• フォールバック計画なしに重要なパイプラインを停止しないでください。
• 検証結果に含まれる機密データを安全に取り扱ってください。

リソース

• 詳細なフレームワーク、テンプレート、例については、resources/implementation-playbook.md を参照してください。