mcpField
D
data-quality-audit

data-quality-audit

github.com/nimrodfisherデータ・データベース504263 回インストール5 週間前に更新
リポジトリ

data-quality-audit について

data-quality-auditは、データセットを検査し、品質上の問題をまとめるスキルです。データチームやデータガバナンス向けに、NULL、重複、参照整合性、値の範囲、鮮度を確認し、重要度別に整理します。

主な機能

  1. 01NULLと完全性のプロファイル
  2. 02行およびキーの重複検出
  3. 03参照整合性の確認
  4. 04業務上の値範囲の検証
  5. 05データ鮮度の確認
  6. 06レポートとスコアカードの作成

活用シーン

  1. 01後続レポート利用前のデータ検証
  2. 02誤った値や古いデータの調査
  3. 03新しいデータソースの利用前評価

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/nimrodfisher/data-analytics-skills --skill data-quality-audit

インストール後、Claude Code で/data-quality-auditを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

assets/
audit_report_template.html
quality_rubric.md
references/
business_rule_patterns.md
quality_dimensions.md
scripts/
duplicate_finder.py
freshness_check.py
null_counter.py
referential_integrity.py
value_range_validator.py

詳細

使用する場面

  • データパイプラインが新しいデータを読み込み、後続のレポートで使用される前に検証する必要がある場合
  • ステークホルダーからデータ品質に関する懸念（合計値の誤り、想定外の NULL、データの古さ）が指摘された場合
  • データガバナンスプロセスの一環として、データアセットの正式なデータ品質スコアカードを作成する必要がある場合
  • 新しいデータソースを導入するにあたり、そのデータを基に構築する前に品質プロファイルを把握する必要がある場合

プロセス

  1. NULL と完全性の監査 — 列ごとの NULL プロファイルを確認するため、scripts/null_counter.py を実行します。ビジネス上の状況に照らして許容できるしきい値を超えた列にフラグを付けます。
  2. 重複の検出 — scripts/duplicate_finder.py を実行して、行全体およびキー単位の重複を特定します。重複が意図的なもの（バージョン管理）か、エラー（パイプラインのファンアウト）かを判断します。
  3. 参照整合性の確認 — scripts/referential_integrity.py を実行して、子テーブルの外部キー値が親テーブルに存在することを検証します。リレーションシップごとに孤立レコード率を報告します。
  4. 値の範囲の検証 — references/business_rule_patterns.md で定義されたビジネスルールを指定して、scripts/value_range_validator.py を実行します。許容範囲外の値にフラグを付けます。
  5. 鮮度の確認 — scripts/freshness_check.py を実行して、データセットが最新であることを検証します。このパイプラインで想定される遅延と、最新レコードのタイムスタンプを比較します。
  6. 調査結果の採点と分類 — 各調査結果を references/quality_dimensions.md を使って品質ディメンションに分類します。重大度（CRITICAL／HIGH／MEDIUM／LOW）を割り当てます。
  7. 成果物の作成 — 共有可能なレポートを作成するには assets/audit_report_template.html に記入します。簡潔なスコアカードを作成するには assets/quality_rubric.md に記入します。

スキルに必要な入力

  • 必須：データセット（CSV／Parquet／データベーステーブルの参照）
  • 必須：スキーマのリレーションシップ — どの列が主キーで、どの列がどのテーブルの外部キーか
  • 必須：ビジネスルール — 許容値の範囲、想定される値の集合、鮮度の SLA
  • 任意：許容されるエラー率 — どのしきい値で失敗を CRITICAL とするか、HIGH とするか
  • 任意：パイプラインのスケジュール — 想定される更新頻度に照らして鮮度を評価するため

出力

  • assets/audit_report_template.html（記入済み）— ステークホルダーと共有できる品質レポート一式
  • assets/quality_rubric.md（記入済み）— ディメンション別のスコアを含む、1 ページの品質スコアカード
  • スクリプトのコンソール出力 — 各検証スクリプトのチェックごとの合格／不合格件数

コメント

Markdown 対応