validate-data

関連スキル

検証が元データの信頼性、比較可能性、新しさ、または適切な粒度に依存する場合は、$analyze-data-quality を使用してください。

検証後に推奨事項や判断を求められるタスクでは、$product-business-analysis を使用してください。

データ分析を検証する

分析をステークホルダーに共有する前に検証します。質問、データ、方法論、計算、ビジュアル、主張、留意事項、推奨事項が、想定する対象者と意思決定に対して十分に信頼できるかを重点的に確認してください。 このスキルは分析の QA を目的としており、生データセットのプロファイリングだけを行うものではありません。データの新しさ、粒度、欠損、重複、結合の網羅性、ソース間の不一致など、データセットの信頼性チェックに検証が依存する場合は、補完スキルとして $analyze-data-quality を使用してください。

ワークフロー

1. 成果物と主張を洗い出します。

   検証対象のレポート、ノートブック、スプレッドシート、SQL、ダッシュボード、貼り付けられた分析、または推奨事項を特定します。パス、リンク、クエリ、ノートブック、スプレッドシート、またはダッシュボードが参照されている場合は、元の成果物を確認します。主な質問、対象者、意思決定、主要な主張、見出しの数値、データソース、期間、母集団、フィルター、比較のベースライン、明記された留意事項を抽出します。ユーザーが求めたすべての指標または KPI が分析に含まれているか、含まれていない場合は利用不可、該当なし、または対象範囲外と明記されているかを確認します。

2. 質問、方法論、前提条件を検証します。

   分析が、近くにある簡単な問いではなく、明示されたビジネスまたは製品に関する問いに答えていることを確認します。母集団、適格性のルール、除外、サンプリング、指標の定義、計算式、単位、分母、タイムゾーン、コホート、比較期間、ベースラインが、ステークホルダーの意思決定に合致しているかを確認します。明示されていない除外、一貫性のない定義、期間の一部のみを対象とする比較、実験的またはその他の信頼できる因果的根拠のない因果関係を示す表現を指摘します。

3. データの選択と品質リスクを検証します。

   選択したテーブル、ファイル、ダッシュボード、または抽出データが、意思決定に適切で十分に最新であることを確認します。結論を左右する可能性がある場合は、データの新しさまたは「基準日時」、想定されるパーティション、セグメントの網羅性、行やカテゴリの完全性、NULL の処理、重複排除、フィルターロジック、結合の網羅性、ソース間の不一致を確認します。利用可能な場合は、関連するソースコネクターを通じて、ソースのメタデータ、スキーマチェック、サンプル行、クエリ履歴、SQL のスポットチェックに ~~structured_data を使用します。テーブルの鮮度、データリネージ、またはパイプラインの状況には ~~operations_logs を使用します。

4. 計算と集計を検証します。

   可能であれば、影響の大きい数値を独立して再計算します。粒度、小計、分母、ゼロ以外の分母、率の基準、期間比較の基準、加重平均、単位、通貨、タイムゾーンの処理、相互排他的なカテゴリの合計が総計と一致するかを確認します。SQL では、結合の種類、GROUP BY の粒度、フィルター、ユニークカウント、結合前後の行数を確認します。成果物自体がノートブックやスプレッドシートである場合、またはコードや数式を使った再現可能なスポットチェックが必要な場合は、$jupyter-notebooks または ~~spreadsheet_workspace を使用します。

5. 妥当性と、よくある分析上の落とし穴を確認します。

   可能であれば、数値の規模を既知のダッシュボード、過去のレポート、以前の分析、財務ソース、または想定される製品規模と比較します。トレンドの急上昇、急落、横ばい、きりの良い数値、0% または 100% の率、合計が約 100% になるはずのセグメント比率、摩擦なく仮説を完璧に裏付ける結果を調査します。空のセグメント、新しいエンティティ、境界日などのエッジケースも確認します。

6. ビジュアルとプレゼンテーションの整合性を確認します。 チャートが適切なチャートタイプ、スケール、軸、間隔、 タイトル、ラベル、単位、順序、注釈、色、精度を使用していることを確認します。自明でないチャートレビューには $visualize-data を使用します。レンダリングされたレポート、 ダッシュボード、スライド、ドキュメント、PDF、HTML、その他の最終成果物については、壊れたチャート、欠落した表、見切れたテキスト、不適切な書式、古いプレースホルダー、明らかなレイアウトの問題がないか、レンダリングされた出力を検査します。特に、切り詰められた軸、二重軸、3D 効果、一貫性のない間隔、欠落した日付範囲、データを過大に表現するチャートタイトルなどにより、ざっと読んだ読者が誤解したまま離れてしまう可能性がないかを確認します。

7. ナラティブ、結論、推奨事項を評価します。

   各結論が可視化されたエビデンスまたは保存された成果物によって裏付けられていることを確認します。 検証済みの知見を、解釈、注意事項、未解決の疑問から分離します。 代替説明、不確実性、欠落したコンテキスト、 エビデンスを超えた推奨事項、および設計によって裏付けられていない因果的な表現を特定します。

8. 信頼度評価と必要な修正を作成します。

   ステークホルダーの意思決定に実質的に影響する問題を優先します。ブロッカーと注意事項を分離します。軽微な磨き込みの問題で共有をブロックしてはいけませんが、数値、分母、結合、時間枠、母集団、比較、 または結論が実質的に信頼できない場合はブロックします。不完全な引き継ぎのブロッカーは注意事項とは別に記録し、アクセスの欠如、利用できないソース成果物、未実行のチェック、壊れたレンダリング手順、未解決のデータ品質リスク、 または担当者の確認の欠如を含めます。検証に SQL、Python、ノートブック、またはスプレッドシートを使用した場合は、チェックを再現できるように、成果物のパス、クエリのパーマリンク、ノートブックのパス、スプレッドシートのタブ、またはダッシュボードのリンクを含めます。

標準

検証の姿勢

• 成果物が洗練されて見えるかだけでなく、分析が実際に主張している内容を検証します。
• ツールとアクセスが許す場合は、具体的なエビデンスを優先します。重要な数値を再計算し、ソースデータを検査し、 コードパスを確認し、レコードを追跡し、または信頼できる情報源と突き合わせて照合します。
• 検証できないものにはラベルを付け、検証するために何が必要かを明記します。
• 驚くべき結果、ステークホルダー向けの推奨事項、因果的な主張、 影響の大きい意思決定、外部共有される分析は、より高リスクの検証対象として扱います。
• 成果物と意思決定に合ったチェックを選択します。考えられるすべてのチェックを機械的に実行しないでください。

方法論のチェック

• 問題の設定: 分析が表明されたビジネスまたはプロダクトの問いに答えている。
• データ選択: 情報源が意思決定に対して適切であり、十分に最新である。
• 母集団: 包含、除外、適格性ルール、サンプリングが明示されている。
• 指標の定義: 数式、単位、分母、タイムゾーンが明確であり、ステークホルダーの定義と一致している。
• ベースライン: 比較期間、コホート、コンテキストが比較可能である。
• 因果関係: 因果的な表現が、実験的またはその他の信頼できる因果的エビデンスによって裏付けられている。

データ品質のチェック

• 鮮度: 分析がデータの「時点」日付を記載している、または復元できる。
• 完全性: 予期しない欠落したパーティション、セグメント、行、カテゴリがない。
• NULL の処理: キー列が想定どおりの NULL 率または明示的な処理を持っている。
• 重複排除: 主要なエンティティが二重にカウントされていない。
• フィルターの検証: フィルターと WHERE 句が対象の母集団を暗黙に除外していない。
• 結合カバレッジ: ディメンション、実験、参照テーブルが重要な行を脱落または増殖させていない。

計算の確認

• 粒度：集計レベルが分析で意図した粒度と一致していることを確認します。
• 分母：率や割合に、正しい母集団とゼロではない分母を使用していることを確認します。
• 期間の整合性：比較対象の期間が同じ長さであるか、異なる場合はその旨が明示されていることを確認します。
• 加重指標：グループの規模が異なる場合、平均値が適切に加重されていることを確認します。
• 小計：カテゴリが相互に排他的な場合、各項目の合計が総計と一致することを確認します。
• 単位：通貨、トークン、ユーザー、リクエスト、アカウント、日・週・月、タイムゾーンの単位に一貫性があることを確認します。

妥当性の確認

• 数値の規模が、既知のダッシュボード、過去のレポート、または想定されるプロダクトの規模と照らして妥当であることを確認します。
• 割合が想定範囲内であり、必要な場合はセグメントの構成比の合計が約100％になることを確認します。
• トレンドの急上昇、急落、横ばい、きりのよい数値、0％や100％の率について、説明があることを確認します。
• 結果が摩擦や例外もなく仮説を完全に裏付けるものになっていないことを確認します。
• 空のセグメント、新しいエンティティ、境界日などのエッジケースが、妥当に処理されることを確認します。

よくある落とし穴

• 結合による行の爆発的増加：多対多の結合によって行が暗黙に複製され、カウントや合計が膨らみます。結合の前後で行数と一意な主要エンティティ数を比較し、結合キーに対して右側のテーブルに複数の行がないか確認します。 必要に応じて、結合前に右側のテーブルを意図した粒度に集計し、結合を通じてエンティティを数える場合は COUNT(DISTINCT primary_id) を使用し、 意図的な一対多の結合にはコメントを付けます。
• 生存者バイアス：分析対象が現在存在するエンティティに限られ、削除済み、解約済み、失敗した、またはその他の理由で存在しないエンティティが除外されています。データセットに含まれていないのは誰か、欠落している母集団によって結論が変わるかを確認します。
• 期間比較の不完全さ：一部の期間を完全な期間と比較しています。完全な期間を使用するか、経過日数をそろえて比較するか、一部期間であることを目立つ形で明記します。
• 分母の変動：期間やセグメントによって、対象となる母集団が変化しています。コンバージョン率、解約率、アクティベーション率、アタッチ率、リテンション率について、比較対象のグループ間で定義が一定であることを確認します。
• 平均値の平均：事前に計算された平均値を、グループの規模で加重せずに平均しています。生の分子と分母から集計するか、加重平均を使用します。
• タイムゾーンの不一致：ソースごとにタイムスタンプの規則や日次の締め時刻が異なります。分析でタイムスタンプが統一されていることを確認するか、タイムゾーンと締め時刻を明示します。
• セグメンテーションにおける選択バイアス：測定対象の結果によってセグメントが定義されています。リフト、因果関係、行動の差に関する主張を行う場合は、介入前の特性に基づいて比較グループを定義します。
• その他の統計上の落とし穴：全体とセグメントごとの傾向が食い違うシンプソンのパラドックス、相関関係を因果関係として示すこと、サンプル数の少なさ、中央値や分布の確認が必要な外れ値に左右された平均値、多重検定、都合のよい期間の選択、先読みバイアスなどがあります。

抜き取り確認の手順

• 主要な指標を、生の分子と分母から再計算します。
• 結合、フィルター、最終出力を通して、いくつかの個別レコードを追跡します。
• 主要な合計値を、信頼できるダッシュボード、過去のレポート、または財務データと照合します。
• ユーザー数とユーザーあたりの収益など、構成要素となる指標から見出しの数値を逆算します。
• 1日、1セグメント、または1エンティティで境界条件を確認し、フィルターや結合が妥当に動作することを確かめます。
• 主張が意外な内容である場合や影響が大きい場合は、別のクエリ経路でも同じ指標を比較します。

可視化のチェック

• 棒グラフは通常、ゼロから始める必要があります。ウォーターフォールチャート、ブリッジチャート、差異チャートなど、変化に焦点を当てたチャートでは、ゼロを含めると意図した変化が大幅に圧縮される場合、ゼロ以外を起点とする値軸や範囲を絞った値軸を使用できます。ただし、正確な値、単位、焦点を当てたスケールが明確であることが条件です。
• 比較チャートでは、スケールの違いが明示され、正当な理由がある場合を除き、一貫したスケールを使用してください。
• 軸、単位、凡例、日付範囲にラベルを付けてください。
• カテゴリの並び順は、読者に行ってほしい比較に沿ったものにしてください。
• 軸の切り詰め、二重軸、3D 効果、不統一な目盛り間隔には、明確な正当化または再設計が必要です。
• グラフのタイトルや注釈は、データが裏付ける内容と正確に一致させてください。
• タイトルには結論を記載し、必要に応じて日付範囲や対象範囲も含めてください。
• 注意事項は、対象となる主張の近くに見える形で記載してください。
• 数値の書式には、適切な精度と単位を使用してください。
• 最終形を確認できる場合は、ソースの形だけでなく、レンダリング後の成果物も確認してください。

信頼度の評価

• 共有可能：分析手法に問題がなく、主要な計算が検証済み、またはリスクが低く、注意事項が明確で、残る問題があっても軽微です。
• 注意事項付きで共有可能：分析は大まかな方向性として利用できますが、特定の前提、制約、未検証のチェック事項を関係者に伝える必要があります。
• 要修正：重大な誤り、裏付けのない主張、未実施のチェック、または手法上の問題があり、共有前に修正が必要です。

出力基準

ユーザーから簡易なレビューを求められた場合を除き、次の構成を使用してください。

## Validation Report

### Overall Assessment: [Ready to share | Share with caveats | Needs revision]

### Methodology Review
[Findings about question framing, data selection, population, definitions, comparisons, and assumptions.]

### Issues Found
1. [Severity: High/Medium/Low] [Issue description, evidence, and impact]
2. ...

### Calculation Spot-Checks
- [Metric or claim]: [Verified / Discrepancy found / Not verified] - [brief evidence]

### Visualization Review
[Chart or presentation issues, if applicable.]

### Suggested Improvements
1. [Improvement and why it matters]

### Required Caveats for Stakeholders
- [Caveat that must be communicated]

• 該当する場合は、回答する質問、データソースと「基準日」、指標とセグメントの定義、対象期間とタイムゾーン、手法の手順、前提と制約、SQL クエリ、ノートブックのパス、スプレッドシートのタブ、ダッシュボードへのリンク、または対応前に必要な注意事項を含めてください。
• 元の成果物に含まれる参照情報を保持してください。これには、分析の追跡に必要なリンク、クエリ ID、ノートブックのパス、スプレッドシートのタブ、ダッシュボードの URL、引用文書、その他の証拠が含まれます。
• ユーザーが依頼した、または成果物の形式から求められるすべてのセクションが含まれていることを確認し、省略したセクションがあれば説明してください。
• 問題は、成果物内のセクション順ではなく、意思決定への影響度に基づいて優先順位を付けてください。
• 未検証の主張と残る注意事項を明示してください。
• 未完了の引き継ぎ上の阻害要因は、注意事項や改善案とは分けて列挙してください。