統計の検証
統計的主張の検証、研究方法の妥当性確認、分析上の誤りやバイアスの検出に役立つ構造化フレームワークです。
統計的主張の検証チェックリスト
迅速な主張の評価
CLAIM VERIFICATION PROTOCOL:
1. SOURCE CHECK
- Who made the claim?
- What is their expertise and incentive?
- Where was it published (peer-reviewed, preprint, press release)?
- Is the original data or study accessible?
2. METHODOLOGY CHECK
- What type of study (RCT, observational, survey, meta-analysis)?
- What was the sample size and population?
- What was the measurement method?
- Is the statistical test appropriate for the data type?
3. NUMBER SENSE CHECK
- Does the claim pass a basic plausibility test?
- Are units and denominators clearly stated?
- Absolute vs relative numbers — which is being used?
- Is the base rate provided for context?
4. REPLICATION CHECK
- Have other studies found similar results?
- Are the findings consistent across populations?
- Has anyone attempted and failed to replicate?
5. CONCLUSION CHECK
- Does the conclusion follow from the data?
- Are alternative explanations addressed?
- Is the scope of the claim proportional to the evidence?
主張に潜む危険信号
| 危険信号 | 意味 | 対応 |
|---|
| サンプルサイズが示されていない | 信頼性を評価できません | N の提示を求めるか、推定します |
| 相対リスクのみが報告されている | 絶対効果が小さいことを隠している可能性があります | 絶対差を計算します |
| 「最大 X％」という表現 | 最良のケースだけを選んでいます | 中央値または平均値を尋ねます |
| 信頼区間がない | 精度が不明です | 懐疑的に扱います |
| 相関が因果関係として述べられている | 交絡因子が無視されている可能性があります | 研究デザインを確認します |
| 自己選択されたサンプル | 選択バイアスの可能性があります | 限界として明記します |
| 複合エンドポイント | 個々の結果の弱さを覆い隠している可能性があります | エンドポイントを分解します |
| サブグループ分析が強調されている | 事後的なデータ探索の可能性があります | 事前登録を求めます |
よくある統計上の誤り
誤りの検出フレームワーク
CATEGORY 1: DESIGN ERRORS
- Sampling bias (convenience, voluntary response, survivorship)
- Confounding variables not controlled
- Insufficient sample size (underpowered study)
- No control group or inappropriate comparator
- Measurement instrument not validated
CATEGORY 2: ANALYSIS ERRORS
- Multiple comparisons without correction (p-hacking)
- Treating ordinal data as interval
- Assuming normality without checking
- Ignoring missing data patterns (MCAR vs MNAR)
- Using parametric tests on non-parametric data
CATEGORY 3: INTERPRETATION ERRORS
- Confusing statistical significance with practical significance
- Interpreting non-significant result as "no effect"
- Ecological fallacy (group-level applied to individuals)
- Simpson's paradox not checked
- Ignoring effect size and confidence intervals
CATEGORY 4: REPORTING ERRORS
- Selective reporting of favorable results
- Omitting negative or null findings
- Misleading axis scales in visualizations
- Presenting percentages without base numbers
- Switching between absolute and relative metrics
誤りの深刻度評価
| 誤りの種類 | 深刻度 | 結論への影響 |
|---|
| P ハッキング／HARKing | 致命的 | 結果が無効になります |
| 選択バイアス | 致命的 | サンプルに根本的な欠陥があります |
| 交絡への対処が不十分 | 高 | 別の説明が残ります |
| 不適切な統計検定 | 高 | 結果が見かけ上のものかもしれません |
| 多重比較の補正なし | 高 | 偽陽性率が上昇します |
| 検出力分析のない小規模サンプル | 中 | 実際の効果を見逃す可能性があります |
| 信頼区間の欠落 | 中 | 精度を判断できません |
| 誤解を招く可視化 | 中 | 効果の大きさが正しく示されません |
| 軽微な丸め誤差 | 低 | 影響は最小限です |
有意性検定のフレームワーク
検定の選択ガイド
CHOOSING THE RIGHT TEST:
DATA TYPE → COMPARISON → TEST
Continuous + 2 groups + independent → Independent t-test (or Mann-Whitney)
Continuous + 2 groups + paired → Paired t-test (or Wilcoxon signed-rank)
Continuous + 3+ groups + independent → One-way ANOVA (or Kruskal-Wallis)
Continuous + 2+ factors → Two-way ANOVA (or Friedman)
Continuous + continuous → Pearson correlation (or Spearman)
Categorical + 2 groups → Chi-square test (or Fisher's exact)
Categorical + ordered → Cochran-Armitage trend test
Binary outcome + predictors → Logistic regression
Time-to-event + groups → Log-rank test / Cox regression
Count data → Poisson regression
Proportion + large sample → Z-test for proportions
P 値の解釈ガイド
P-VALUE CONTEXT:
p-value = P(data this extreme | null hypothesis is true)
COMMON MISINTERPRETATIONS:
p = 0.03 does NOT mean:
- "There is a 3% chance the result is due to chance"
- "There is a 97% probability the hypothesis is true"
- "The effect is large or important"
- "The study will replicate"
p = 0.03 DOES mean:
- If the null hypothesis were true, data this extreme
would occur about 3% of the time by chance alone.
THRESHOLDS (conventional, not absolute):
p < 0.001 — strong evidence against null
p < 0.01 — moderate evidence against null
p < 0.05 — conventional threshold (context-dependent)
p > 0.05 — insufficient evidence to reject null
(NOT evidence of no effect)
ALWAYS COMPLEMENT WITH:
- Effect size (Cohen's d, odds ratio, etc.)
- Confidence interval (range of plausible values)
- Practical significance (is the effect meaningful?)
- Study power (could it have detected a real effect?)
多重比較の補正
| 方法 | 使用する場合 | 保守性 |
|---|
| Bonferroni | 比較数が少なく、強力な制御が必要な場合 | 非常に保守的 |
| Holm-Bonferroni | 比較数が中程度で、段階的に検定する場合 | 保守性は低め |
| Benjamini-Hochberg | 比較数が多い場合（FDR 制御） | リベラル |
| Tukey's HSD | ANOVA 後のすべてのペア比較 | 中程度 |
| Dunnett's | 複数の処置群を1つの対照群と比較する場合 | 中程度 |
サンプルサイズの妥当性確認
クイックリファレンステーブル
MINIMUM SAMPLE SIZE GUIDELINES:
Survey (population estimate):
±3% margin, 95% CI → n ≈ 1,067
±5% margin, 95% CI → n ≈ 385
±10% margin, 95% CI → n ≈ 97
A/B Test (detecting 5% relative lift):
Baseline 10% conversion → n ≈ 3,200 per group
Baseline 5% conversion → n ≈ 6,400 per group
Baseline 2% conversion → n ≈ 16,000 per group
Clinical trial (medium effect d=0.5):
Two-group comparison, 80% power → n ≈ 64 per group
Two-group comparison, 90% power → n ≈ 86 per group
Correlation (detecting r=0.3):
80% power, alpha=0.05 → n ≈ 85
90% power, alpha=0.05 → n ≈ 113
検出力分析チェックリスト
| パラメーター | 指定必須 | 出典 |
|---|
| アルファ（第 I 種の誤り率） | はい | 慣例（通常 0.05） |
| 検出力（1 - 第 II 種の誤り） | はい | 通常 0.80 または 0.90 |
| 効果量 | はい | 先行研究または MCID |
| 分散／SD | はい | パイロットデータまたは文献 |
| サンプルサイズ | 算出 | 検出力分析の出力 |
| 脱落率 | 推奨 | 予想される脱落分を N に加算します |
相関と因果関係のチェックリスト
因果関係を判断する Bradford Hill 基準
DOES CORRELATION IMPLY CAUSATION? CHECK:
1. STRENGTH Is the association large?
Larger effects harder to explain away.
2. CONSISTENCY Replicated across settings, populations?
Multiple studies, same finding.
3. SPECIFICITY Is X linked specifically to Y (not everything)?
Less useful for multifactorial diseases.
4. TEMPORALITY Does X precede Y in time?
REQUIRED — cause must come before effect.
5. BIOLOGICAL GRADIENT Does more X produce more Y (dose-response)?
Strong support for causation.
6. PLAUSIBILITY Is there a credible mechanism?
Based on current knowledge.
7. COHERENCE Consistent with known biology/theory?
No conflict with established facts.
8. EXPERIMENT Does removing X reduce Y?
Strongest evidence (RCT).
9. ANALOGY Similar exposures cause similar effects?
Weakest criterion, supporting only.
VERDICT:
Criteria 1-3 met + Temporality → Suggestive of causation
Criteria 1-6 met + Experiment → Strong evidence of causation
Only correlation observed → Association only, cannot infer cause
よくある第三変数による交絡因子
| 観察された関連 | 交絡因子の可能性 |
|---|
| アイスクリームの売上と溺死 | 暖かい天候（季節） |
| 靴のサイズと読解力 | 年齢 |
| 病院への受診回数と死亡率 | 病気の重症度 |
| オーガニック食品と健康 | 社会経済的地位 |
| スクリーンタイムとうつ病 | 社会的孤立、睡眠 |
調査方法のレビュー
調査品質の評価
SURVEY METHODOLOGY CHECKLIST:
SAMPLING:
- [ ] Probability sampling method described?
- [ ] Sampling frame defined and appropriate?
- [ ] Response rate reported (acceptable: >60% mail, >80% in-person)?
- [ ] Non-response bias assessed?
QUESTIONNAIRE:
- [ ] Questions validated or adapted from validated instruments?
- [ ] Leading or double-barreled questions absent?
- [ ] Response options balanced and exhaustive?
- [ ] Pilot tested with target population?
ADMINISTRATION:
- [ ] Mode (online, phone, in-person) appropriate?
- [ ] Anonymity/confidentiality assured?
- [ ] Informed consent obtained?
- [ ] Social desirability bias mitigated?
ANALYSIS:
- [ ] Weighting applied for non-response or oversampling?
- [ ] Margin of error and confidence level reported?
- [ ] Subgroup analyses pre-specified (not exploratory)?
データ可視化の信頼性チェック
グラフ監査チェックリスト
| 確認項目 | 確認する内容 | 失敗条件 |
|---|
| Y 軸がゼロから始まっている（棒グラフ） | 軸の途中省略は差を誇張します | 明確なラベルがないまま、軸がゼロより上から始まっている |
| 尺度が一貫している | 両軸の目盛りが比例している | 説明のない非線形の尺度 |
| 面積がデータに比例している | バブルやアイコンの大きさが値に合っている | 面積が大きさを誤って表している |
| 時間軸の間隔が均等である | データポイント間の間隔が等しい | 間隔が不均等で、傾向が圧縮または拡大されている |
| グラフの種類が適切である | データの種類と可視化方法が一致している | 20 以上のカテゴリを持つ円グラフ |
| 文脈が示されている | ベンチマーク、比較対象、ベースライン | 参照情報がない単一のデータポイント |
| 出典が記載されている | データの出所を追跡できる | 出典の記載がない |
| 2 軸を適切に使用している | 2 つの Y 軸は誤った相関を生み出す可能性があります | 恣意的な尺度設定が関係性を示唆している |
誤解を招く可視化パターン
WATCH FOR THESE TRICKS:
1. TRUNCATED AXIS
Small differences look dramatic when baseline removed.
FIX: Always check if y-axis starts at zero for bar charts.
2. CHERRY-PICKED TIME WINDOW
Start/end dates chosen to show desired trend.
FIX: Ask for longer time series with consistent intervals.
3. 3D EFFECTS
Perspective distortion makes sizes unequal.
FIX: Use flat 2D charts for accurate comparison.
4. DUAL AXIS MANIPULATION
Two y-axes scaled to create apparent correlation.
FIX: Normalize data or use separate panels.
5. CUMULATIVE VS DAILY
Cumulative charts always go up — hides declining rates.
FIX: Show rate of change alongside cumulative.
バイアス検出フレームワーク
データ分析における認知バイアス
BIAS DETECTION CHECKLIST:
CONFIRMATION BIAS
- Are they only presenting data that supports their hypothesis?
- Were negative results reported?
- Was the analysis plan pre-registered?
ANCHORING BIAS
- Is the first number presented influencing interpretation of later data?
- Are comparisons made to appropriate benchmarks?
SURVIVORSHIP BIAS
- Are only successful cases included (ignoring failures)?
- Is the denominator complete (not just survivors)?
AVAILABILITY BIAS
- Are dramatic or recent events overweighted?
- Is systematic data used rather than anecdotal evidence?
PUBLICATION BIAS
- Is there a funnel plot asymmetry (meta-analyses)?
- Are null results published or only significant ones?
TEXAS SHARPSHOOTER FALLACY
- Were clusters or patterns found after looking at data?
- Was the hypothesis formed before or after seeing results?
バイアスの深刻度マトリックス
| バイアス | 検出方法 | 軽減策 |
|---|
| 選択バイアス | サンプルと母集団の人口統計学的特性を比較する | 確率サンプリング、重み付け |
| 測定バイアス | 測定器の妥当性と校正を確認する | 妥当性が確認された測定器、盲検化 |
| 報告バイアス | 非対称なファンネルプロットを探す | 事前登録、オープンデータ |
| 想起バイアス | 客観的な記録と比較する | 前向きデータ収集 |
| 観察者バイアス | 評価者が盲検化されていたか確認する | 二重盲検デザイン |
| 脱落バイアス | 完了者と脱落者を比較する | intention-to-treat 分析 |
再現性チェックリスト
研究の再現性評価
REPRODUCIBILITY REQUIREMENTS:
DATA AVAILABILITY:
- [ ] Raw data accessible (repository, supplement, on request)?
- [ ] Data dictionary / codebook provided?
- [ ] Data collection protocol documented?
CODE / ANALYSIS:
- [ ] Analysis code shared (GitHub, OSF, supplement)?
- [ ] Software versions and packages specified?
- [ ] Random seeds set for reproducible computation?
- [ ] Pipeline documented end-to-end?
METHODOLOGY:
- [ ] Study pre-registered (OSF, ClinicalTrials.gov)?
- [ ] Deviations from protocol documented?
- [ ] All outcome measures reported (not just significant ones)?
- [ ] Sensitivity analyses included?
REPORTING:
- [ ] Follows reporting guidelines (CONSORT, STROBE, PRISMA)?
- [ ] Effect sizes and confidence intervals reported?
- [ ] Power analysis or sample size justification provided?
- [ ] Limitations section thorough and honest?
研究の種類別報告基準
| 研究の種類 | ガイドライン | 主な要素 |
|---|
| ランダム化試験 | CONSORT | フロー図、ITT 分析、盲検化 |
| 観察研究 | STROBE | 選択基準、交絡因子、欠損データ |
| システマティックレビュー | PRISMA | 検索戦略、組み入れ基準、バイアスリスク |
| 診断精度研究 | STARD | インデックス検査、参照基準、フロー図 |
| 質的研究 | COREQ | 研究チーム、研究デザイン、データ分析 |
| 予測モデル | TRIPOD | モデル開発、検証、性能 |
迅速な検証ワークフロー
FAST VERIFICATION (5 minutes):
1. Read the claim carefully — what exactly is being stated?
2. Check: source, sample size, study type
3. Ask: absolute or relative? What is the base rate?
4. Check: confidence interval or margin of error given?
5. Search: has this been replicated independently?
VERDICT CATEGORIES:
VERIFIED — multiple strong sources, robust methodology
PLAUSIBLE — reasonable evidence, some limitations
UNCERTAIN — mixed evidence, methodology concerns
MISLEADING — technically true but presented deceptively
FALSE — contradicted by strong evidence
UNVERIFIABLE — cannot assess with available information
関連項目
