stat-hypothesis-testing

仮説検定

フレームワーク

IRON LAW: Statistical Significance ≠ Practical Significance

A p-value < 0.05 means the result is unlikely under the null hypothesis.
It does NOT mean the result is important, large, or practically meaningful.
With a large enough sample, a 0.1% conversion rate difference becomes
"statistically significant" but is practically worthless.

ALWAYS report effect size alongside p-value.

IRON LAW: State Hypotheses BEFORE Looking at Data

H₀ (null) and H₁ (alternative) must be defined before data analysis.
Choosing hypotheses after seeing the data = p-hacking = scientific fraud.
"We found an interesting pattern, let's test it on the same data" is invalid.

基本概念

概念	定義
H₀（帰無仮説）	既定の仮定：効果や差はない
H₁（対立仮説）	示したいこと：効果や差がある
p値	H₀が正しい場合に、この結果（またはそれ以上に極端な結果）が得られる確率
α（有意水準）	H₀を棄却する基準値（通常は0.05）
第I種の誤り（α）	実際にはH₀が正しいのに、H₀を棄却すること（偽陽性）
第II種の誤り（β）	H₁が正しいのに、H₀を棄却できないこと（偽陰性）
検出力（1-β）	真の効果を検出できる確率（目標：≥ 0.8）
効果量	差の大きさ（Cohen's d、オッズ比、R²）

検定の選択ガイド

データ型	グループ数	検定
連続、正規分布、2グループ	独立	独立t検定
連続、正規分布、2グループ	対応あり／前後比較	対応のあるt検定
連続、正規分布、3グループ以上	独立	一元配置ANOVA
連続、非正規分布	2グループ	Mann-Whitney U検定
カテゴリ	2グループ以上	カイ二乗検定
連続、関連性	2変数	Pearson相関（正規分布）／Spearman相関（非正規分布）
二値の結果	予測変数	ロジスティック回帰

検定の手順

1. 仮説を立てる：具体的なパラメーターを用いてH₀とH₁を設定します
2. 検定を選ぶ：データ型、分布、グループ数に基づいて選びます（上記ガイドを使用）
3. αを設定する：通常は0.05です（異なる値にする場合は、その理由を説明します）
4. 計算する：検定を実行し、検定統計量とp値を取得します
5. 判断する：p < α → H₀を棄却、p ≥ α → H₀を棄却できません
6. 報告する：効果量＋信頼区間＋p値を報告します（「有意」のみでは不十分です）

出力形式

# Hypothesis Test: {Research Question}

## Hypotheses
- H₀: {null — no effect/difference}
- H₁: {alternative — there IS an effect/difference}
- α = {0.05 or other}

## Test Selection
- Test: {name}
- Rationale: {why this test fits the data}
- Assumptions checked: {normality, independence, equal variance}

## Results
- Test statistic: {value}
- p-value: {value}
- Effect size: {value and interpretation}
- 95% CI: [{lower}, {upper}]

## Decision
{Reject / Fail to reject H₀}

## Interpretation
{What this means in practical terms, with effect size context}

注意点

• 「H₀を棄却できない」≠「H₀が正しい」：証拠がないことは、存在しない証拠ではありません。真の効果を検出する検出力が不足している可能性があります。
• 多重比較は第I種の誤りを増加させます：α=0.05で20個の仮説を検定すると、偶然に1件の偽陽性が生じると予想されます。Bonferroni補正またはFDR補正を適用してください。
• 検定前に仮定を確認してください：t検定では正規性と等分散性が仮定されます。仮定に違反すると、結果の妥当性が失われます。仮定が成り立たない場合は、ノンパラメトリック検定を使用してください。
• サンプルサイズが検出力を左右します：サンプルが少ないと、真の効果を見逃す可能性があります（第II種の誤り）。データを収集する前に、必要なサンプルサイズを計算してください。
• p値はH₀が正しい確率ではありません：H₀を前提とした場合にデータが得られる確率です。この2つは根本的に異なります（ベースレートの誤謬）。

参考資料

• サンプルサイズの計算については、references/sample-size.mdを参照してください
• ノンパラメトリック検定の代替手法については、references/nonparametric-tests.mdを参照してください