bayesian-reasoning-calibration

ベイズ推論と確率の較正

目次

• ワークフロー
  • 1. 問いを定義する
  • 2. 事前の信念を確立する
  • 3. 証拠と尤度を特定する
  • 4. 事後確率を計算する
  • 5. 較正して記録する
• よくあるパターン
• ガードレール
• クイックリファレンス

基本公式： P(H|E) = P(E|H) x P(H) / P(E)。ここで、P(H) = 事前確率、P(E|H) = 尤度、P(H|E) = 事後確率です。

簡単な例：

# Should we launch Feature X?

## Prior Belief
Before beta testing: 60% chance of adoption >20%
- Base rate: Similar features get 15-25% adoption
- Our feature seems stronger than average
- Prior: 60%

## New Evidence
Beta test: 35% of users adopted (70 of 200 users)

## Likelihoods
If true adoption is >20%:
- P(seeing 35% in beta | adoption >20%) = 75% (likely to see high beta if true)

If true adoption is ≤20%:
- P(seeing 35% in beta | adoption ≤20%) = 15% (unlikely to see high beta if false)

## Bayesian Update
Posterior = (75% × 60%) / [(75% × 60%) + (15% × 40%)]
Posterior = 45% / (45% + 6%) = 88%

## Conclusion
Updated belief: 88% confident adoption will exceed 20%
Evidence strongly supports launch, but not certain.

ワークフロー

このチェックリストをコピーして、進捗を記録してください。

Bayesian Reasoning Progress:
- [ ] Step 1: Define the question
- [ ] Step 2: Establish prior beliefs
- [ ] Step 3: Identify evidence and likelihoods
- [ ] Step 4: Calculate posterior
- [ ] Step 5: Calibrate and document

ステップ 1：問いを定義する

仮説（具体的で検証可能な主張）、推定する確率、期間（結果が判明する時期）、成功基準、そしてそれが重要な理由（どの意思決定に関わるか）を明確にします。例：「製品機能は 3 か月以内に 20% を超える導入率を達成する」—これはリリースの判断に関わります。

ステップ 2：事前の信念を確立する

ベースレート（一般的な発生頻度）、参照クラス（類似した状況）、具体的な違いを用いて初期確率を設定し、その根拠とともに明示します。適切な事前確率はベースレートに基づき、違いを考慮し、不確実性を正直に反映したものであり、確信がない場合は範囲（例：40～60%）も含みます。純粋に直感だけに頼った事前確率、ベースレートの無視、根拠のない極端な値は避けてください。

ステップ 3：証拠と尤度を特定する

証拠（具体的な観察やデータ）、診断力（仮説を見分けられるか）、P(E|H)（仮説が真の場合の確率）、P(E|¬H)（仮説が偽の場合の確率）を評価し、尤度比 = P(E|H) / P(E|¬H) を計算します。LR > 10 は非常に強い証拠、3～10 は中程度、1～3 は弱い証拠、≈1 は診断力がなく、<1 は反証となる証拠です。

ステップ 4：事後確率を計算する

ベイズの定理を適用します：P(H|E) = [P(E|H) × P(H)] / P(E)。またはオッズ形式を使います：事後オッズ = 事前オッズ × 尤度比。P(E) = P(E|H)×P(H) + P(E|¬H)×P(¬H) を計算し、事後確率を求めて変化を解釈します。単純なケース → resources/template.md の計算ツールを使用します。複雑なケース（複数の仮説） → resources/methodology.md を確認します。

ステップ 5：較正して記録する

較正を確認し（自信過剰／過少ではないか）、前提を検証し（尤度は妥当か）、感度分析を行い、bayesian-reasoning-calibration.md を作成して、制約事項を記録します。resources/evaluators/rubric_bayesian_reasoning_calibration.json を使って自己チェックします。事前確率がベースレートに基づいていること、尤度に根拠があること、証拠に診断力があること（LR ≠ 1）、計算が正しいこと、事後確率が較正されていること、前提が明記されていること、感度分析が記録されていることを確認します。最低基準：スコア ≥ 3.5。

よくあるパターン

予測の場合：

• ベースレートを出発点にする
• 証拠が得られるたびに段階的に更新する
• 時間の経過とともに予測の精度を追跡する
• 予測と結果を比較して較正する

仮説検定の場合：

• 競合する仮説を明示する
• 証拠の尤度比を計算する
• 証拠の強さに比例して信念を更新する
• LR が極端な値でない限り、確実だと主張しない

リスク評価の場合：

• 複数のシナリオを検討する（二択に限らない）
• 新しいデータが得られたらリスクを更新する
• 尤度が不確かな場合は範囲を使う
• 感度分析を行う

バイアス回避の場合：

• 事前確率を明示する（証拠へのアンカリングを防ぐ）
• 参照クラスを使う（ベースレートの無視を防ぐ）
• 数学的に計算する（都合のよい推論を防ぐ）
• 結果を見る前に記録する（較正を可能にする）

ガードレール

推奨事項：

• すべての証拠を確認する前に、事前確率を明示します
• ベースレートと参照クラスを使用します
• 根拠を示して尤度を推定します
• 証拠が得られるたびに段階的に更新します
• 不確実性について正直に伝えます
• 感度分析を実施します
• 予測を記録して、較正に役立てます
• モデルの限界を認めます

禁止事項：

• 特別な根拠がないのに、極端な事前確率（1％、99％）を使います
• ベースレートを無視します（よくあるバイアスです）
• すべての証拠を同程度に診断的だと扱います
• 確実性を100％に更新します（正当化できることはほとんどありません）
• 都合のよい証拠だけを選びます
• 推論の記録を省略します
• 較正（予測と結果の比較）を忘れます
• 確率に意味がない問いに適用します

クイックリファレンス

• 標準テンプレート：resources/template.md
• 複数の仮説：resources/methodology.md
• 例：resources/examples/product-launch.md、resources/examples/medical-diagnosis.md
• 品質評価基準：resources/evaluators/rubric_bayesian_reasoning_calibration.json

ベイズの公式（オッズ形式）：

Posterior Odds = Prior Odds × Likelihood Ratio

尤度比：

LR = P(Evidence | Hypothesis True) / P(Evidence | Hypothesis False)

出力ファイル名：bayesian-reasoning-calibration.md または {topic}-forecast.md