thinking-bayesian

ベイズ推論

概要

ベイズ的な考え方は、新しい証拠に基づいて信念を更新するための枠組みを提供します。信念を真偽の二択として扱うのではなく、確信度には段階があり、証拠が集まるにつれて変化すると捉えます。ベイズの定理に基づくこのアプローチは、過信や新しい情報への過小反応を避けるのに役立ちます。

基本原則： 証拠を見る前に、まずベースレートを示してから更新します。最もよくある間違いは、印象的な結果に引きずられて事前確率を無視することです。まれな疾患の検査で陽性が出ても、通常は依然として誤警報です。

リダイレクト： ほぼすべての不確実性を扱う推論タスクでは、thinking-probabilistic を優先してください。明示的な事前確率や尤度比を必要とせず、範囲を用いた予測、較正、不確実性の伝え方を扱います。このスキルは、ベイズの法則を使って組み合わせる、具体的で定量化された事前確率と特定の証拠がある場合に限って使用してください。大まかな更新後の数値だけが必要なら、以下の「ベースレート、次に尤度比」という判断基準で十分です。定理全体は使わないでください。

判断基準

検査結果、指標、新たな証拠を解釈する際、過剰反応のおそれがある場合：

1. まずベースレートを示します — 証拠が得られる前の確率はどれくらいでしたか？
2. 尤度比を推定します — 仮説が正しい場合、そうでない場合と比べて、その証拠がどれほど生じやすいですか？
3. 更新します： 事後オッズ ＝ 事前オッズ × 尤度比。

ベースレートが非常に低い（まれな状態である）場合、陽性結果は通常、依然として誤警報です。必ず事前確率から始めてください。

使用する場面

• 確率や尤度の推定
• 検査結果や指標の解釈
• 不完全な情報に基づく意思決定
• 競合する仮説の評価
• 実験や A/B テストからの学習
• 原因が不確かな問題の診断
• 過去のデータに基づく結果の予測

判断フロー：

Uncertain about something? → yes → Have prior belief? → yes → New evidence? → APPLY BAYESIAN UPDATE
                                                      ↘ no → Establish base rate first
                         ↘ no → Standard analysis may suffice

使用しない場面

• 不確実性のもとで推論しているものの、具体的な事前確率と証拠の組み合わせがありません。 代わりに thinking-probabilistic を使用してください。形式的なベイズの手法を必要とせず、範囲を用いた予測、較正、不確実性の伝え方を扱います。
• 証拠が決定的、または直接観察できます。 ログを読んだり、クエリを実行したり、答えを調べたりできる場合は、そうしてください。ほぼ確実なことを確率として装わないでください。
• 意味のある事前確率がなく、数値を作り出すことになります。 ベースレートを捏造すると、根拠があるように見せかけてしまいます。代わりに、事前確率は不明だと伝えてください。
• 妥当な事後確率のどの値でも、同じ判断になります。 確率が40％でも70％でも同じ行動を取るなら、更新を省略して行動してください。
• 単一の証拠から点推定を出すのではなく、較正された範囲で不確実性を表す必要があります。 その場合は thinking-probabilistic を使用してください。

主要な概念

事前確率

新しい証拠を見る前の信念：

P(H) = probability that hypothesis H is true

Example: Before any symptoms, what's the probability someone has disease X?
         Use base rate: If 1 in 1000 people have it, P(disease) = 0.001

尤度

仮説が正しい場合、証拠が生じる確率はどれくらいですか？

P(E|H) = probability of seeing evidence E, given H is true

Example: If someone HAS the disease, what's the probability of a positive test?
         If test is 99% sensitive: P(positive|disease) = 0.99

事後確率

証拠を見た後の信念：

P(H|E) = updated probability of H, given you observed E

This is what Bayes' Theorem calculates.

ベイズの定理

                P(E|H) × P(H)
P(H|E) = ─────────────────────────
                   P(E)

Where:
  P(H|E) = posterior (what we want)
  P(E|H) = likelihood (how expected is evidence if H true)
  P(H)   = prior (initial belief)
  P(E)   = total probability of evidence

直感的な形式

Posterior odds = Prior odds × Likelihood ratio

If evidence is 10x more likely under H than under not-H,
your odds should shift by factor of 10.

プロセス

ステップ 1：事前確率を設定する

この証拠を見る前は、何を信じていましたか？

• 利用できる場合はベースレートを使います
• 不確実性を明示します
• 確信が持てないというだけで、50％を基準にしないでください

Question: Will this feature increase conversion?
Prior: Based on similar features, ~30% succeed significantly
       P(success) = 0.30

ステップ 2：証拠を評価する

この証拠はどれほど強いですか？ 次の点を検討してください。

• 仮説が真の場合、この証拠が生じる可能性はどれくらいですか？
• 仮説が偽の場合、この証拠が生じる可能性はどれくらいですか？
• その比率はいくつですか？

Evidence: Early A/B test shows 5% lift (p=0.08)
P(this result | feature works) = 0.60 (moderately expected)
P(this result | feature doesn't work) = 0.15 (possible but less likely)
Likelihood ratio = 0.60 / 0.15 = 4x

ステップ 3：信念を更新する

尤度比を事前確率に適用します。

Prior odds: 0.30 / 0.70 = 0.43
Likelihood ratio: 4x
Posterior odds: 0.43 × 4 = 1.72
Posterior probability: 1.72 / (1 + 1.72) = 0.63

Updated belief: 63% confidence feature will succeed
(up from 30% prior)

ステップ 4：証拠が増えるたびに繰り返す

昨日の事後確率が、今日の事前確率になります。

New evidence: Week 2 shows lift holding at 4.5%
Prior (from step 3): 0.63
[Repeat update process]
New posterior: 0.78

よくある応用例

検査結果の解釈

Scenario: Test for rare disease (1 in 10,000 prevalence)
Test: 99% sensitive, 99% specific

Prior: P(disease) = 0.0001
If positive test:
  P(positive|disease) = 0.99
  P(positive|no disease) = 0.01
  P(positive) = 0.99 × 0.0001 + 0.01 × 0.9999 ≈ 0.0101

Posterior: P(disease|positive) = (0.99 × 0.0001) / 0.0101 ≈ 0.0098

Even with 99% accurate test, positive result only means ~1% chance of disease!
Base rate dominates when condition is rare.

デバッグ

Bug report: Users see error X
Prior beliefs:
  P(database issue) = 0.20
  P(network issue) = 0.30
  P(code bug) = 0.40
  P(user error) = 0.10

Evidence: Error happens only on mobile
  P(mobile-only | database) = 0.05
  P(mobile-only | network) = 0.30
  P(mobile-only | code bug) = 0.60
  P(mobile-only | user error) = 0.40

Update: Code bug becomes most likely (posterior ~0.55)
Next step: Investigate mobile-specific code paths

プロジェクトの見積もり

Prior: Based on similar projects, P(on-time) = 0.40

Evidence 1: Team is experienced with this stack
  Likelihood ratio: 1.5x → Posterior: 0.50

Evidence 2: Requirements are unclear
  Likelihood ratio: 0.6x → Posterior: 0.38

Evidence 3: Critical dependency has risk
  Likelihood ratio: 0.7x → Posterior: 0.30

Final estimate: 30% chance of on-time delivery

思考の近道

強い証拠と弱い証拠

証拠の種類	典型的な尤度比
決定的な証明	100倍以上
強い証拠	10～100倍
中程度の証拠	3～10倍
弱い証拠	1.5～3倍
ノイズ	約1倍（更新なし）

大きく更新すべき場合

次の場合は、強く更新します。

• 現在の信念に照らして、証拠が意外である
• 信頼できる情報源からの証拠である
• 証拠が自身の仮説に特有である

次の場合は、弱く更新します。

• 仮説に関係なく予想される証拠である
• 情報源の信頼性が不明である
• 証拠が状況証拠である

基準率の無視（避けるべきこと）

よくある誤り：証拠を得たときに事前確率を無視する

Wrong: "Positive test = probably have disease"
Right: "Positive test shifts probability, but base rate matters"

確信度の較正チェック

確信度は適切に較正されていますか？

予測と結果を記録します。

• 「70％の確率」と言ったことのうち、約70％が実際に起きましたか？
• いつも過信しているなら、不確実性の幅を広げます
• いつも自信がなさすぎるなら、自分の評価をもっと信頼します

確信度のレベル

表明した確信度	意味する内容
50%	コイントスと同じ
70%	2対1の賭けをする
90%	9対1の賭けをする
99%	99対1の賭けをする

検証チェックリスト

• 明示的な事前確率を設定した（単に「そう思う」ではなく）
• 証拠の尤度比を評価した
• 「可能性が高い／低い」と判断するだけでなく、数学的に更新した
• まれな事象について基準率を考慮した
• 基準率を無視していないか確認した
• 今後の較正に役立つよう、推論の根拠を記録した

重要な質問

• 「この証拠を得る前の自分の信念は何だったか？」
• 「自分の信念が正しい場合、この証拠が得られる可能性はどれくらいか？ 間違っている場合はどうか？」
• 「尤度比はいくつか？」
• 「証拠に引きずられ、基準率を無視していないか？」
• 「これに賭けるなら、どのくらいのオッズで賭けるか？」

Kahnemanの警告

「人は、記憶からどれだけ容易に思い出せるかによって、問題の相対的な重要性を判断する傾向があります。そして、これは主にメディアでどれだけ取り上げられているかによって決まります。」

印象的な証拠によって基準率を無視しないでください。飛行機事故が起きても、飛行機に乗ることが車を運転するより危険になるわけではありません。そう感じられるとしてもです。