bayesian-reasoning-calibration

贝叶斯推理与校准

目录

• 工作流
  • 1. 明确问题
  • 2. 确立先验信念
  • 3. 识别证据与似然
  • 4. 计算后验概率
  • 5. 校准并记录
• 常见模式
• 防护措施
• 快速参考

核心公式： P(H|E) = P(E|H) x P(H) / P(E)，其中 P(H) = 先验概率，P(E|H) = 似然，P(H|E) = 后验概率。

快速示例：

# Should we launch Feature X?

## Prior Belief
Before beta testing: 60% chance of adoption >20%
- Base rate: Similar features get 15-25% adoption
- Our feature seems stronger than average
- Prior: 60%

## New Evidence
Beta test: 35% of users adopted (70 of 200 users)

## Likelihoods
If true adoption is >20%:
- P(seeing 35% in beta | adoption >20%) = 75% (likely to see high beta if true)

If true adoption is ≤20%:
- P(seeing 35% in beta | adoption ≤20%) = 15% (unlikely to see high beta if false)

## Bayesian Update
Posterior = (75% × 60%) / [(75% × 60%) + (15% × 40%)]
Posterior = 45% / (45% + 6%) = 88%

## Conclusion
Updated belief: 88% confident adoption will exceed 20%
Evidence strongly supports launch, but not certain.

工作流

复制此清单并跟踪进度：

Bayesian Reasoning Progress:
- [ ] Step 1: Define the question
- [ ] Step 2: Establish prior beliefs
- [ ] Step 3: Identify evidence and likelihoods
- [ ] Step 4: Calculate posterior
- [ ] Step 5: Calibrate and document

步骤 1：明确问题

明确假设（具体且可检验的主张）、要估计的概率、时间范围（何时能知道结果）、成功标准，以及这件事为何重要（取决于它的决策是什么）。示例：“产品功能将在 3 个月内达到 >20% 的采用率”——这会影响是否发布的决策。

步骤 2：确立先验信念

使用基准率（总体发生频率）、参考类别（类似情况）、具体差异，以及附带理由的明确概率估值，来设定初始概率。良好的先验应以基准率为依据，考虑差异，诚实面对不确定性，并在不确定时给出范围（例如 40-60%）。避免纯粹凭直觉设定先验、忽视基准率，或在没有理由的情况下使用极端值。

步骤 3：识别证据与似然

评估证据（具体观察或数据）、诊断能力（能否区分不同假设？）、P(E|H)（假设为真时的概率）、P(E|¬H)（假设为假时的概率），并计算似然比 = P(E|H) / P(E|¬H)。LR > 10 = 极强证据，3-10 = 中等证据，1-3 = 弱证据，≈1 = 无诊断价值，<1 = 反面证据。

步骤 4：计算后验概率

应用贝叶斯定理：P(H|E) = [P(E|H) × P(H)] / P(E)，或使用赔率形式：后验赔率 = 先验赔率 × 似然比。计算 P(E) = P(E|H)×P(H) + P(E|¬H)×P(¬H)，求得后验概率，并解读变化。对于简单情况 → 使用 resources/template.md 计算器。对于复杂情况（多个假设）→ 研读 resources/methodology.md。

步骤 5：校准并记录

检查校准情况（是否过度自信或信心不足？），验证假设（似然是否合理？），进行敏感性分析，创建 bayesian-reasoning-calibration.md，并记录局限性。使用 resources/evaluators/rubric_bayesian_reasoning_calibration.json 进行自检：确认先验基于基准率、似然有合理依据、证据具有诊断价值（LR ≠ 1）、计算正确、后验经过校准、假设已说明、已记录敏感性。最低标准：得分 ≥ 3.5。

常见模式

用于预测：

• 使用基准率作为起点
• 随着证据出现逐步更新
• 长期跟踪预测准确性
• 将预测与结果进行比较来校准

用于假设检验：

• 明确陈述相互竞争的假设
• 计算证据的似然比
• 根据证据强度按比例更新信念
• 除非 LR 极高，否则不要声称确定无疑

用于风险评估：

• 考虑多种情景（而非仅限二元情景）
• 随着新数据出现更新风险
• 对似然不确定时使用范围
• 进行敏感性分析

用于避免偏差：

• 强制明确先验（避免锚定于证据）
• 使用参考类别（避免忽视基准率）
• 进行数学计算（避免动机性推理）
• 在看到结果前记录（便于校准）

使用守则

应该：

• 在查看所有证据之前，明确说明先验概率
• 使用基准率和参考类别
• 给出有依据的似然估计
• 随证据不断出现逐步更新
• 如实说明不确定性
• 进行敏感性分析
• 跟踪预测以校准准确性
• 承认模型的局限性

不应该：

• 没有特殊理由时使用极端先验概率（1%、99%）
• 忽视基准率（常见偏差）
• 将所有证据都视为具有同等诊断价值
• 更新到 100% 确定性（几乎从无正当理由）
• 选择性引用证据
• 跳过推理过程的记录
• 忘记校准（将预测与结果进行比较）
• 将此方法用于概率没有意义的问题

快速参考

• 标准模板：resources/template.md
• 多个假设：resources/methodology.md
• 示例：resources/examples/product-launch.md、resources/examples/medical-diagnosis.md
• 质量评估标准：resources/evaluators/rubric_bayesian_reasoning_calibration.json

贝叶斯公式（赔率形式）：

Posterior Odds = Prior Odds × Likelihood Ratio

似然比：

LR = P(Evidence | Hypothesis True) / P(Evidence | Hypothesis False)

输出命名：bayesian-reasoning-calibration.md 或 {topic}-forecast.md