predictor-hand-skill

预测专家知识

超级预测原则

基于 Philip Tetlock 和 Good Judgment Project 的研究：

1. 筛选：关注那些足够有难度、因而有趣，但又不至于难到无法预测的问题
2. 拆解问题：将大问题分解为更小、可研究的子问题（费米估算）
3. 兼顾内部视角和外部视角：既使用具体证据，也参考对照组的基础比率
4. 逐步更新：随着新证据出现，以小幅调整预测（贝叶斯更新）
5. 寻找相互冲突的力量：找出推动方向相反的因素
6. 区分信号与噪声：根据信号的可靠性和相关性来衡量其权重
7. 校准：你的 70% 概率预测，实际应有约 70% 的概率成真
8. 事后分析：分析预测出错的原因，而不只是庆祝正确的预测
9. 避免陷入叙事陷阱：引人入胜的故事，不等于可能发生的结果
10. 协作：汇集来自不同视角的观点

---

信号分类

信号类型

类型	描述	权重	示例
领先指标	预测未来走势	高	招聘信息激增 → 公司正在扩张
滞后指标	确认过去的走势	中	季度收益 → 企业健康状况
基础比率	历史频率	高	“80% 的初创公司会在 5 年内倒闭”
专家观点	基于专业知识的预测	中	分析师预测、CEO 声明
数据点	事实性度量	高	收入数字、用户数量、基准测试结果
异常	偏离既有模式	高	异常交易量、突然冻结招聘
结构性变化	系统性转变	非常高	新法规、技术突破
情绪转变	群体情绪变化	中	媒体基调变化、社交媒体趋势

信号强度评估

STRONG signal (high predictive value):
  - Multiple independent sources confirm
  - Quantitative data (not just opinions)
  - Leading indicator with historical track record
  - Structural change with clear causal mechanism

MODERATE signal (some predictive value):
  - Single authoritative source
  - Expert opinion from domain specialist
  - Historical pattern that may or may not repeat
  - Lagging indicator (confirms direction)

WEAK signal (limited predictive value):
  - Social media buzz without substance
  - Single anecdote or case study
  - Rumor or unconfirmed report
  - Opinion from non-specialist

---

信心校准

概率尺度

95% — Almost certain (would bet 19:1)
90% — Very likely (would bet 9:1)
80% — Likely (would bet 4:1)
70% — Probable (would bet 7:3)
60% — Slightly more likely than not
50% — Toss-up (genuine uncertainty)
40% — Slightly less likely than not
30% — Unlikely (but plausible)
20% — Very unlikely (but possible)
10% — Extremely unlikely
5%  — Almost impossible (but not zero)

校准规则

1. 绝不使用 0% 或 100%——没有什么是绝对确定的
2. 如果你尚未进行研究，默认采用基础比率（外部视角）
3. 初始估计应采用对照组的基础比率
4. 根据具体证据，从基础比率出发进行调整（内部视角）
5. 典型调整幅度：每个强信号 ±5-15%，每个中等信号 ±2-5%
6. 如果你的直觉认为概率是 80%，但分析得出的概率是 55%，就相信分析

布里尔分数

衡量预测准确度的黄金标准：

Brier Score = (predicted_probability - actual_outcome)^2

actual_outcome = 1 if prediction came true, 0 if not

Perfect score: 0.0 (you're always right with perfect confidence)
Coin flip: 0.25 (saying 50% on everything)
Terrible: 1.0 (100% confident, always wrong)

Good forecaster: < 0.15
Average forecaster: 0.20-0.30
Bad forecaster: > 0.35

---

特定领域的信息来源指南

技术预测

来源类型	示例	用途
产品路线图	GitHub issues、发布说明、博客文章	功能预测
采用数据	Stack Overflow 调查、NPM 下载量、DB-Engines	技术趋势
融资数据	Crunchbase、PitchBook、TechCrunch	初创公司成败
专利申请	Google Patents、USPTO	创新方向
招聘信息	LinkedIn、Indeed、Levels.fyi	技术需求
基准测试数据	TechEmpower、MLPerf、Geekbench	性能趋势

金融预测

来源类型	示例	用途
经济数据	FRED、BLS、Census	宏观趋势
收益	SEC 文件、财报电话会议	公司业绩
分析师报告	Bloomberg、Reuters、S&P	市场共识
央行	Fed 会议纪要、ECB 声明	利率、政策
大宗商品数据	EIA、OPEC 报告	能源／大宗商品价格
情绪	VIX、看跌／看涨期权比率、AAII 调查	市场情绪

地缘政治预测

来源类型	示例	用途
官方来源	政府声明、联合国报告	政策方向
智库	RAND、Brookings、Chatham House	分析
选举数据	民意调查、选民登记、538	选举结果
贸易数据	WTO、海关数据、贸易差额	贸易政策
军事数据	SIPRI、国防预算、军事部署	冲突风险
外交信号	召回大使、制裁、条约	双边关系

气候预测

来源类型	示例	用途
科学数据	IPCC、NASA、NOAA	气候趋势
能源数据	IEA、EIA、IRENA	能源转型
政策数据	COP 协议、国家计划	监管
企业数据	CDP 披露、可持续发展报告	企业行动
技术数据	BloombergNEF、专利申请	清洁技术趋势
投资数据	绿色债券发行、ESG 资金流	资本配置

---

推理链构建

模板

PREDICTION: [Specific, falsifiable claim]

1. REFERENCE CLASS (Outside View)
   Base rate: [What % of similar events occur?]
   Reference examples: [3-5 historical analogues]

2. SPECIFIC EVIDENCE (Inside View)
   Signals FOR (+):
   a. [Signal] — strength: [strong/moderate/weak] — adjustment: +X%
   b. [Signal] — strength: [strong/moderate/weak] — adjustment: +X%

   Signals AGAINST (-):
   a. [Signal] — strength: [strong/moderate/weak] — adjustment: -X%
   b. [Signal] — strength: [strong/moderate/weak] — adjustment: -X%

3. SYNTHESIS
   Starting probability (base rate): X%
   Net adjustment: +/-Y%
   Final probability: Z%

4. KEY ASSUMPTIONS
   - [Assumption 1]: If wrong, probability shifts to [W%]
   - [Assumption 2]: If wrong, probability shifts to [V%]

5. RESOLUTION
   Date: [When can this be resolved?]
   Criteria: [Exactly how to determine if correct]
   Data source: [Where to check the outcome]

---

预测追踪与评分

预测台账格式

{
  "id": "pred_001",
  "created": "2025-01-15",
  "prediction": "OpenAI will release GPT-5 before July 2025",
  "confidence": 0.65,
  "domain": "tech",
  "time_horizon": "2025-07-01",
  "reasoning_chain": "...",
  "key_signals": ["leaked roadmap", "compute scaling", "hiring patterns"],
  "status": "active|resolved|expired",
  "resolution": {
    "date": "2025-06-30",
    "outcome": true,
    "evidence": "Released June 15, 2025",
    "brier_score": 0.1225
  },
  "updates": [
    {"date": "2025-03-01", "new_confidence": 0.75, "reason": "New evidence: leaked demo"}
  ]
}

准确度报告模板

ACCURACY DASHBOARD
==================
Total predictions:     N
Resolved predictions:  N (N correct, N incorrect, N partial)
Active predictions:    N
Expired (unresolvable):N

Overall accuracy:      X%
Brier score:           0.XX

Calibration:
  Predicted 90%+ → Actual: X% (N predictions)
  Predicted 70-89% → Actual: X% (N predictions)
  Predicted 50-69% → Actual: X% (N predictions)
  Predicted 30-49% → Actual: X% (N predictions)
  Predicted <30% → Actual: X% (N predictions)

Strengths: [domains/types where you perform well]
Weaknesses: [domains/types where you perform poorly]

---

认知偏差检查清单

最终确定任何预测之前，请检查是否存在以下偏差：

1. 锚定效应：我是否固守最先看到的数字？

   • 解决方法：查看具体证据之前，先刻意考虑基准率

2. 可得性偏差：我是否过度看重近期或令人印象深刻的事件？

   • 解决方法：查看实际发生频率，而不只是脑海中浮现的内容

3. 确认偏差：我是否只寻找支持预测的证据？

   • 解决方法：主动搜索相反证据（尽可能公允地阐述对立观点）

4. 叙事偏差：我是否因为某个预测能编成精彩故事而选择它？

   • 解决方法：平淡的预测往往更准确

5. 过度自信：我是否过于确信？

   • 解决方法：如果你从未在这个置信度下判断错误，那你很可能过度自信

6. 范围不敏感：我是否把截然不同的规模一概而论？

   • 解决方法：明确具体数量级和时间范围

7. 近因偏差：我是否过度外推近期趋势？

   • 解决方法：查看更长的时间范围和均值回归模式

8. 现状偏差：我是否默认“不会有任何变化”？

   • 解决方法：考虑可能打破现状的结构性变化

逆向思考模式

启用后，对每项共识预测：

1. 确定共识观点是什么
2. 搜寻共识可能错误的证据
3. 思考：“要让相反的情况发生，必须满足什么条件？”
4. 如果存在可信的逆向证据，则加入逆向预测
5. 始终清楚标注逆向预测，并附上共识观点以供比较