predictor-hand-skill

予測の専門知識

スーパーフォーキャスティングの原則

Philip Tetlock と Good Judgment Project の研究に基づいています。

1. トリアージ：興味を引く程度に難しいものの、予測不可能なほど難しくはない問いに注力します
2. 問題を分解する：大きな問いを、調査可能な小さな問いに分解します（フェルミ推定）
3. 内側の視点と外側の視点のバランスを取る：具体的な証拠と、参照クラスのベースレートの両方を使います
4. 段階的に更新する：新たな証拠が得られたら、小さな幅で予測を調整します（ベイズ更新）
5. 相反する力を探す：互いに逆方向へ働く要因を特定します
6. シグナルとノイズを区別する：シグナルの信頼性と関連性に応じて重み付けします
7. 較正する：70％の確率で予測した事象は、約70％の割合で実現するはずです
8. 事後分析する：的中した予測を称賛するだけでなく、予測が外れた理由を分析します
9. 物語の罠を避ける：説得力のある物語が、起こりやすい結果と同じとは限りません
10. 協力する：多様な視点から得た見解を集約します

---

シグナルの分類

シグナルの種類

種類	説明	重み	例
先行指標	将来の動きを予測します	高	求人掲載が急増 → 企業が事業を拡大中
遅行指標	過去の動きを裏付けます	中	四半期決算 → 事業の健全性
ベースレート	過去における発生頻度です	高	「スタートアップの80％は5年以内に失敗する」
専門家の見解	情報に基づく予測です	中	アナリストの予測、CEO の発言
データポイント	事実に基づく測定値です	高	売上高、ユーザー数、ベンチマーク
異常値	パターンからの逸脱です	高	異常な取引量、突然の採用凍結
構造的変化	システム全体に及ぶ変化です	非常に高	新たな規制、技術的ブレークスルー
センチメントの変化	集団的なムードの変化です	中	メディアの論調の変化、ソーシャルメディアのトレンド

シグナルの強さの評価

STRONG signal (high predictive value):
  - Multiple independent sources confirm
  - Quantitative data (not just opinions)
  - Leading indicator with historical track record
  - Structural change with clear causal mechanism

MODERATE signal (some predictive value):
  - Single authoritative source
  - Expert opinion from domain specialist
  - Historical pattern that may or may not repeat
  - Lagging indicator (confirms direction)

WEAK signal (limited predictive value):
  - Social media buzz without substance
  - Single anecdote or case study
  - Rumor or unconfirmed report
  - Opinion from non-specialist

---

確信度の較正

確率の尺度

95% — Almost certain (would bet 19:1)
90% — Very likely (would bet 9:1)
80% — Likely (would bet 4:1)
70% — Probable (would bet 7:3)
60% — Slightly more likely than not
50% — Toss-up (genuine uncertainty)
40% — Slightly less likely than not
30% — Unlikely (but plausible)
20% — Very unlikely (but possible)
10% — Extremely unlikely
5%  — Almost impossible (but not zero)

較正のルール

1. 0％や100％は決して使いません。絶対に確実なことはありません
2. 調査していない場合は、ベースレート（外側の視点）を初期値にします
3. 最初の推定値には、参照クラスのベースレートを使います
4. 具体的な証拠（内側の視点）を用いて、ベースレートから調整します
5. 典型的な調整幅：強いシグナルごとに±5～15％、中程度のシグナルごとに±2～5％
6. 直感では80％でも、分析では55％なら、分析を信頼します

ブライアスコア

予測精度を測定するためのゴールドスタンダードです。

Brier Score = (predicted_probability - actual_outcome)^2

actual_outcome = 1 if prediction came true, 0 if not

Perfect score: 0.0 (you're always right with perfect confidence)
Coin flip: 0.25 (saying 50% on everything)
Terrible: 1.0 (100% confident, always wrong)

Good forecaster: < 0.15
Average forecaster: 0.20-0.30
Bad forecaster: > 0.35

---

分野別の情報源ガイド

テクノロジーの予測

情報源の種類	例	用途
製品ロードマップ	GitHub issues、リリースノート、ブログ記事	機能の予測
導入データ	Stack Overflow の調査、NPM のダウンロード数、DB-Engines	テクノロジーのトレンド
資金調達データ	Crunchbase、PitchBook、TechCrunch	スタートアップの成功・失敗
特許出願	Google Patents、USPTO	イノベーションの方向性
求人掲載	LinkedIn、Indeed、Levels.fyi	テクノロジーの需要
ベンチマークデータ	TechEmpower、MLPerf、Geekbench	パフォーマンスのトレンド

金融の予測

情報源の種類	例	用途
経済データ	FRED、BLS、Census	マクロトレンド
決算	SEC への提出書類、決算説明会	企業の業績
アナリストレポート	Bloomberg、Reuters、S&P	市場コンセンサス
中央銀行	Fed の議事録、ECB の声明	金利、政策
コモディティデータ	EIA、OPEC のレポート	エネルギー・コモディティ価格
センチメント	VIX、プット・コール・レシオ、AAII の調査	市場のムード

地政学予測

情報源の種類	例	用途
公式情報源	政府声明、国連の報告書	政策の方向性
シンクタンク	RAND、Brookings、Chatham House	分析
選挙データ	世論調査、有権者登録、538	選挙結果
貿易データ	WTO、税関データ、貿易収支	貿易政策
軍事データ	SIPRI、防衛予算、部隊の展開	紛争リスク
外交上のシグナル	大使の召還、制裁、条約	関係

気候予測

情報源の種類	例	用途
科学データ	IPCC、NASA、NOAA	気候の動向
エネルギーデータ	IEA、EIA、IRENA	エネルギー転換
政策データ	COP 合意、各国の計画	規制
企業データ	CDP の開示情報、サステナビリティ報告書	企業の取り組み
技術データ	BloombergNEF、特許出願	クリーンテックの動向
投資データ	グリーンボンドの発行、ESG 資金の流れ	資本配分

---

推論チェーンの構築

テンプレート

PREDICTION: [Specific, falsifiable claim]

1. REFERENCE CLASS (Outside View)
   Base rate: [What % of similar events occur?]
   Reference examples: [3-5 historical analogues]

2. SPECIFIC EVIDENCE (Inside View)
   Signals FOR (+):
   a. [Signal] — strength: [strong/moderate/weak] — adjustment: +X%
   b. [Signal] — strength: [strong/moderate/weak] — adjustment: +X%

   Signals AGAINST (-):
   a. [Signal] — strength: [strong/moderate/weak] — adjustment: -X%
   b. [Signal] — strength: [strong/moderate/weak] — adjustment: -X%

3. SYNTHESIS
   Starting probability (base rate): X%
   Net adjustment: +/-Y%
   Final probability: Z%

4. KEY ASSUMPTIONS
   - [Assumption 1]: If wrong, probability shifts to [W%]
   - [Assumption 2]: If wrong, probability shifts to [V%]

5. RESOLUTION
   Date: [When can this be resolved?]
   Criteria: [Exactly how to determine if correct]
   Data source: [Where to check the outcome]

---

予測の追跡と採点

予測台帳の形式

{
  "id": "pred_001",
  "created": "2025-01-15",
  "prediction": "OpenAI will release GPT-5 before July 2025",
  "confidence": 0.65,
  "domain": "tech",
  "time_horizon": "2025-07-01",
  "reasoning_chain": "...",
  "key_signals": ["leaked roadmap", "compute scaling", "hiring patterns"],
  "status": "active|resolved|expired",
  "resolution": {
    "date": "2025-06-30",
    "outcome": true,
    "evidence": "Released June 15, 2025",
    "brier_score": 0.1225
  },
  "updates": [
    {"date": "2025-03-01", "new_confidence": 0.75, "reason": "New evidence: leaked demo"}
  ]
}

正確性レポートのテンプレート

ACCURACY DASHBOARD
==================
Total predictions:     N
Resolved predictions:  N (N correct, N incorrect, N partial)
Active predictions:    N
Expired (unresolvable):N

Overall accuracy:      X%
Brier score:           0.XX

Calibration:
  Predicted 90%+ → Actual: X% (N predictions)
  Predicted 70-89% → Actual: X% (N predictions)
  Predicted 50-69% → Actual: X% (N predictions)
  Predicted 30-49% → Actual: X% (N predictions)
  Predicted <30% → Actual: X% (N predictions)

Strengths: [domains/types where you perform well]
Weaknesses: [domains/types where you perform poorly]

---

認知バイアスのチェックリスト

予測を確定する前に、次のバイアスがないか確認してください。

1. アンカリング：最初に目にした数値に固執していませんか？

   • 対策：具体的な証拠を見る前に、意識してベースレートを検討します

2. 利用可能性バイアス：最近の出来事や印象に残る出来事を過大評価していませんか？

   • 対策：思い浮かぶ内容だけでなく、実際の頻度を確認します

3. 確証バイアス：自分の予測を裏付ける証拠だけを探していませんか？

   • 対策：反証となる証拠を積極的に探します（反対意見を最も強い形で検討します）

4. 物語バイアス：よくできたストーリーになるという理由で予測を選んでいませんか？

   • 対策：ありふれた予測のほうが正確なことがよくあります

5. 過信：確信しすぎていませんか？

   • 対策：この確信度で一度も間違えたことがないなら、おそらく過信しています

6. スコープ非感応性：大きく異なる規模を同じように扱っていませんか？

   • 対策：規模と期間を具体的に示します

7. 近時性バイアス：最近の傾向を過度に先まで当てはめていませんか？

   • 対策：より長い期間と平均回帰のパターンを確認します

8. 現状維持バイアス：「何も変わらない」と決めつけていませんか？

   • 対策：現状を覆す可能性のある構造的変化を検討します

逆張りモード

有効にした場合、コンセンサス予測ごとに次のことを行います。

1. コンセンサスとなっている見解を特定します
2. コンセンサスが誤っていることを示す証拠を探します
3. 「逆のことが起きるには、何が真実である必要があるか？」を検討します
4. 信頼できる逆張りの証拠がある場合は、逆張り予測を含めます
5. 比較できるよう、逆張り予測にはコンセンサスとともに必ず明確なラベルを付けます