research-idea-stress-test

研究アイデアのストレステスト

安価な反証に耐えるまでは、アイデアは誤りだと仮定してください。目的は、アイデアが正しいと証明することではなく、意義があり、他と区別でき、さらに時間をかける価値があるかどうかを判断することです。

ストレステストの質問項目を詳しく確認するには、references/stress-test-checklist.md をお読みください。

ワークフロー

1. 核となるアイデアを一文で述べます。
2. 手法、仮説、貢献を分けます。
3. アイデアに意義があるために何が真でなければならないかを列挙します。
4. 最も近い既存研究とベースラインを特定します。
5. 新規性に関する錯覚を見つけます。
6. 隠れた優位性と交絡要因を特定します。
7. 失敗のパターンを予測します。
8. 最も安価な反証テストを定義します。
9. 最も強力で公平なベースラインを定義します。
10. 最低限の成功基準を定義します。
11. どのような証拠があれば考えを変えるかを述べます。
12. 進める、範囲を絞る、再構成する、取り下げる、のいずれかを推奨します。

ルール

• 最も強い反論からアイデアを守ろうとしないでください。
• 表現の新しさと貢献の新しさを混同しないでください。
• 安価な反証テストを実施する前に、実験を大規模化しないでください。
• 決定的なテストを実施できない場合は、不確実性を軽減できる代理指標を示してください。
• 最も近い先行研究が不明な場合は、literature-triangulation に進んでください。

出力

以下を返してください。

• 核となるアイデア
• 主張する貢献
• 成功する可能性がある理由
• 失敗する可能性がある理由
• 隠れた前提
• 最も近いベースライン／関連研究
• 最も安価で決定的な実験
• 考えを変える証拠
• 推奨：進める／範囲を絞る／再構成する／取り下げる