hypothesis-and-ablation-planner

仮説とアブレーションの計画

アブレーションでは、単にコンポーネントを取り除くのではなく、説明を検証する必要があります。

手順

1. 主な実証的主張を明示します。
2. 手法を因果的なコンポーネントに分解します。
3. 各コンポーネントについて、次の項目を定義します。
   • 主張されているメカニズム
   • 最小限のアブレーション
   • 予想される変化の方向
   • 競合する説明
4. 次の要因に対する対照実験を追加します。
   • パラメーター数
   • 計算予算
   • データ漏洩／フィルタリング
   • プロンプト／テンプレートの影響
   • 前処理によるアーティファクト
   • 実装上のバイアス
5. アブレーションのセットを最小限に抑えます。
   • 冗長な実験を削除します。
   • 仮説を切り分ける実験を優先します。
6. 各アブレーションに次のラベルを付けます。
   • 必須
   • 有用
   • 任意

ルール

• すべてのアブレーションで、具体的な因果関係に関する問いに答える必要があります。
• アブレーションが過剰に増えないようにします。
• 2つの説明を切り分けられない場合は、そのことを明示します。
• 表面的なバリエーションより、解釈しやすいアブレーションを優先します。
• 仮説との関連がなければ、「ブロックを1つ取り除く」だけでは不十分です。
• 可能な限り、トレーニング予算と評価プロトコルを統制します。

出力形式

仮説	コンポーネント	アブレーション	予想される結果	統制する代替説明	優先度
...	...	...	...	...	必須 / 有用 / 任意

最終確認

表の後に、次の点を簡潔に記載します。

• どの仮説がまだ交絡しているか
• どのアブレーションが最も決定的か
• どのアブレーションが、得られる知見あたりのコストが最も低いか