benchmark-and-baseline-selector

ベンチマークとベースラインの選定

ユーザーが手法、主張、または結果を提案したら、その主張に信頼性を持たせるための最小限のベースラインとベンチマークのセットに加え、主張を強固にするための補完的なセットを提示します。

成果物は常に、単一のリストではなく、次の2段階の比較計画です。

• 最小限 — 必須です。ここで手法が同等か劣る場合、主張は成り立ちません。これらを省くと、投稿の即時却下や「ベースラインが不足している」という査読を招きます。
• 推奨 — 補完的です。外的妥当性（規模、転移、頑健性）を高めますが、中心的な主張の判断を左右するものではありません。

ベースラインやベンチマークは、結論を変え得る場合にのみ採用します。手法が明らかに勝つだけの飾りのような比較は、ノイズです。

---

手順

0. コンテキストの確認 — 推薦の前に必ず確認

**情報が不足したプロンプトから計画を作成してはいけません。**まず、会話に以下のコンテキストが含まれているかを確認します。提示されている情報を取り出し、必須の情報が不足している場合は、ユーザーに尋ねます。推測したり、質問をためらったりしてはいけません。不適切な現行手法や、帰属先が明確でない自己アブレーションは計画全体を誤解を招くものにするため、まず尋ねるほうが常に低コストです。

必須 — 不足している場合は質問すること：

• 正確な主張 — どの参照先と比較して、どの条件下で、どのような特性を主張するのか。曖昧なアイデアしか示されていない場合は、反証可能な形で述べるようユーザーに求めます。
• 分野／タスク／ドメイン — これがなければ、「強力な現行手法」と「最も近い先行手法」は特定できません。
• 新規性 — どの要素が貢献なのか。自己アブレーションのベースラインを定義します。
• 評価指標 — その主張を分野で報告する際に用いる指標です。明示されていない場合は、主張の種類から推定し、仮定を明示します。

あると役立つ情報 — 入手できれば確認し、なければ仮定を明示すること：

• 投稿先の会議・ジャーナル／対象読者（「最小限」の厳しさを調整します）。
• 計算資源／データ／時間の予算（「最小限」を実行可能な範囲に保ち、コストの高い比較は「推奨」に回します）。
• すでに実施したベースライン／ベンチマーク。
• データの入手可能性と汚染リスク。
• 現在のSOTAの数値／先行研究 — このスキルにはあらかじめ用意されたベンチマーク一覧がないため、現在の現行手法は会話、ユーザー、または文献調査から特定する必要があります。古いベースラインを挙げないよう、最終決定の前に根拠を確認します。

必須の質問は、簡潔にまとめて一度に尋ねます。回答を得た後（または仮定を記録した後）に、先へ進みます。置かざるを得なかった仮定は、すべて最終出力で明示し、見落とされる形にしてはいけません。

1. 主張を言い換え、分類する

ユーザーの提案を、次の形式で反証可能な主張として書き直します。 「[手法]は、[条件]下で[参照先]と比較して[特性]を達成し、[指標]で測定します。」

次に、主張の種類を分類します。以降のすべての手順は、これによって決まります。

主張の種類	統制／実証すべきこと
精度／SOTA	同じ予算とプロトコルの下で、現在の強力な現行手法を上回ること
効率（計算量／パラメーター数／レイテンシー／コスト）	より低いコストで品質を維持する、または同じコストで品質を高めること — コスト軸が必要
サンプル効率	データが限られた状況で優れていること — 学習曲線／データ予算のプロトコルが必要
汎化／転移	調整に用いたものとは異なる分布、ドメイン、またはタスクでも成り立つこと
頑健性	分布シフト、ノイズ、敵対的条件、またはロングテール条件下でも成り立つこと
メカニズム（「なぜ機能するのか」）	利得が交絡要因ではなく、主張する構成要素に由来すること — 自己アブレーションが必要

提案に複数の主張が含まれる場合（例：「より高速で、かつより高精度」）、各個別の主張にそれぞれ独自の最小限のセットを割り当てます。

2. ベースラインの分類を構築する

主張を裏付けるために、関連するすべての項目を必ず含めてください。下限または自己アブレーションが欠けていることは、査読者から最もよく指摘される問題です。

• 自明な下限 — ランダム／多数派／何もしない／最も単純なヒューリスティックです。タスクと指標が退化しておらず、手法が最低基準を満たすことを示します。
• 強力な既存手法 — 実務者がすでに使っている、明白な手法です（十分に調整されており、藁人形ではありません）。弱いベースラインに勝っても、何の証明にもなりません。
• 最も近い先行手法 — 直接的に競合する、公開済みの手法です。査読者が最も重視する比較対象です。
• 自己アブレーションのベースライン — 主張するコンポーネントを削除または置き換えた、自分の手法です。これにより、周辺の仕組みから 自分の 貢献を切り分けられます。

各ベースラインには、どの結論を排除するのか を一行で説明します。

3. 主張に合ったベンチマーク／データセットを選ぶ

人気ではなく、何を推論できるか を基準にベンチマークを選びます。

• 最小ベンチマーク — 主張を反証できる最小の設定と、主張の種類に合ったプロトコルを選びます（例：サンプル効率なら学習曲線、効率ならコスト軸、汎化なら OOD 分割）。適切なプロトコルを備えた、よく選ばれたベンチマーク一つのほうが、同じものを測定するベンチマーク五つより有効です。
• 推奨ベンチマーク — 別の軸を追加します。第2の領域（転移）、より大きなスケール（向上が維持されるか）、分布シフト／ロングテール分割（頑健性）、またはより難易度が高く汚染のないバリアントなどです。

強力な既存手法のスコアがすでに公開されているベンチマークを優先します。そうすれば、比較の手間が少なく、異議も唱えられにくくなります。

4. 主張に合った指標を使う

不一致があれば指摘します。たとえば、効率の主張を精度だけで報告している、最悪ケース／裾野の指標がないのに頑健性を主張している、精度でキャリブレーションを測定している、といった不一致です。主指標と、主張を明確に伝えるために必要な副指標を示します。主張がトレードオフ（品質とコスト）を含む場合は、両方の軸を併せて報告するよう求めます。

5. 最小セットと推奨セットに分ける

すべての項目に、次のテストを適用します。

この項目で手法が同点または負けた場合、中心的な主張は反証されるか？

• はい → 最小セット。
• いいえ。ただし、結論の幅を広げる → 推奨セット。

最小セットは本当に小さく保ちます。通常は、適切なプロトコルを用いた一つのベンチマークで、自明な下限、最も近い先行手法（または強力な既存手法）、自己アブレーションを含めます。

6. アンチパターンを指摘する

該当するものがあれば、明示的に指摘します。

• 弱い／古い／未調整のベースライン（藁人形）。
• ベンチマークの恣意的な選択 — 手法が勝つ分割だけを報告している。
• プロトコル／指標の不一致 — ベンチマークでは主張の種類を実際に検証できない。
• リーケージ／汚染 — 学習データとテストデータが重複している、またはベンチマークが事前学習データに含まれている。
• 予算の不均衡 — 十分に調整した手法を、十分に調整していないベースラインと比較している。
• 自己アブレーションの欠如 — 向上が主張するコンポーネントに帰属されていない。

---

出力形式

Claim (falsifiable): <one sentence>
Claim type(s): <from the table>
Primary metric: <metric>  | Secondary: <metric, if the claim needs it>

MINIMAL (necessary — claim dies if it fails here)
  Baselines:
    - <baseline>  — rules out: <what>
    - <self-ablation> — isolates: <your component>
  Benchmark(s):
    - <benchmark> + <protocol>  — can falsify: <which part of the claim>

SUGGESTED (complementary — strengthens, not decision-critical)
  Baselines:  - <stronger SOTA / extra lower bound> — adds: <inference>
  Benchmark(s): - <2nd domain / scale / shift> — adds: <axis of external validity>

Anti-patterns to avoid: <only the ones that apply>
Assumptions made: <any required context that was inferred rather than given — omit if none>

ざっと見て分かるようにまとめます。最小セットから始めてください。これが「実際に何が必要か」への答えです。推奨セットは、次の段階として提示します。

---

このスキルを使わない場合

• 実験の実施手順、対照条件、または成功基準の設計 → experiment-design。
• 一つの手法内でメカニズムを切り分ける内部アブレーション → hypothesis-and-ablation-planner。
• 適切なベンチマークが存在せず、測定方法を一から設計する必要がある場合 → experiment-design。
• 実験実施後の結果の解釈／エラー分析 → model-eval-error-analysis。
• 得られた数値の有意差検定 → statistical-testing-guide。