gaia-submission

GAIA 提出スキル

クリーンな環境から、Princeton GAIA リーダーボードにアップロードできる、署名済みの HAL 互換提出パッケージを作成するまでのすべての手順を、Claude Code に案内します。

使用する場面

ユーザーが次のことを希望している場合：

• ベンチマークを実行し、HAL リーダーボードに結果を提出する
• 既存の結果ファイルを提出アーカイブにパッケージ化する
• ベンチマーク実行の準備が環境で整っているか確認する

前提条件

開始する前に、以下が利用可能であることを確認します。

要件	確認方法
ANTHROPIC_API_KEY	echo ${ANTHROPIC_API_KEY:0:8}…（sk-ant-… が表示されるはずです）
HF_TOKEN	echo ${HF_TOKEN:0:5}…（hf_… が表示されるはずです）
Node.js 20+	node --version
CLI のビルド済み	node v3/@claude-flow/cli/bin/cli.js --version

フェーズ 1 — 環境を検証する

# Run all pre-flight checks
/gaia validate

いずれかの確認に失敗した場合は、続行する前に問題を解決します。

フェーズ 2 — コストを見積もって確認する

ユーザーに設定を尋ねます。

• レベル（デフォルト：1）
• 質問数の上限（デフォルト：クイック実行では 53、L1 セット全体では 165）
• モデル（デフォルト：claude-sonnet-4-6）
• 自己整合性投票（デフォルト：1。L2/L3 では 3 を使用）

/gaia cost --level=$LEVEL --limit=$LIMIT --models=$MODELS --voting=$VOTING

予測コストが 5 ドルを超える場合は、見積もりを表示して、次のように尋ねます：「今回の実行には約 $X かかります。続行しますか？（y/N）」

フェーズ 3 — ベンチマークを実行する

/gaia run --level=$LEVEL --limit=$LIMIT --models=$MODELS --voting=$VOTING

実行中は、5 問ごとに進捗が報告されます。

[12/53] 22.7% (5 passed of 22 scored) — est. remaining: $0.18

履歴の追跡に備えて、実行の概要をメモリに保存します。

npx @claude-flow/cli@latest memory store \
  --namespace gaia-runs \
  --key "run-$(date +%Y%m%d-%H%M)" \
  --value '{"level":$LEVEL,"model":"$MODEL","total":$TOTAL,"passed":$PASSED,"pass_rate":$RATE,"est_cost_usd":$COST}'

フェーズ 4 — 提出用にパッケージ化する

/gaia submit --results=~/.cache/ruflo/gaia/results-latest.json

以下が生成されます。

submission-<date>-<sha>/
├── results.jsonl        ← HAL-compatible, one JSON per line
├── trajectories.jsonl   ← full agent traces
├── metadata.json        ← harness info, model, tool catalogue
├── audit-report.json    ← ADR-167 pre-submission exploit-audit report
├── manifest.md.json     ← Ed25519-signed witness (signs audit-report.json's hash)
└── README.md            ← human summary + leaderboard comparison

整合性ゲート — 署名の前に監査を実行します（ADR-167）

RDI 後（UC Berkeley はタスクを解くことなく、8 つのエージェントベンチマークを破り、GAIA で約 98% を達成しました）、署名だけでは不十分です。署名が証明するのはバイト列が改ざんされていないことであり、スコアが正当に獲得されたことではありません。 そのため、/gaia submit は署名の前に、決定的な 0 ドルのエクスプロイト監査を実行し、CRITICAL な失敗がある場合は --allow-dirty が渡されない限り、リーダーボード用パッケージのビルドを拒否します。監査レポートは ADR-103 の修正マーカーとして証跡マニフェストに署名付きで含められるため、ruflo の GAIA 提出は、転送時の整合性とスコア獲得の正当性の両方を証明します。

ゲートによって処理がブロックされた場合は、実際の検出事項として扱います。--allow-dirty を使うのではなく、audit-report.json（回答の漏えい、作業なしでの合格、オラクルの漏えい、採点器のモンキーパッチ、データセットディレクトリ外からの解答キー読み込み、またはランナー内でのタスク内容の動的な eval/exec）を調べてください。静的ソーススキャンのグループ（answer-key-reads、dynamic-eval、judge-injection）は、現在、軌跡の計測なしで適用されます。現在のスキーマではデータを渡せない、軌跡を利用するチェックは、合格ではなく harness_gaps として報告されます（ADR-167 §7）。

フェーズ 5 — 比較して報告する

/gaia leaderboard --level=$LEVEL
/gaia history

ruflo のスコアとリーダーボードのトップ 10 との差を解釈します。必要であれば /gaia-debugging スキルを使い、主な失敗モード（ツールの不足、推論ミス、抽出バグ）を特定します。

フェーズ 6 — 学びを保存する

npx @claude-flow/cli@latest hooks post-task \
  --task-id "gaia-submission-$(date +%Y%m%d)" \
  --success true \
  --train-neural true

発見したパターンを保存します。

npx @claude-flow/cli@latest memory store \
  --namespace gaia-patterns \
  --key "submission-notes-$(date +%Y%m%d)" \
  --value "Level $LEVEL, $MODEL: $NOTES"

拡張性に関する注記

このスキルは、ベンチマークに依存しない構成を意図しています。フェーズの見出し（検証 → 見積もり → 実行 → パッケージ化 → 比較 → 学習）は、フェーズ 3〜4 の詳細を変更するだけで、SWE-bench、WebArena、HumanEval に適用できます。