mcpField
G
gaia-submission

gaia-submission

github.com/ruvnet测试与质量80.0k435 次安装今天更新
代码仓库

关于 gaia-submission

gaia-submission 是面向 Claude Code 的技能，引导用户准备 Princeton GAIA 基准测试并生成兼容 HAL 的排行榜提交包。流程涵盖环境检查、成本估算、运行、完整性审计、打包、结果比较和经验记录。

主要功能

  1. 01验证基准测试环境
  2. 02估算运行成本
  3. 03运行 GAIA 基准测试
  4. 04审计并签署提交包
  5. 05比较排行榜结果
  6. 06记录运行历史与经验

适用场景

  1. 01运行 GAIA 前检查环境
  2. 02启动基准测试前估算成本
  3. 03为 HAL 排行榜打包结果
  4. 04查看分数并留存运行经验

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/ruvnet/ruflo --skill gaia-submission

安装后在 Claude Code 中输入/gaia-submission确认已加载。

详细介绍

GAIA 提交技能

引导 Claude Code 完成从干净环境到生成已签名、兼容 HAL 的提交包的每一步，最终可将其上传到 Princeton GAIA 排行榜。

适用场景

当用户想要：

  • 运行基准测试并将结果提交到 HAL 排行榜
  • 将现有结果文件打包为提交归档
  • 确认其环境已准备好运行基准测试

前置条件

开始前，请确认以下内容均可用：

要求检查
ANTHROPIC_API_KEYecho ${ANTHROPIC_API_KEY:0:8}…（应显示 sk-ant-…）
HF_TOKENecho ${HF_TOKEN:0:5}…（应显示 hf_…）
Node.js 20+node --version
CLI 已构建node v3/@claude-flow/cli/bin/cli.js --version

阶段 1 — 验证环境

# Run all pre-flight checks
/gaia validate

如果任何检查未通过，请先解决问题再继续。

阶段 2 — 估算成本并确认

询问用户的配置：

  • 级别（默认值：1）
  • 问题数量限制（快速运行的默认值：53，完整 L1 集的默认值：165）
  • 模型（默认值：claude-sonnet-4-6）
  • 自一致性投票（默认值：1；L2/L3 使用 3）
/gaia cost --level=$LEVEL --limit=$LIMIT --models=$MODELS --voting=$VOTING

如果预计成本 > $5，请显示估算值并询问：“本次运行预计花费约 $X。是否继续？(y/N)”

阶段 3 — 运行基准测试

/gaia run --level=$LEVEL --limit=$LIMIT --models=$MODELS --voting=$VOTING

运行期间，每完成 5 道题就会报告一次进度：

[12/53] 22.7% (5 passed of 22 scored) — est. remaining: $0.18

将运行摘要存入记忆，以便追踪历史记录：

npx @claude-flow/cli@latest memory store \
  --namespace gaia-runs \
  --key "run-$(date +%Y%m%d-%H%M)" \
  --value '{"level":$LEVEL,"model":"$MODEL","total":$TOTAL,"passed":$PASSED,"pass_rate":$RATE,"est_cost_usd":$COST}'

阶段 4 — 打包提交内容

/gaia submit --results=~/.cache/ruflo/gaia/results-latest.json

这将生成：

submission-<date>-<sha>/
├── results.jsonl        ← HAL-compatible, one JSON per line
├── trajectories.jsonl   ← full agent traces
├── metadata.json        ← harness info, model, tool catalogue
├── audit-report.json    ← ADR-167 pre-submission exploit-audit report
├── manifest.md.json     ← Ed25519-signed witness (signs audit-report.json's hash)
└── README.md            ← human summary + leaderboard comparison
完整性关卡 — 签名前运行审计（ADR-167）

RDI 之后（UC Berkeley 破坏了 8 个 Agent 基准测试——将 GAIA 的分数提升到约 98%——却并未解决任务），仅有签名还不够：它能证明字节未遭篡改，却不能证明分数是通过实际作答取得的。 因此，/gaia submit 会在签名前运行一次确定性的、成本为 $0 的漏洞审计，并且除非传入 --allow-dirty，否则在审计出现 CRITICAL 级失败时拒绝构建排行榜提交包。审计报告会作为 ADR-103 修复标记签入见证清单，因此 ruflo GAIA 提交能同时证明传输完整性和成绩取得的完整性。

如果关卡阻止了提交，请将其视为真实发现——检查 audit-report.json （答案泄漏、未执行任何工作却通过、预言机泄漏、评分器猴子补丁、在数据集目录之外读取答案键，或运行器对任务内容进行动态 eval/exec），而不是直接尝试使用 --allow-dirty。静态源代码扫描类别（answer-key-reads、dynamic-eval、judge-injection）目前无需轨迹检测即可进行检查；当前架构无法支持的轨迹输入检查会报告为 harness_gap（ADR-167 §7），而不会被视为通过。

阶段 5 — 比较并报告

/gaia leaderboard --level=$LEVEL
/gaia history

分析 ruflo 的分数与排行榜前 10 名之间的差距。必要时使用 /gaia-debugging 技能，确定主要失败模式（工具缺口、推理失误、提取错误）。

阶段 6 — 留存经验

npx @claude-flow/cli@latest hooks post-task \
  --task-id "gaia-submission-$(date +%Y%m%d)" \
  --success true \
  --train-neural true

记录发现的模式：

npx @claude-flow/cli@latest memory store \
  --namespace gaia-patterns \
  --key "submission-notes-$(date +%Y%m%d)" \
  --value "Level $LEVEL, $MODEL: $NOTES"

可扩展性说明

此技能有意设计为与基准测试无关。各阶段标题（验证 → 估算 → 运行 → 打包 → 比较 → 总结经验）适用于 SWE-bench、WebArena 和 HumanEval，只需调整阶段 3–4 的具体内容。

评论

支持 Markdown