mcpField

frontierharness-eval

frontier-harness-eval测试与质量105 次安装

关于 frontierharness-eval

使用 Runta 运行时，基于 FrontierHarness Eval 对第三方编码 Agent 框架进行基准测试。会开通一个与被评估 GitHub 仓库绑定的干净运行时，安装 Terminal-Bench 与 DeepSWE 任务所需的 Harbor 和 Pier 栈，冻结黄金检查点，在完全相同的全新恢复环境中运行任务并将轨迹保存为证据，生成对比图并构建可分享的报告。适用于评估、基准测试、评分或比较编码 Agent 框架，或用户提到 FrontierHarness、DeepSWE、Terminal-Bench、Harbor、Pier、黄金检查点或框架轨迹时。

安装

复制下面的命令，在终端中运行。

$npx skills add https://frontier-harness-eval/eval --skill frontierharness-eval

安装后在 Claude Code 中输入/frontierharness-eval确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

isolated-evaluation-repairs.md
PROMPT.md
reference.md
smoke-tasks.txt
scripts/
build-report.mjs
calculate-cost.py
cost_accounting.py
dependency_commands.py
generate-chart.mjs
normalize-results.mjs
pricing.json
providers.sh
provision-golden-checkpoint.sh
recover-relay-observed-usage.py
restore-system-runc.sh
run-trials-shared-runtime.sh
run-trials.sh
transport.sh
trial-worker.sh
usage_details.py
website-cost.mjs

评论

支持 Markdown