mcpField
A
add-runner-eval

add-runner-eval

github.com/paperclipai测试与质量108.3k43 次安装今天更新
代码仓库

关于 add-runner-eval

用于添加 Runner 评测的技能，评测真实 Paperclip Runner/Provider 会话与预置的模拟控制平面交互。它区分 paperclip-evals 中的用例编写和 Runner 集成，并强调确定性断言、验证及经审查的证据发布。

主要功能

  1. 01定位 Paperclip 与评测仓库
  2. 02设计有限范围用例和断言
  3. 03用例、夹具、配置与名单指引
  4. 04无 Provider 验证流程
  5. 05证据与评分校准
  6. 06公开输出及来源信息保护

适用场景

  1. 01添加 Runner 协议评测
  2. 02更新实时评测名单
  3. 03调用 Provider 前验证用例
  4. 04准备经审查的公开评测结果

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/paperclipai/paperclip --skill add-runner-eval

安装后在 Claude Code 中输入/add-runner-eval确认已加载。

详细介绍

添加 Runner 评测

此技能适用于 Runner 评测系列：与已植入数据的模拟控制平面进行真实 Runner／提供方会话。 产品浏览器／服务器／数据库／Daytona 覆盖范围属于 add-product-e2e-eval。

如果提供了 PAPERCLIP_ROOT，则据此定位 Paperclip 检出目录；否则，从检出目录运行 git rev-parse --show-toplevel。如果当前目录不属于 Git 仓库，请检查工作区根目录 （例如 ~/paperclipai/paperclip），并确认所选根目录包含 packages/paperclip-runner 和 tests/runner-e2e。 通过 PAPERCLIP_EVALS_ROOT 或发现的同级目录定位 paperclip-evals；工作树的父目录不一定包含该仓库。 阅读 doc/evals.md 和 packages/paperclip-runner/docs/runner-protocol-live-evals.md， 然后在编辑前检查最近的现有用例、名册、架构和报告测试。定义和编写的用例属于同级仓库 paperclip-evals/evals/paperclip-runner；Runner 集成、聚合、查看器和发布行为属于 packages/paperclip-runner。 在名称和文档中明确控制平面边界。

同级评测仓库的 README 是具体指南：用例位于 cases/， 公司夹具位于 fixtures/，运行时／模型设置位于 configs/， 选择集位于 rosters/，维护中的活动成员列表位于 campaigns/live-direct-full.json。 如果计划要求，请更新清单／覆盖映射；仅新增文件并不会将其加入维护中的活动。请在评测仓库根目录中， 针对修改过的用例和名册调整并运行以下无提供方检查。只有在该独立计划发生变化时，才运行可靠性计划验证器：

python3 evals/paperclip-runner/tools/eval_program.py validate \
  --case evals/paperclip-runner/cases/get-task-context.json \
  --config evals/paperclip-runner/configs/live-codex-pinned.json
python3 evals/paperclip-runner/tools/run_live_roster.py validate \
  --roster evals/paperclip-runner/rosters/live-mini.json --run-id validate-new-case
python3 evals/paperclip-runner/tools/run_live_campaign.py validate \
  --campaign evals/paperclip-runner/campaigns/live-direct-full.json
python3 evals/paperclip-runner/tools/reliability_campaign.py validate \
  --plan evals/paperclip-runner/campaigns/paperclip-runner-reliability.json

参考附近的正向和负向评分器用例／夹具来校准新断言，包括评分器必须失败关闭时的格式错误或缺失证据。 保留现有的机器处置结果和评分；产品、模型／提供方、评分和基础设施标签属于分析性注释，而不是改写分类器的指示。

编写一个范围明确的用例，其中包含确定性的语义断言和可检查的结果。声明预期操作、状态影响、提供方通道／配置、超时和重试策略，以及任何必需证据。不要评判隐藏推理，不要根据提供方的终止消息推断成功，也不要编造对话／工具证据。公开输出须遵循经审核的投影：可以发布经过净化的夹具对话和允许列表中的工具结果；不得发布原始可信产物、凭据、机密、私有引用和隐藏推理。

首先使用上述命令和 Runner 文档中记载的相关报告／渲染验证，在不调用提供方的情况下进行验证。获准进行实时运行时，固定 Paperclip 提交以及精确的 40 位 paperclip-evals 提交，选择最小且有用的名册，并保留完整的来源记录和成本记录。

当契约或命令发生变化时，更新权威的详细文档，然后在 doc/evals.md 中添加链接，而不是重复 Runner 操作手册。保持公开报告不可变并使用经审核的投影；可以公开经过净化的夹具对话和允许列表中的工具结果，但不得暴露凭据、机密、私有引用、原始可信负载和隐藏推理。

评论

支持 Markdown