关于 paperclip-evals
用于 Paperclip 评估选择、解读、证据、历史记录和实时运行的技能。它区分 Runner Evals 与 Product E2E Evals，并强调安全执行及保留评估证据。
主要功能
- 01区分两类评估及适用范围
- 02指导仓库与评估定义定位
- 03提供安全验证与运行流程
- 04记录评估证据和运行元数据
- 05说明结果分类与公开投影限制
适用场景
- 01选择合适的 Paperclip 评估类型
- 02解读评估结果与失败原因
- 03准备经授权的实时评估运行
安装
复制下面的命令，在终端中运行。
npx skills add https:/安装后在 Claude Code 中输入/paperclip-evals确认已加载。
详细介绍
Paperclip 评测
当请求涉及 Paperclip 评测的选择、解读、证据、历史记录或实时运行时，请使用此技能。首先阅读 Paperclip 仓库中的 doc/evals.md。该文档定义了两个类别及其边界。
查找仓库
不要假定此技能的安装位置位于某个检出目录中。请从当前目录运行 git rev-parse --show-toplevel，明确查找仓库；或者检查可能的工作区根目录，并选择包含 package.json、tests/runner-e2e 和 packages/paperclip-runner 的检出目录。仅当 Runner Eval 需要其定义时，才查找私有的同级目录 paperclip-evals；请使用显式指定的 PAPERCLIP_EVALS_ROOT，或已发现的同级检出目录。切勿臆造此副本技能到仓库的相对路径。
路由请求
若请求涉及针对模拟控制平面的真实 Runner/提供商协议行为，请选择 Runner Evals。权威详情见 packages/paperclip-runner/docs/runner-protocol-live-evals.md 和同级目录 paperclip-evals/evals/paperclip-runner 中的定义。
若请求涉及真实的浏览器/服务器/数据库/Runner/提供商工作流，包括本地和 Daytona 环境，请选择 Product E2E Evals。阅读 tests/runner-e2e/README.md，然后根据需要阅读 FIXTURES.md、SECURITY.md 或 EVERYDAY-WORKFLOWS.md。即使导入 Evalbook，Everyday Workflows 仍属于 Product E2E。“Headless”是一种浏览器模式，并非类别。
安全操作
从只读目录检查和无需凭据的验证开始。对于 Product E2E，请使用 pnpm test:e2e:runner:typecheck、pnpm test:e2e:runner:unit 和 pnpm test:e2e:runner -- --list；只有在用户已授权实时/付费运行，且所需凭据和不可变的 Daytona 镜像均已配置时，才运行一个明确指定的单元格。对于 Runner Evals，请使用固定的评测修订版本和文档说明的工作流/CLI。切勿将部分选择器用作覆盖完整性的证据。
解读任何结果时，都要附上源代码修订版本、定义/目录指纹、模型/配置文件、环境、选定的单元格、重试次数、耗时、用量/成本覆盖情况以及评分器版本。保留部分尝试，并根据观察到的故障和有依据的原因，将故障归类为产品、模型/提供商行为、评分/证据或基础设施问题。可用的已完成行为故障不属于基础设施问题；对于缺失的提供商/配置文件、传输、启动或证据问题，应先检查证据，再确定原因。
使用现有的系列生成器和查看器。公开投影可以包含经过清理的夹具对话以及允许公开的工具结果/证据；请遵循该系列的投影和发布检查。不得暴露原始可信产物、凭据、密钥、私人数据、提供商会话 ID 或隐藏推理。根据保留证据刷新内容时，提供商调用次数为零；刷新后的内容仍是原始测量结果，只是呈现方式有所变化。报告结果时，请从 doc/evals.md 链接公开历史记录和中心页面。
若要添加案例或夹具，请使用范围更具体的 add-runner-eval 或 add-product-e2e-eval 技能。