add-product-e2e-eval

添加产品端到端评估

将此技能用于产品端到端评估：真实的 Chromium、Paperclip 服务、数据库、Runner、提供商，以及可选的 Daytona。即使日常工作流的打包结果被导入 Evalbook，它们仍属于此类。针对模拟控制平面的 Runner 协议用例应归入 add-runner-eval。

如果提供了 PAPERCLIP_ROOT，则使用它定位仓库；否则从检出目录运行 git rev-parse --show-toplevel。如果当前目录不在 Git 仓库中，请检查 ~/paperclipai/paperclip 等工作区根目录；确认所选根目录包含 tests/runner-e2e 和 packages/paperclip-runner。从该仓库根目录运行命令。复制的技能文件可能位于检出目录之外。 阅读 doc/evals.md，然后阅读所选区域的权威文档： tests/runner-e2e/README.md、FIXTURES.md、SECURITY.md 和 EVERYDAY-WORKFLOWS.md。进行任何更改前，请检查最接近的现有目录条目、用例、harness 流程、匹配器、证据写入器和报告测试。让用户旅程经过生产环境的浏览器/API 界面；不要添加私有 Runner 钩子或直接写入 fixture 数据库。

定义一个范围明确的工作流，包含清晰的用户结果、持久状态断言和独立证据。声明 profile、环境、预期的提供商轮次、超时、清理、截图、制品检查和计费范围。不得将凭据和密钥放入目录数据、截图、fixture 元数据、日志或受版本控制的文件中。Daytona 镜像必须使用不可变的摘要引用。应使用现有的结果验证器、失败分类器、截图策略和产品端到端报告流水线，而不要重复实现。

在 tests/runner-e2e/catalog.ts 和相关的 fixture-registry.ts 路径中注册工作流。日常用例和操作位于 everyday-cases.ts 和 everyday-flow.ts 中；应遵循现有测试套件的结构。通过现有的选择器和匹配器表关联其 profile、环境和用例 ID，并在周边测试套件有相应做法时，添加报告/目录覆盖测试。使用有效结果和合理的错误结果校准新的评分断言；缺少证据不得判定为通过。运行之前，请确认已能发现该用例：

pnpm test:e2e:runner -- --list --suite <suite-name>
pnpm test:e2e:runner -- --list --suite everyday-workflows

--all 有意排除手动运行的 everyday-workflows 套件和其他仅显式指定的单元格。对于这些用例，请使用确切的套件或执行 ID。产品端到端生成器为 pnpm test:e2e:runner:report；日常工作流结果也可以通过其规范导入器导入 Evalbook，但它仍是一次产品端到端运行，应优先使用其打包的仪表板/报告。

先运行无需凭据的检查：

pnpm test:e2e:runner:typecheck
pnpm test:e2e:runner:unit
pnpm test:e2e:runner -- --list

如需执行经授权的实时检查，请使用范围最小的显式本地 --id 选择器。只有在配置了不可变镜像和凭据时，才选择 Daytona。完整的 --all 测试活动需要付费，应仅用于受治理的工作流。根据打包的尝试证据和仪表板验证结果；模型编写的测试通过，不能推翻独立判定器的结论。

根据断言，将已完成但结果错误的工作流归类为产品行为问题，或模型/提供商行为问题。启动、传输和超时症状必须根据证据归因：它们可能表明 Paperclip/Runner 产品缺陷、提供商行为或基础设施问题。分别保留观察到的失败和原因，不要更改现有的机器评分/分类器，并保留部分尝试、重试、源 SHA、目录/定义摘要、模型/profile、环境、评分器版本、耗时、令牌数、运行时估算值和成本覆盖信息。不要根据部分/手动选择的结果宣称已通过资格验证。 当 README.md、FIXTURES.md、SECURITY.md 或 EVERYDAY-WORKFLOWS.md 中的权威约定发生变更时，请更新相应文件，并从 doc/evals.md 添加链接。请勿重新生成 Evalbook HTML，也不要发布未经处理的可信跟踪记录、视频、归档文件、数据库、工作区、凭据、SVG、提供商会话 ID 或隐藏推理。现有发布器允许时，应提供公开的脱敏固定会话、带标记的屏幕截图和列入允许名单的结构化证据。