evals-validate

evals-validate

此技能的作用

按照 EDD 原则对已实现的评估系统进行全面验证，通过统计分析、性能验证和质量保证，确保其达到生产就绪状态。

输出：

1. 统计验证 - TPR/TNR 分析、准确率指标、置信区间
2. 性能验证 - 验证评估金字塔各层级是否符合 SLA
3. 质量保证 - Goldset 完整性、示例平衡性、覆盖率分析
4. 留出数据集验证 - 在保留的测试集上进行无偏准确率评估
5. 自动移交至 /evals-analyze，进行闭环轨迹分析

应用的 EDD 核心原则：

• 原则 IV：评估金字塔 - 验证各层级性能 SLA（Tier 1 <30s，Tier 2 <5min）
• 原则 II：二元通过/失败 - 统计合规性验证
• 原则 IX：测试数据即代码 - 验证留出数据集的完整性
• 原则 III：错误分析 - 验证模式稳定性

适用场景

• 在 /evals-implement 之后：运行评估套件并衡量质量
• CI/CD 流水线关卡：发布前运行评估，确保没有回归
• 定期审计：在留出数据上验证评估器的准确率，以检查模型漂移

不适用场景

• 尚未生成评估器：先运行 /evals-implement 来构建评分器文件
• 分析失败轨迹：使用 /evals-analyze 从运行结果中提取深入见解

流程

用户输入

$ARGUMENTS

• --holdout-only — 仅在留出数据集上验证（无偏验证）
• --performance-only — 跳过统计分析，专注于 SLA 合规性
• --metrics METRICS — 要验证的特定指标（tpr、tnr、accuracy、performance）

执行步骤

阶段 1：运行评估

直接运行底层框架 CLI：

• PromptFoo：npx promptfoo eval --config evals/promptfoo/config.js
• DeepEval：pytest evals/deepeval/ -v 或 python evals/deepeval/config.py

阶段 2：计算统计验证结果

• 解析 evals/results/ 中生成的结果 JSON。
• 计算真正例率（TPR）和真负例率（TNR）。
• 计算总体准确率及其 95% 置信区间。
• 确保结果中没有泄漏李克特量表或数值评分。

阶段 3：检查 SLA 合规性

• 测量 Tier 1 和 Tier 2 的执行时间。
• 验证 Tier 1 是否在 30 秒内完成。
• 验证 Tier 2 是否在 5 分钟内完成。
• 检查余量分析（已消耗的 SLA 预算）。

阶段 4：编写验证报告

• 将验证结果写入 evals/results/validation_report.md。
• 包含通过/失败数量、TPR/TNR 表格、SLA 耗时和留出集结果。

阶段 5：自动移交

触发 /evals-analyze，完成闭环。

验证

• 成功完成评估运行，并将结果 JSON 写入 evals/results/
• 已创建 evals/results/validation_report.md，其中包含 TPR/TNR 和 SLA 指标
• 已计算统计指标及置信区间
• 已验证余量和 SLA 合规性
• 移交摘要列出结果和验证报告路径