review-llm-annotations-and-improve-prompt

根据经复核的分歧改进指标

此流程用于开发，不用于宣称评判器已完成校准。如果目标是做出可信度或发布声明，请在已安装的情况下使用 coval-calibrate-metric。在遵守以下边界的前提下，此工作流也可独立使用。

确认组织/工作区以及一个文本评判器指标。使用当前 CLI 的 context 和 --help 查看其定义、版本、项目和已完成的人工标注。二元、分类和数值型文本评判器需要采用不同的错误分析方法；不要默默将一种类型强制转换为另一种类型。

收集实际完成的人工标签和审核者备注、机器输出的精确 ID/版本，以及相关对话记录。如果 CLI 无法证明数据完整，请对公开的 reviews API 进行分页查询。0 是有效标签；null 或 pending 表示缺失。AI 建议的标签不是人工真实标签。同一次调用有多位审核者时，需要进行裁定，而不是重复计数。标注中的 simulation_output_id 可用于识别已上传的对话；请保留来源集合，并通过与其匹配的公开 API/CLI 资源获取原始指标。

调优前，将相关调用分成训练组（提示词示例）、开发组和未触碰的测试组。只检查开发组中的分歧和一致性样本。对于二元评判器，除原始一致率外，还要包括失败检出率和通过召回率。对于数值型评判器，应在查看分数前确定容差；不要为了提高一致率而放宽容差。对于分类评判器，应展示实际混淆计数。

根据评分标准逐项核查每个分歧。人工标注或评判器都可能出错；对于有争议的人工标签，必须由领域专家裁定。切勿将“让所有人工标签都与机器一致”作为捷径。保留原始标签和备注。

根据观察到的证据，拟定最小幅度的提示词变更。保留评判标准、输出类型和已验证有效的边界。只纳入训练示例；切勿将留出的示例泄漏到提示词中。在寻求任何缺失的更新授权之前，先展示新旧提示词及受影响的失败模式。优先创建独立的候选指标，以保持生产默认设置和历史对比不变。

在获得授权后，使用有界的 coval --agent metrics test <candidate-id> --simulation-output-ids <ids> 请求，对现有输出评分。检查每项响应，并使用 simulated-conversations metric-detail <simulation-id> <output-ulid> 或 GET /v1/conversations/simulated/{simulation_id}/metrics/{metric_output_id} 轮询每个返回的 metric_output_ulid。API 会公开 explanation；不要打印凭据，也不要使用虚构的嵌套 outputs 路由。按照约定的指标预算统计重新评分次数；遇到不明确之处时应停止，不要重复入队。

报告开发阶段的变更和剩余错误。在未触碰的人工标注组上进行一次测量之前，先冻结候选指标。没有这类证据时，应表述为“候选提示词在开发示例上有所改进”，而不是“评判器已验证”。不得自动重新模拟、编辑人工标签、附加默认指标或发送通知。