agent-evals-and-observability

Agent 评测与可观测性

评测用于判断行为是否满足既定数据集或生产样本上的明确标准。可观测性提供轨迹、日志、指标、关联信息和诊断上下文。两者都要使用；任何一方都不能证明另一方所做的事。

工作流

1. 明确决策、风险、任务约定、轨迹约定和不可接受的结果。根据危害、可逆性和部署阶段选择证据，而不是使用逐步完善的分级尺度。
2. 在比较版本之前，创建不可变的数据集版本和清单。声明来源、权利/同意、切片、固定样例、预期副作用、污染风险、限制、保留期限和变更日志。
3. 选择能够观测所声称属性的互补评分器。对可观测的机制使用确定性检查；对状态和副作用使用执行/环境检查；在适当情况下使用人工、模型裁判、成对比较/排序、领域和安全审查。
4. 在可比条件下运行候选版本和基线。保留运行配置、会影响决策的随机重复结果、失败/超时以及轨迹证据。
5. 报告多维概况和不确定性。尽可能使用配对比较；检查切片、缺失情况、基准率、混杂因素、效应大小和多重比较。不显著并不等于等效。
6. 应用按风险分级的发布门槛：硬性安全、隐私、授权和副作用不变量不能通过平均值抵消。记录权限、证据不足的结果、回滚和后续跟进。当这些证据必须纳入制品晋级、部署、回滚或更广泛的发布列车时，加载 release-engineering。
7. 在生产环境中使用最少化、经过编辑的遥测进行监测。经过同意、转换和污染审查后，将已核实的事故和险情纳入案例。

当评测需要干预细节时，请将现有汇总计数与可选的类型化事件分开。缺少事件细节意味着未收集，而非数量为零。仅收集回答问题所需的字段，默认排除原始消息和隐藏推理，并且不要仅凭计数降低就判定成功。请参阅轨迹审查。

当已记录有依据的决策、证据缺口、剩余风险和责任人时，即可停止。如果所需证据不可用或存在冲突，应升级处理，而不是推断为通过。

按需加载

需求	加载
比较与任务相关的发现、外部产物、委派式使用或新会话中的重复出现	references/agent-interface-enrichment.md
在晋升前验证候选经验并检查是否重复出现	references/lesson-validation.md
选择评估证据和契约	references/evaluation-design.md
区分性能、诊断和重放证据；将离线指标与在线指标关联	references/evidence-modes-and-metric-mirrors.md
构建不可变案例、夹具和溯源信息	references/datasets.md
选择或校准评分器	references/graders.md
验证评审器的稳定性、弃答和升级处理	references/judge-stability.md
检查证据挑选、过度推断或有界工作流内探测	references/grounding-probes.md
提供所请求的机器可读证据，或关联多个评估产物	references/decision-audit-record.md 和 templates/decision-audit-record.json
评估有依据的主张并归因 RAG 失败	references/grounding-attribution.md
定义衡量指标或比较运行结果	references/metrics-and-statistics.md
在 Agent 中评估有界的 Choice/Score/Noul 决策模型或 GLiNER 分类器	system-one 适用于其问题契约、留出标签、存在概率时的校准以及模型级延迟；使用本技能评估 Agent 端到端任务和轨迹证据
审查工具、状态、恢复或副作用	references/trajectory-review.md
记录可选且受隐私限制的人为干预详情	references/trajectory-review.md#optional-intervention-events
排查回归或决定是否具备发布条件	references/regression-and-release.md
设计跟踪记录、日志、指标或隐私控制	references/production-observability.md
与 OpenTelemetry 互操作	references/opentelemetry-genai.md
需要针对特定框架的实现方案	references/framework-routing.md
使用安全探测验证方法	references/synthetic-scenarios.md
使用官方测试框架评测 Agent 完成 Supabase 任务的能力	Supabase Agent 评测参考
验证来源主张或状态	references/source-index.md

模板

使用 templates/eval-plan.md、templates/interface-enrichment-comparison.md、templates/dataset-manifest.md、templates/grader-specification.md、templates/trace-review.md、templates/run-report.md、templates/release-gate.md 和 templates/metric-mirror.md。它们是决策记录，而不是用来凭空制造证据的检查清单。

仅当决策取决于有证据支持的主张时，才使用依据探测。检查重要限定条件，以及证据是否支持拟议的行动，而不只是被引用的句子。分别保留调查结果、探测错误和未知结果；探测分数不能授权采取行动。

防护原则

• 不要将标量分数、关键词命中、架构验证或重复输出，当作超出其直接观测属性的证明。
• 默认不要采集提示词、输出、工具参数、中间推理、凭据或个人数据。导出前尽量精简，尽早脱敏，限制访问，设定保留和删除路径，并做好事件响应准备。
• 不要将人类判断视为确定真相。人工和模型评审都需要明确的评分标准、校准、分歧分析，并在条件变化时重新验证。
• 将以普遍性为导向的生产样本与风险增强型挑战案例分开。不要悄然将其中一类重新加权为另一类。

不适用场景

在提出修复方案前，使用 systematic-debugging 调查一个正在发生的缺陷。对于一般的、有证据支撑的完成声明，使用 verification-methodology；对于设计预防性控制，使用 secure-software-engineering；对于 SDK 特定代码，使用相应的框架技能。若要通过官方评分场景评测 Agent 在 Supabase 任务上的能力，请使用 supabase agent evals reference——本技能涵盖方法论，而非特定评测框架。