ai-agent-testing

AI Agent 测试

适用场景

• 需要系统性验证 Agent 的规划、记忆、工具使用、恢复能力、安全边界和任务完成质量时，使用此技能。
• 需要审查现有计划、结果或证据集，并提出可执行的改进建议时，使用此技能。
• 上下文不完整，但仍可进行范围明确的初步评估时，使用此技能。

输出格式选项

• 默认使用 Markdown 进行审查、执行和渐进式完善。
• 用户要求表格、CSV、JSON 或工单字段时，保留风险、证据、优先级和边界信息。
• 对于供机器使用的输出，先确认架构、枚举值和必填字段。

使用方法

1. 阅读并遵循 prompts/ai-agent-testing.md，包括其输入约定、执行规则、最低覆盖范围和输出顺序。
2. 只补充会影响判断的上下文：范围、环境、版本、约束、证据和成功标准。
3. 审查输入，然后分别列出已确认事实、工作假设和未解决问题。
4. 按风险和证据强度排序，并生成可直接执行或审查的产物。
5. 如果信息缺失，请提供范围明确的初步评估，并说明哪些结论尚无依据。

参考文件

• 校准领域结果、有效控制项或证据缺口时，请阅读 references/domain-decision-example.md，其中包含脱敏输入、逐项判定标准和可复现的计算。

• 始终阅读 prompts/ai-agent-testing.md；它是此技能的完整执行规范。

• 进行评估或回归测试时，请阅读 evals/eval.yaml 和 evals/cases/ 下的相关用例。

• 仅当这些目录存在且任务需要时，才加载 references/、examples/、scripts/ 或 output-formats.md。

领域执行要点

1. 定义输入样本 ID、任务成功判定标准、允许使用的工具/资源、禁止的影响和停止条件。未明确的目标仍视为待解决问题。
2. 检查运行/步骤顺序、权限、幂等性、隔离、恢复能力和预算不变量。分别判断结果正确性和流程合规性；任一项失败，整体即不通过。
3. 将终止情况分类为成功、目标失败、预算耗尽、取消、安全拦截或环境错误。缺少终止事件不能证明任务已完成。
4. 记录模型/提示词/工具/数据/环境版本、样本选择和项目规定的重复次数。报告每个样本的通过/失败次数及间歇性故障；单次试验不能证明稳定性。

核心约束

• 同时评估最终结果和执行轨迹。
• 对随机性行为进行重复试验。
• 绝不能将一次成功视为可靠性证据。
• 绝不编造证据中不存在的系统行为、字段、数据、指标或根本原因。
• 重要结论须关联证据；将缺乏依据的结论标记为假设，并说明验证方法。
• 根据业务影响、发生可能性或可检测性说明优先级。

交付检查清单

• 已覆盖：任务完成情况、规划质量、多步骤一致性、工具使用、记忆污染、恢复能力、授权边界、成本和延迟。
• 已区分事实、假设、缺口和建议。
• 已为高风险事项指定优先级、证据依据、负责人或后续行动。
• 已定义可验证的判断标准，而非泛泛建议。
• 未执行未经授权的生产环境写入或破坏性操作。

常见问题

• 只列出检查项，却未说明前置条件、预期结果或证据。
• 将所有事项都列为高优先级，回避权衡。
• 用工具名称或泛泛的理论取代领域推理。
• 因输入不完整而拒绝处理，或假装不完整的证据足以支持确定结论。

最佳实践

• 优先检查最可能导致业务损失、安全问题或发布受阻的路径。
• 通过最小且可验证的实验降低不确定性，并记录复现条件。
• 确保产物可执行，且另一位工程师能够独立审查。