agent-tool-testing

Agent 工具测试

适用场景

• 需要验证 AI Agent 的工具选择、参数约定、授权、故障恢复和副作用边界时，使用此技能。
• 用它审查现有计划、结果或证据集，并提出可执行的改进建议。
• 上下文不完整，但仍值得进行有限的初步评估时，使用此技能。

输出格式选项

• 默认使用 Markdown 进行审查、执行和渐进式优化。
• 用户要求使用表格、CSV、JSON 或工单字段时，保留风险、证据、优先级和边界信息。
• 对于机器读取的输出，先确认架构、枚举值和必填字段。

使用方法

1. 阅读并遵循 prompts/agent-tool-testing.md，包括其输入约定、执行规则、最低覆盖范围和输出顺序。
2. 仅补充会影响判断的上下文：范围、环境、版本、约束、证据和成功标准。
3. 审核输入，然后区分已确认事实、工作假设和未解问题。
4. 根据风险和证据强度确定优先级，并产出可直接执行或审查的材料。
5. 如果信息缺失，则提供有限的初步评估，并说明哪些结论缺乏依据。

参考文件

• 始终阅读 prompts/agent-tool-testing.md；它是此技能的完整执行规范。
• 对于评估或回归测试，请阅读 evals/eval.yaml 和 evals/cases/ 下的相关案例。
• 仅当这些目录存在且任务需要时，才加载 references/、examples/、scripts/ 或 output-formats.md。

核心约束

• 默认使用模拟对象、试运行或隔离环境。
• 未经授权，绝不执行真实写入操作。
• 重试测试必须能够检测重复副作用。
• 绝不臆造证据中不存在的系统行为、字段、数据、指标或根本原因。
• 将重要结论关联到证据；对于缺乏依据的结论，将其标记为假设并提供验证方法。
• 根据业务影响、发生可能性或可检测性说明优先级。

交付检查清单

• 已覆盖：工具选择的正确性、参数生成与验证、授权、超时与重试、幂等性、副作用隔离、结果解读、审计证据。
• 已区分事实、假设、缺口和建议。
• 已为高风险事项指定优先级、证据依据、负责人或后续行动。
• 已定义可验证的决策标准，而非泛泛建议。
• 未执行任何未经授权的生产环境写入或破坏性操作。

常见陷阱

• 罗列检查项，却未说明前置条件、预期结果或证据。
• 将所有事项都标为高优先级，回避权衡。
• 用工具名称或泛泛的理论代替领域分析。
• 拒绝处理不完整的输入，或假装不完整的证据足以支持确定结论。

最佳实践

• 从最可能导致业务损失、安全问题或发布阻塞的路径开始。
• 通过最小且可验证的实验降低不确定性，并记录复现条件。
• 确保产出的材料可执行，并可由其他工程师独立审查。