behavioral-evals

行为评估

概述

行为评估（eval）是用于验证Agent 的决策能力（例如工具选择），而非单纯功能的测试。它们对于验证提示词变更、调试可控性以及防止回归至关重要。

说明

唯一事实来源：有关核心概念、策略、测试运行方式和一般最佳实践，请始终参阅 evals/README.md。

---

🔄 工作流决策树

1. 提示词／工具变更是否需要验证？
   • 否 -> 常规集成测试。
   • 是 -> 继续以下步骤。
2. 是否涉及大量 UI／交互？
   • 是 -> 使用 appEvalTest（AppRig）。参见 creating.md。
   • 否 -> 使用 evalTest（TestRig）。参见 creating.md。
3. 是否为新测试？
   • 是 -> 将策略设为 USUALLY_PASSES。
   • 否 -> 设为 ALWAYS_PASSES（锁定回归测试）。
4. 你是在修复失败的测试，还是在提升测试？
   • 修复 -> 参见 fixing.md。
   • 提升 -> 参见 promoting.md。

---

📋 快速检查清单

1. 设置工作区

使用 files 对象为工作区准备所需文件，以模拟真实场景（例如，包含 package.json 的 NodeJS 项目）。

• 详情见 creating.md

2. 编写断言

使用 rig.setBreakpoint()（仅限 AppRig）审核 Agent 的决策，或通过 rig.readToolLogs() 验证索引。

• 详情见 creating.md

3. 验证

使用 Vitest 在本地运行单项测试。在依赖 CI 工作流之前，先确认测试在本地运行稳定。

• 运行命令请参见 evals/README.md。

---

📦 附带资源

详细的操作指南：

• creating.md：断言策略、Rig 选择、Mock MCP。
• fixing.md：自动化调查的分步指南、架构诊断指南。
• promoting.md：候选项识别标准和阈值指南。