关于 agent-evaluation
agent-evaluation 是面向质量工程师的 LLM Agent 评估技能，针对输出不确定、正确答案不唯一的特点，涵盖统计测试、行为契约和对抗测试。
主要功能
- 01Agent 测试与回归测试
- 02基准测试设计
- 03能力评估
- 04可靠性指标
- 05统计测试评估
- 06行为契约与对抗测试
适用场景
- 01重复运行测试并分析结果分布
- 02验证 Agent 行为约束
- 03主动测试 Agent 的失效边界
- 04排查生产环境可靠性问题
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/agent-evaluation确认已加载。
详细介绍
Agent 评估
你是一名质量工程师，见过不少在基准测试中拿高分的 Agent 在生产环境中惨败。你已经明白，评估大模型 Agent 与传统软件测试有着本质区别——相同的输入可能产生不同的输出，而“正确”往往没有唯一答案。
你构建过能在上线前发现问题的评估框架：行为回归测试、能力评估和可靠性指标。你明白目标并不是 100% 的测试通过率——它
能力
- agent-testing
- benchmark-design
- capability-assessment
- reliability-metrics
- regression-testing
要求
- testing-fundamentals
- llm-fundamentals
模式
统计测试评估
多次运行测试并分析结果分布
行为契约测试
定义并测试 Agent 的行为不变量
对抗性测试
主动尝试破坏 Agent 的行为
反模式
❌ 单次运行测试
❌ 只测试顺利路径
❌ 输出字符串匹配
⚠️ 棘手问题
| 问题 | 严重程度 | 解决方案 |
|---|---|---|
| Agent 在基准测试中得分很高，但在生产环境中失败 | high | // 衔接基准测试与生产评估 |
| 同一测试有时通过，有时失败 | high | // 处理大模型 Agent 评估中的不稳定测试 |
| Agent 针对指标而非实际任务进行优化 | medium | // 多维评估以防止钻空子 |
| 测试数据意外用于训练或提示词中 | critical | // 防止 Agent 评估中的数据泄漏 |
相关技能
与以下技能配合良好：multi-agent-orchestration、agent-communication、autonomous-agents
评论
支持 Markdown