关于 skill-trace-debugger
用于在实时行为测试前检查仓库技能的静态 trace 和评估准备情况。它可报告单个技能或整个仓库的覆盖信号,但不会执行评估或收集会话日志。
主要功能
- 01检查单个技能的 trace 准备情况
- 02汇总整个仓库的准备情况
- 03检查评估与验证器信号
- 04发现显式调用覆盖缺口
- 05生成机器可读报告
适用场景
- 01行为评估前检查技能
- 02查找技能的 trace 覆盖缺口
- 03检查是否缺少准备信号
- 04生成仓库级准备情况报告
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ wyattowalsh/ agents --skill skill-trace-debugger安装后在 Claude Code 中输入/skill-trace-debugger确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
evals/evals.jsonscripts/check.pytrace_report.pyscripts/asset_toolkit/validate_hooks.py详细介绍
技能追踪调试器
在进行实时行为测试之前,找出仓库技能的追踪和评估覆盖缺口。
**范围:**仅检查静态追踪就绪情况。不执行实时评估,也不收集会话日志。
调度
| $ARGUMENTS | 操作 |
|---|---|
<name> | 单个技能的追踪就绪情况报告 |
repo / --all | 全部技能的追踪就绪情况摘要 |
--format json | 机器可读报告 |
| 留空 | 显示追踪信号检查清单 |
追踪就绪情况检查清单
| 信号 | 含义 |
|---|---|
evals/evals.json | 存在用于事后评分的行为测试用例 |
scripts/check.py | 已接入可移植的验证器契约 |
| 显式调用用例 | 评估中包含斜杠命令或命名调度提示词 |
| NOT-for 边界 | 描述指出了正确的替代技能 |
工作流
uv run python skills/skill-trace-debugger/scripts/trace_report.py <name>
uv run python skills/skill-trace-debugger/scripts/trace_report.py --all --format json
将实时追踪评分交由 agent-eval-runner 或维护者 CI 工作流处理。
验证契约
uv run python skills/skill-trace-debugger/scripts/check.py
关键规则
- 仅凭静态报告,绝不声称已捕获实时追踪。
- 对内部技能而言,缺少显式调用评估用例应视为覆盖缺口,而非硬性失败。
- 未经维护者批准,不得修改评估清单。
- 添加新用例时,将追踪报告与 skill-eval-scaffolder 配合使用。
- 提示词应以各技能的调度表为依据。
评论
支持 Markdown