mcpField
S
skill-trace-debugger

skill-trace-debugger

github.com/wyattowalsh测试与质量535 次安装8 周前更新
代码仓库

关于 skill-trace-debugger

用于在实时行为测试前检查仓库技能的静态 trace 和评估准备情况。它可报告单个技能或整个仓库的覆盖信号,但不会执行评估或收集会话日志。

主要功能

  1. 01检查单个技能的 trace 准备情况
  2. 02汇总整个仓库的准备情况
  3. 03检查评估与验证器信号
  4. 04发现显式调用覆盖缺口
  5. 05生成机器可读报告

适用场景

  1. 01行为评估前检查技能
  2. 02查找技能的 trace 覆盖缺口
  3. 03检查是否缺少准备信号
  4. 04生成仓库级准备情况报告

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/wyattowalsh/agents --skill skill-trace-debugger

安装后在 Claude Code 中输入/skill-trace-debugger确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

evals/
evals.json
scripts/
check.py
trace_report.py
scripts/asset_toolkit/
validate_hooks.py

详细介绍

技能追踪调试器

在进行实时行为测试之前,找出仓库技能的追踪和评估覆盖缺口。

**范围:**仅检查静态追踪就绪情况。不执行实时评估,也不收集会话日志。

调度

$ARGUMENTS操作
<name>单个技能的追踪就绪情况报告
repo / --all全部技能的追踪就绪情况摘要
--format json机器可读报告
留空显示追踪信号检查清单

追踪就绪情况检查清单

信号含义
evals/evals.json存在用于事后评分的行为测试用例
scripts/check.py已接入可移植的验证器契约
显式调用用例评估中包含斜杠命令或命名调度提示词
NOT-for 边界描述指出了正确的替代技能

工作流

uv run python skills/skill-trace-debugger/scripts/trace_report.py <name>
uv run python skills/skill-trace-debugger/scripts/trace_report.py --all --format json

将实时追踪评分交由 agent-eval-runner 或维护者 CI 工作流处理。

验证契约

uv run python skills/skill-trace-debugger/scripts/check.py

关键规则

  1. 仅凭静态报告,绝不声称已捕获实时追踪。
  2. 对内部技能而言,缺少显式调用评估用例应视为覆盖缺口,而非硬性失败。
  3. 未经维护者批准,不得修改评估清单。
  4. 添加新用例时,将追踪报告与 skill-eval-scaffolder 配合使用。
  5. 提示词应以各技能的调度表为依据。

评论

支持 Markdown