mcpField
H
harness-audit

harness-audit

github.com/venhdev测试与质量1140 次安装今天更新
代码仓库

关于 harness-audit

harness-audit 是用于检查项目测试套件与测试支撑设施的技能,面向需要评估测试可靠性和覆盖盲区的开发团队。它依照项目测试规范检查基础设施、易导致脆弱性的模式及不变量覆盖,并输出带双重引用的审计报告。

主要功能

  1. 01检查测试规范锚点与基础设施
  2. 02识别测试异味和脆弱性陷阱
  3. 03评估不变量维度覆盖
  4. 04按规模分派审计任务
  5. 05生成带代码引用的审计报告

适用场景

  1. 01审查测试套件的可靠性风险
  2. 02发现不变量覆盖盲区
  3. 03为测试整改规划提供依据

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/venhdev/zenforge --skill harness-audit

安装后在 Claude Code 中输入/harness-audit确认已加载。

附带文件references/invariant-dimensions.mdreferences/test-smells.md

详细介绍

harness-audit — 测试套件与测试框架质量检查器

领域评估标准

1. 审计层级

按逐步深入的架构层级检查目标测试套件:

  1. 测试框架锚点与基础层:
    • 检查权威项目测试框架锚点 .agents/harness-anchor.md,并按照其中的 Governing Testing SSOTs 路径阅读项目测试标准。
    • 如果缺失:检查旧版测试指南(test/AGENTS.md、tests/AGENTS.md)。如果找到,将其用作临时 SSOT,并建议运行 /zenf-init,以建立规范的 .agents/harness-anchor.md。如果不存在,将锚点标记为 UNGROUNDED,并转至 /zenf-init。
    • 验证已注册的隔离基础组件(确定性时钟、存储沙箱、Fixtures / Factories、传输 / 网络 Mock、生命周期 / 清理)是否存在于磁盘上。
  2. 代码异味与不稳定性陷阱:
    • 根据 references/test-smells.md 中详述的反模式和不稳定性陷阱评估测试。
  3. 不变量维度盲点:
    • 根据 references/invariant-dimensions.md 中详述的不变量维度审核测试覆盖情况。
2. 强制参考依据

在执行审核流程前,Agent 必须阅读以下资料并据此开展工作:

  • references/test-smells.md,了解具体的代码异味定义及补救措施。
  • references/invariant-dimensions.md,了解不变量测试向量。
3. 审查结论与引用规则
  • PASS:测试框架锚点已启用;已验证隔离基础;不存在不稳定性代码异味;不变量维度覆盖均衡。
  • WARN:基础设施已就绪,但发现维护债务(重复设置、缺少断言消息)。
  • CRITICAL:测试框架锚点缺失、基础设施不完整(没有虚拟时钟 / 临时存储),或检测到不稳定性代码异味(时钟泄漏、休眠)。
  • 双重引用规则:每个缺陷都必须同时引用违规代码位置(file:///path/to/test#L<N>)和被违反的不变量 / 补救措施。

规范输出约定

# Harness Audit Report: <Target Scope>

## 1. Executive Verdict
- **Verdict**: <PASS | WARN | CRITICAL>
- **Target Inspected**: <Directory or Test Files>
- **Harness Anchor (SSOT)**: <Cited anchor pointer or 'UNGROUNDED (Missing .agents/harness-anchor.md)'>
- **Flakiness Risk**: <LOW | MEDIUM | HIGH>
- **Summary**: <Single-sentence technical judgment>

## 2. Infrastructure & Anchor Gaps
*(If clean: 'Harness anchor verified; foundational hermetic primitives active.')*
- **[<Anchor / Primitive>] <Gap Title>**: <Deficit description>
   - Impact: <Why this causes flakiness or maintenance debt>
   - Recommendation: <Architecture fix or seed anchor pointer>

## 3. Findings & Invariant Blind Spots
- **[<Smell / Dimension>] <Title>**: <Defect description>
   - Offending Code: [<file>#L<N>](file:///path/to/test#L<N>)
   - Remediation: <Exact architectural correction required>
路由
  • 缺少测试框架锚点,需要进行设置 →(通过 /zenf-init)。
  • 缺少基础隔离组件,需要权衡架构方案 →(通过 /clarify)。
  • 已发现差距或不变量盲点,可制定补救计划 →(通过 /changeset)。
  • 已获支持的 changeset 授权局部测试补救,并规定其验收标准 / 验证方式 →(通过 /forge)。

执行协议

  1. 依据准备与范围确认:
    • 如果 .agents/harness-anchor.md 存在,则检查该文件。
    • 阅读 references/test-smells.md 和 references/invariant-dimensions.md。
  2. 自适应规模的审核分派:
    • 当前轮次内执行(少于 10 个测试文件或局部测试套件):直接在当前轮次依据审计层级检查测试套件。
    • 子 Agent 分派(覆盖多个包的广泛测试套件):根据划分的目录或调用方声明的预算,动态启动并发 research 子 Agent,并为其提供锚点和参考资料路径(将原始测试跟踪记录转存至 .agents/scratch/harness-<slice>-dossier.md)。
  3. 综合与轮次终止关卡(汇总):
    • 将发现去重后整理为规范输出约定,并附上任何转存档案的指针。
    • 在对话流中提交完整报告,并立即结束当前轮次。

评论

支持 Markdown