mcpField
L
ln-632-test-e2e-priority-auditor

ln-632-test-e2e-priority-auditor

github.com/levnikolaevich测试与质量584381 次安装2 天前更新
代码仓库

关于 ln-632-test-e2e-priority-auditor

ln-632-test-e2e-priority-auditor 是评估端到端测试覆盖情况的审计技能,面向测试与质量审查流程。它按业务风险检查关键路径和用户旅程,并识别价值较低的 E2E 测试,输出评分及报告。

主要功能

  1. 01审查关键路径的 E2E 覆盖
  2. 02检查核心用户旅程覆盖
  3. 03评估 E2E 测试实用性
  4. 04按严重程度记录问题
  5. 05生成合规评分与报告

适用场景

  1. 01检查支付、身份验证和数据导出流程
  2. 02发现缺少端到端覆盖的用户旅程
  3. 03识别可降级或删除的低价值 E2E 测试

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/levnikolaevich/claude-code-skills --skill ln-632-test-e2e-priority-auditor

安装后在 Claude Code 中输入/ln-632-test-e2e-priority-auditor确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

references/
audit_output_schema.md
audit_scoring.md
audit_summary_contract.md
audit_worker_core_contract.md
two_layer_detection.md
references/templates/
audit_worker_report_template.md

详细介绍

路径: 文件路径(references/、../ln-*)相对于此技能目录。

E2E 旅程审计器(L3 Worker)

类型: L3 Worker

专门审计 E2E 测试是否证明了对用户可见的关键旅程。

目的与范围

  • 审计 E2E 旅程覆盖率(类别 2:高优先级)
  • 验证关键路径(Money/Security/Data 优先级 >=20)的 E2E 覆盖率
  • 验证核心用户旅程(优先级 15-19)的 E2E 覆盖率
  • 识别浪费资源的 E2E 测试(实用性评分 <15)
  • 发出 ADD_MISSING_E2E、DELETE_LOW_VALUE_E2E 或 DOWNGRADE_E2E
  • 计算合规评分(X/10)

输入

必须读取: 加载 references/audit_worker_core_contract.md。

接收包含以下内容的 contextStore:tech_stack、testFilesMetadata、codebase_root、output_dir。

工作流

检测策略:采用两层检测(候选项扫描,然后进行上下文验证);仅在验证方法存在歧义时加载 references/two_layer_detection.md。

  1. 解析上下文: 从 contextStore 提取技术栈、关键路径、用户旅程、测试文件列表和 output_dir
  2. 识别关键路径(第 1 层): 扫描代码库中的关键路径(Money、Security、Data) 2b) 上下文分析(第 2 层——必须): 针对每个候选关键路径,判断:
    • 这是由已经过 E2E 测试的路径调用的辅助函数吗?-> 降级为 MEDIUM
    • 这已经由带有真实断言的集成测试覆盖了吗?-> 降级为 LOW
    • 关键词匹配是否为误报(例如,calculateDiscount() 是纯数学运算,且已经过单元测试)?-> 跳过
  3. 识别核心旅程: 识别核心用户旅程(多步骤流程)
  4. 检查关键路径覆盖率: 检查关键路径(优先级 >=20)的 E2E 覆盖率
  5. 检查旅程覆盖率: 检查用户旅程(优先级 15-19)的 E2E 覆盖率
  6. 验证 E2E 测试: 验证现有 E2E 测试(实用性评分 >=15)
  7. 收集发现: 记录每项违规及其严重程度、位置(文件:行)、工作量估算(S/M/L)和建议
  8. 计算评分: 按严重程度统计违规数量,并计算合规评分(X/10)
  9. 编写报告: 按照 references/templates/audit_worker_report_template.md 在内存中构建完整的 Markdown 报告,并通过单次 Write 调用写入 {output_dir}/ln-632--global.md
  10. 返回摘要: 向协调器返回最简摘要(参见输出格式)

审计规则

1. 关键路径 E2E 覆盖率

规则: 每条关键路径都必须有 E2E 测试

关键路径(优先级 >=20):

  • Money(优先级 25):支付处理、退款、折扣、税费计算
  • Security(优先级 25):登录、身份验证、密码重置、令牌刷新、权限
  • Data Export(优先级 20):报告、CSV 生成、数据迁移

检测:

  1. 扫描代码库中的关键字:payment、refund、login、auth、export
  2. 提取关键函数/端点
  3. 检查每条关键路径是否都有 E2E 测试
  4. 优先级 >=20 的路径缺少 E2E 测试 -> 严重程度为 CRITICAL

严重程度:

  • CRITICAL: 优先级为 25 的路径(Money、Security)没有 E2E 测试
  • HIGH: 优先级为 20 的路径(Data Export)没有 E2E 测试
  • 降级条件: 函数是由已通过 E2E 测试的路径调用的辅助函数 -> MEDIUM。已由集成测试覆盖 -> LOW

建议: 对缺少端到端覆盖的、用户可见的关键路径使用 ADD_MISSING_E2E

工作量: M

2. 核心用户旅程 E2E 覆盖

规则: 多步骤关键流程 MUST 有 E2E 测试

核心旅程(优先级 15-19):

  • 注册 -> 邮件验证 -> 首次登录(优先级 16)
  • 搜索产品 -> 添加到购物车 -> 结账(优先级 18)
  • 上传文件 -> 处理 -> 下载结果(优先级 15)

检测:

  1. 在路由/控制器中识别多步骤流程
  2. 检查是否存在端到端旅程测试
  3. 缺少优先级 >=15 的 E2E -> 严重程度为 HIGH

严重程度:

  • HIGH: 缺少核心用户旅程的 E2E(优先级 >=15)
  • MEDIUM: 旅程覆盖不完整(只测试了部分步骤)

建议: 对缺失的关键用户旅程使用 ADD_MISSING_E2E

工作量: M-L

3. E2E 测试价值验证

规则: 每个 E2E 测试 MUST 证明其优先级 >=15

检查: 对每个 E2E 测试,计算价值评分 = 影响 x 概率

  • 如果评分 <15 -> 标记为“可能浪费资源的 E2E”
  • 当低级别测试能以更低成本证明相同行为时,建议使用 DOWNGRADE_E2E;当该旅程没有产品风险时,建议使用 DELETE_LOW_VALUE_E2E

示例:

  • “API 返回 200 OK”的 E2E 测试 -> 影响 2,概率 1 -> 评分 2 -> 浪费资源
  • “带折扣的付款计算正确”的 E2E 测试 -> 影响 5,概率 5 -> 评分 25 -> 有价值

严重程度:

  • MEDIUM: 价值评分 <15 的 E2E 测试
  • LOW: 评分为 10-14 的 E2E 测试(需要审查)

建议: 使用 DOWNGRADE_E2E 降级为集成/单元测试,或使用 DELETE_LOW_VALUE_E2E

工作量: S

评分算法

必须阅读: 加载 references/audit_scoring.md。

严重程度映射:

  • 缺少优先级 25(资金、安全)的 E2E -> CRITICAL
  • 缺少优先级 20(数据导出)的 E2E -> HIGH
  • 缺少优先级 15-19(核心旅程)的 E2E -> HIGH
  • 浪费资源的 E2E(评分 <15)-> MEDIUM
  • 旅程覆盖不完整 -> LOW

输出格式

必须阅读: 加载 references/templates/audit_worker_report_template.md。

根据 references/audit_summary_contract.md 编写 JSON 摘要。在托管模式下,调用方会同时传入 runId 和 summaryArtifactPath;在独立模式下,工作器会根据共享契约生成自己的、作用域限定于本次运行的产物路径。

将报告写入 {output_dir}/ln-632--global.md,其中 category: "E2E Journey Coverage",并包含以下检查项:critical_path_coverage、user_journey_coverage、e2e_usefulness_validation。发现项必须将 action 设为 ADD_MISSING_E2E、DELETE_LOW_VALUE_E2E 或 DOWNGRADE_E2E。

根据 references/audit_summary_contract.md 返回摘要。

当 summaryArtifactPath 缺失时,将独立运行摘要写入 .hex-skills/runtime-artifacts/runs/{run_id}/evaluation-worker/{worker}--{identifier}.json,并可选择在结构化输出中回显同一份摘要。

Report written: .hex-skills/runtime-artifacts/runs/{run_id}/audit-report/ln-632--global.md
Score: X.X/10 | Issues: N (C:N H:N M:N L:N)

关键规则

遵循已加载的 references/audit_worker_core_contract.md。

  • 不要自动修复: 仅报告
  • 独特评估角度: 仅评估端到端、用户可见的旅程价值。不要检查单元测试中的产品行为、预期结果的可靠性、结构或手动脚本。
  • 仅基于风险: 按业务影响排序(资金 > 安全 > 数据),而非按代码覆盖率百分比排序
  • 切合实际的工作量: S = <1 小时,M = 1-4 小时,L = >4 小时
  • 价值评分阈值: 仅将评分 <15 的 E2E 测试标记为浪费资源
  • 不强制执行测试金字塔: 不建议 E2E/集成/单元测试的比例——专注于关键路径覆盖

完成定义

应用已加载的 references/audit_worker_core_contract.md。

  • contextStore 已成功解析(包括 output_dir)
  • 已识别关键路径(资金、安全、数据)并为其评分优先级
  • 已完成全部 3 项检查(关键路径覆盖、用户旅程覆盖、端到端实用性验证)
  • 已收集包含严重性、位置、工作量、建议和操作的发现
  • 已使用惩罚算法计算分数
  • 已将报告写入 {output_dir}/ln-632--global.md(通过一次原子 Write 调用)
  • 已按约定撰写摘要

参考文件

  • 审计输出架构: references/audit_output_schema.md

版本: 3.0.0 最后更新: 2025-12-23

评论

支持 Markdown