qa-methodology

QA 方法论

面向高级至首席级 QA 和 SDET 的方法论：测试策略、自动化、回归、基于风险的优先级排序、探索式测试、质量门禁、面向 Agentic 规范驱动开发的 AI 代码质量门禁、Agentic 评估设计、职业级别和 SDET 工程。

职责范围

你负责	你不负责
测试策略——测试什么、在哪个层级测试，以及优先级如何安排	根因调试——转至 systematic-debugging
测试自动化——框架选择、并行化、脆弱测试管理	安全实现和威胁建模——转至 secure-software-engineering
E2E 自动化策略和覆盖范围决策	操作浏览器测试工具（Playwright）——编写／运行测试规范、选择器、网络模拟、数据抓取——转至 playwright
回归测试套件——选择、影响分析、套件演进	规范流程机制和门禁判定——转至 spec-driven-development
质量门禁——阻断式与建议式门禁、指标、DORA	评估框架治理和统计——转至 agent-evals-and-observability
基于风险的测试——P×I 评分、优先级排序、风险登记册	根据明确标准给出验证结论——转至 verification-methodology
探索式测试——SBTM 测试章程、启发式方法、测试漫游	功能实现——这是开发人员的职责
AI 代码质量门禁——独立验证、验收标准的可测试性	生产环境监控和事件响应——这是 SRE 的职责
突变测试引导的测试强化——有限范围内的突变审查证据和存活突变分类	根据明确标准给出验证结论——转至 verification-methodology
Agentic 评估设计——数据集设计、评审者偏差、脆弱评估纪律
QA 职业级别——高级／Staff／首席级别的职责范围发展
SDET 工程——测试基础设施、gTAA、CI/CD 集成

核心原则

未经测试，就意味着有问题。 未经测试的代码，其失效模式尚未被发现。

质量是流程的属性，而非产物的属性。 在最后阶段测试并不能创造质量。质量应通过贯穿整个周期的策略、自动化和门禁来构建。

测试行为，而非实现。 与行为耦合的测试经重构后仍能保留；与实现耦合的测试则会因重构而失效。

优先级由风险决定。 并非所有内容都值得投入同等的测试资源。先评估概率 × 影响，再据此分配资源。

脆弱测试比没有测试更糟。 非确定性失败会让团队习惯于忽略所有失败。检测到后立即隔离；只重新运行一次，绝不运行第二次。

将开发测试与验收认证分开。 实施者应运行测试并调试自己的工作。独立验收审查应使用单独的评估者和可观察证据；新会话可以减少上下文共享，但无法消除共同的先验认知或相关错误。

加载指南

文件	加载时机
references/test-strategy.md	设计测试策略时——金字塔形状、左移／右移、故障成本、将覆盖率用作诊断指标
references/test-automation.md	选择框架、并行／分片、隔离不稳定测试、预测式 ML 测试选择、突变测试指导的加固
references/quality-gates-and-metrics.md	设计质量门禁（阻断式与提示式）、DORA 指标、虚荣指标与可采取行动的指标、突变测试
references/regression-testing.md	构建回归测试套件——影响分析、选择计算、套件演进、右移反馈
references/test-data-management.md	测试数据策略——固定数据、工厂、时间穿越、脱敏、GDPR／PII 规则
references/performance-testing.md	负载／压力／耐久测试——k6/Locust/Gatling/JMeter、SLO 阈值、CI 节奏
references/security-testing.md	安全测试——OWASP Top 10:2025、STRIDE、SAST/DAST/SCA、供应链／SBOM
references/ci-failure-triage.md	CI 为红色时——退出码分类（1/2/126/127/137/139/143）、git bisect、不稳定测试与故障的处理流程
references/test-debugging.md	本应通过的测试却失败时——CI 与本地环境差异、执行顺序／共享状态、模拟对象绑定
references/risk-based-testing.md	按风险确定优先级——P×I 公式、5×5 矩阵、风险研讨会、登记册、重新评估触发条件
references/exploratory-testing.md	探索式测试——SBTM、测试章程编写、SFDIPOT/HICCUPPS 启发法、探索路线
references/test-design-techniques.md	选择测试设计技术——等价类划分、边界值分析、决策表、状态转换、成对测试、错误推测
references/qa-career-levels.md	QA 职业发展——Senior/Staff/Principal 职责范围、职级机制、职业类型、常见误解
references/sdet-engineering.md	SDET 角色与技能——gTAA/TAF 架构、POM、测试中的 SOLID、构建还是购买、可测试性
references/holdout-scenarios.md	设计保留的验收用例、访问边界、修复反馈和污染核算
templates/holdout-record.md	记录冻结用例、暴露历史和绑定候选版本的结果
references/ai-code-quality-gates.md	审查 AI 生成的代码——独立验证、验收标准的可测试性、Agent 测试质量、人在回路
references/ai-test-artifact-evidence.md	AI 辅助 QA 的来源追溯、规范优先的预期结果审查、生成内容审查分流、工作流证据和紧急例外
references/agent-ui-navigation.md	Agent 导航／重放策略、独立预期结果、有限修复和完整覆盖
templates/agent-ui-run-record.md	记录导航、重放、独立检查和缺失证据
references/agentic-eval-design.md	设计 Agent 评估——数据集测试设计、评审者偏差、不稳定评估的规范、CI 门禁层级、重放
templates/test-strategy.md	编写测试策略文档——填写范围、风险等级、测试级别分配、自动化目标
templates/risk-register.md	记录风险评估结果——填写事项、P×I 分数、负责人、缓解措施
templates/exploratory-charter.md	编写 SBTM 章程——填写目标、资源、探索目标、时间限制
templates/bug-report.md	提交结构化缺陷报告——填写复现步骤、预期结果与实际结果、严重程度
templates/verification-plan.md	规划独立验证——填写验收标准到方法的可追溯性、验证人员分配、退出标准
templates/mutation-review.md	记录有限范围的突变审查范围、分类、存活测试和独立证据
templates/ai-assisted-verification-note.md	记录 AI 辅助测试／审查的来源、独立预期结果检查和证据处置
assets/risk-matrix-grid.md	在研讨会期间评估风险——带有区域阈值的 5×5 P×I 网格
assets/test-design-techniques-checklist.md	为功能选择技术——将场景类型映射到技术的快速参考清单
assets/qa-definition-of-done.md	定义发布就绪状态——QA 对完成定义的贡献
scripts/risk-prioritize.py	根据风险项目 JSON 文件计算 P×I 排名
scripts/check-ac-testability.py	检查验收标准是否包含模糊动词或缺少可观察结果
evals/evals.json	运行此技能的输出质量评估（架构 v1，23 个用例）

Agent 驱动的 UI 导航

对于实时导航、回放或定位器修复，请阅读 references/agent-ui-navigation.md 并填写 templates/agent-ui-run-record.md。执行前冻结独立的精确预期结果和 必需的用例 ID；绝不能让导航器弱化断言或跳过必需的覆盖范围。每条路径都要重新检查持久性、账户身份和操作次数。可复用 System One 进行可选的、有界的文本决策；工具技能负责操作，verification-methodology 负责证据判定。

脚本

脚本	调用方式	用途
risk-prioritize	python3 scripts/risk-prioritize.py --json <input.json>	读取风险项（概率、影响），计算 P×I 分数，并输出排序后的 JSON
check-ac-testability	python3 scripts/check-ac-testability.py <spec.md>	扫描验收标准中不可测试的表述；如果有任何标记项，则以非零状态码退出

触发条件

当任务涉及以下内容时，加载此技能：

• 测试策略 — 为项目或功能设计测试内容、方式和优先级
• 回归测试 — 构建、选择或演进回归测试套件
• CI 分诊 — 诊断 CI 失败、退出码，以及区分不稳定测试与真实故障
• 测试自动化 — 框架选择、并行执行、不稳定测试隔离、ML 选择
• 质量门禁 — 门禁设计、阻断式与建议式门禁、指标、DORA
• 变异测试引导的测试加固 — 感知差异的变异范围、存活变异体、弱断言和审查证据
• 基于风险的测试 — P×I 评分、风险登记表、优先级研讨会
• 探索式测试 — SBTM 测试章程、预期结果启发式方法、测试会复盘
• Agent 评估 — 评估数据集设计、评判偏差、不稳定评估的规范、CI 分层
• SDD 门禁审查 — 规范驱动门禁中的 QA 职责、验收标准可测试性、独立验证
• SDET — 测试基础设施工程、gTAA、CI/CD 集成、职业范围

不适用场景

改用指定的同级技能：

• spec-driven-development — 编写规范、运行 SDD 流程、门禁判定格式、修订循环
• agent-evals-and-observability — 评估框架治理、统计比较、遥测和隐私控制、评分器实现
• verification-methodology — 收集证据，并依据明确的通过/失败标准给出判定
• release-engineering — 将测试证据整合为发布候选版本就绪状态、晋级、是否发布决策、生产环境部署和回滚决策；QA 负责测试策略和门禁语义
• systematic-debugging — 生产事故的根因分析、缺陷复现、故障定位
• secure-software-engineering — 安全实现、威胁建模、安全默认设置、依赖项评估
• playwright — 操作 Playwright 工具本身：编写和运行 E2E 规范、确保选择器稳健、模拟网络、无头抓取和有头调试

停止与退出条件

• 测试策略完成条件： 策略文档列明风险等级、各级测试分配、自动化目标，以及每个等级的退出标准。
• 风险评估完成条件： 每项已识别风险都有 P×I 分数、负责人，以及记录在登记表中的缓解措施或接受决策。
• CI 分诊完成条件： 已对失败进行分类（不稳定测试或真实故障、环境或代码），已定位根因，并已确定修复或升级处理路径。
• 门禁审查完成条件： 每项验收标准都对应一种验证方法，验证者独立于实现者，且已附上证据。
• 有界升级： 连续三轮诊断未能收敛后停止，并报告目前收集到的证据。