qa-expert

QA 专家

使用来自 Google 测试标准和 OWASP 安全最佳实践的成熟方法，为任何软件项目建立世界一流的 QA 测试流程。

何时使用此技能

在以下情况下触发此技能：

• 为新项目或现有项目搭建 QA 基础设施
• 编写标准化测试用例（符合 AAA 模式）
• 执行全面的测试计划并跟踪进度
• 实施安全测试（OWASP Top 10）
• 按适当的严重性级别（P0-P4）提交 Bug
• 生成 QA 报告（每日摘要、每周进度）
• 计算质量指标（通过率、覆盖率、质量门禁）
• 为交接给第三方团队准备 QA 文档
• 启用由大模型驱动的自主测试执行

快速开始

一条命令即可初始化：

python scripts/init_qa_project.py <project-name> [output-directory]

将创建以下内容：

• 目录结构（tests/docs/、tests/e2e/、tests/fixtures/）
• 跟踪 CSV（TEST-EXECUTION-TRACKING.csv、BUG-TRACKING-TEMPLATE.csv）
• 文档模板（BASELINE-METRICS.md、WEEKLY-PROGRESS-REPORT.md）
• 用于自主执行的主 QA 提示词
• 包含完整快速入门指南的 README

自主执行（推荐）：参见 references/master_qa_prompt.md，其中提供了一条可复制粘贴的命令，可提速 100 倍。

核心能力

1. QA 项目初始化

使用所有模板初始化完整的 QA 基础设施：

python scripts/init_qa_project.py <project-name> [output-directory]

创建目录结构、跟踪 CSV、文档模板，以及用于自主执行的主提示词。

适用场景：从零开始搭建 QA，或迁移到结构化 QA 流程。

2. 编写测试用例

按照 AAA 模式（Arrange-Act-Assert，准备-执行-断言）编写标准化、可复现的测试用例：

1. 阅读模板：assets/templates/TEST-CASE-TEMPLATE.md
2. 遵循结构：前置条件（准备）→ 测试步骤（执行）→ 预期结果（断言）
3. 指定优先级：P0（阻断）→ P4（低）
4. 纳入边界情况和潜在 Bug

测试用例格式：TC-[CATEGORY]-[NUMBER]（例如，TC-CLI-001、TC-WEB-042、TC-SEC-007）

参考：完整的 AAA 模式指南和覆盖率阈值请参见 references/google_testing_standards.md。

3. 测试执行与跟踪

事实来源原则（重要）：

• 测试用例文档（例如，02-CLI-TEST-CASES.md）= 测试步骤的权威来源
• 跟踪 CSV = 仅用于执行状态（不要依赖 CSV 中的测试规格）
• 请参见 references/ground_truth_principle.md，了解如何避免文档与 CSV 的同步问题

手动执行：

1. 从类别文档中读取测试用例（例如，02-CLI-TEST-CASES.md）← 始终从这里开始
2. 严格按照文档执行测试步骤
3. 每次测试后立即更新 TEST-EXECUTION-TRACKING.csv（绝不要批量更新）
4. 如果测试失败，在 BUG-TRACKING-TEMPLATE.csv 中提交 Bug

自主执行（推荐）：

1. 复制 references/master_qa_prompt.md 中的主提示词
2. 粘贴到大模型会话中
3. 大模型会自动执行、自动跟踪、自动提交 Bug 并自动生成报告

创新之处：与手动操作相比，速度提升 100 倍，同时跟踪过程无人工错误，并支持自动恢复执行。

4. Bug 报告

按适当的严重性级别提交 Bug：

必填字段：

• Bug ID：按顺序编号（BUG-001、BUG-002、……）
• 严重性：P0（24 小时内修复）→ P4（可选）
• 复现步骤：编号列出，内容具体
• 环境：操作系统、版本、配置

严重性分类：

• P0（阻断）：安全漏洞、核心功能故障、数据丢失
• P1（严重）：主要功能故障，但有变通方法
• P2（高）：次要功能问题、边界情况
• P3（中）：外观问题
• P4（低）：文档错别字

参考：完整模板及示例请参见 BUG-TRACKING-TEMPLATE.csv。

5. 质量指标计算

计算全面的 QA 指标和质量门禁状态：

python scripts/calculate_metrics.py <path/to/TEST-EXECUTION-TRACKING.csv>

指标仪表板包括：

• 测试执行进度（X/Y 个测试，已完成 Z%）
• 通过率（已通过/已执行 %）
• Bug 分析（唯一 Bug 数量、P0/P1/P2 分类）
• 质量门禁状态（每个门禁显示 ✅/❌）

质量门禁（发布前必须全部通过）：

门禁	目标	阻断发布
测试执行	100%	是
通过率	≥80%	是
P0 Bug	0	是
P1 Bug	≤5	是
代码覆盖率	≥80%	是
安全性	90% OWASP	是

6. 进度报告

为利益相关者生成 QA 报告：

每日摘要（每日结束时）：

• 已执行的测试、通过率、已提交的 Bug
• 阻塞项（或无）
• 明日计划

每周报告（每周五）：

• 使用模板：由 init 脚本创建的 WEEKLY-PROGRESS-REPORT.md
• 与基线比较：BASELINE-METRICS.md
• 评估质量门禁和趋势

参考：查看 references/llm_prompts_library.md，其中包含 30 多个可直接使用的报告提示词。

7. 安全测试（OWASP）

实施 OWASP Top 10 安全测试：

覆盖目标：

1. A01：访问控制失效 - RLS 绕过、权限提升
2. A02：加密机制失效 - 令牌加密、密码哈希
3. A03：注入 - SQL 注入、XSS、命令注入
4. A04：不安全设计 - 速率限制、异常检测
5. A05：安全配置错误 - 详细错误信息、默认凭据
6. A07：身份验证失效 - 会话劫持、CSRF
7. 其他：数据完整性、日志记录、SSRF

目标：达到 90% 的 OWASP 覆盖率（缓解 10 项威胁中的 9 项）。

每项安全测试均遵循 AAA 模式，并记录具体的攻击向量。

第 1 天入职培训

新加入项目的 QA 工程师需完成 5 小时的入职指南：

阅读：references/day1_onboarding.md

时间安排：

• 第 1 小时：环境设置（数据库、开发服务器、依赖项）
• 第 2 小时：文档审阅（测试策略、质量门禁）
• 第 3 小时：测试数据设置（用户、CLI、DevTools）
• 第 4 小时：执行首个测试用例
• 第 5 小时：团队入职培训与第 1 周计划

检查点：第 1 天结束时，环境已运行、首个测试已执行，并已做好第 1 周的准备。

自主执行（⭐ 推荐）

通过单个主提示词启用由大模型驱动的自主 QA 测试：

阅读：references/master_qa_prompt.md

功能：

• 自动从上次完成的测试继续（读取跟踪 CSV）
• 自动执行测试用例（按第 1 至第 5 周的进度推进）
• 自动跟踪结果（每次测试后更新 CSV）
• 自动提交 Bug（为失败项创建 Bug 报告）
• 自动生成报告（每日摘要、每周报告）
• 自动升级 P0 Bug（停止测试并通知利益相关者）

优势：

• 执行速度比手动操作快 100 倍
• 跟踪过程不会出现人为错误
• Bug 文档记录一致
• 可立即查看进度

用法：复制主提示词，粘贴到大模型中，让它自主运行 5 周。

根据项目调整

小型项目（50 个测试）

• 时间安排：2 周
• 类别：2-3 个（例如，前端、后端）
• 每日：5-7 个测试
• 报告：仅每日摘要

中型项目（200 个测试）

• 时间安排：4 周
• 类别：4-5 个（CLI、Web、API、DB、安全）
• 每日：10-12 个测试
• 报告：每日 + 每周

大型项目（500+ 个测试）

• 时间安排：8-10 周
• 类别：6-8 个（多个组件）
• 每日：10-15 个测试
• 报告：每日 + 每周 + 每两周一次的利益相关者报告

参考文档

通过随附的参考资料获取详细指南：

• references/day1_onboarding.md - 面向新 QA 工程师的 5 小时入门指南
• references/master_qa_prompt.md - 用于自主 LLM 执行的单条命令（提速 100 倍）
• references/llm_prompts_library.md - 30 多条可直接使用的特定 QA 任务提示词
• references/google_testing_standards.md - AAA 模式、覆盖率阈值、快速失败验证
• references/ground_truth_principle.md - 防止文档与 CSV 同步问题（对测试套件完整性至关重要）

资源与模板

测试用例模板和 Bug 报告格式：

• assets/templates/TEST-CASE-TEMPLATE.md - 包含 CLI 和安全示例的完整模板

脚本

QA 基础设施自动化脚本：

• scripts/init_qa_project.py - 初始化 QA 基础设施（一条命令即可完成设置）
• scripts/calculate_metrics.py - 生成质量指标仪表板

常见模式

模式 1：从零开始进行 QA

1. python scripts/init_qa_project.py my-app ./
2. Fill in BASELINE-METRICS.md (document current state)
3. Write test cases using assets/templates/TEST-CASE-TEMPLATE.md
4. Copy master prompt from references/master_qa_prompt.md
5. Paste to LLM → autonomous execution begins

模式 2：LLM 驱动的测试（自主执行）

1. Read references/master_qa_prompt.md
2. Copy the single master prompt (one paragraph)
3. Paste to LLM conversation
4. LLM executes all 342 test cases over 5 weeks
5. LLM updates tracking CSVs automatically
6. LLM generates weekly reports automatically

模式 3：添加安全测试

1. Read references/google_testing_standards.md (OWASP section)
2. Write TC-SEC-XXX test cases for each OWASP threat
3. Target 90% coverage (9/10 threats)
4. Document mitigations in test cases

模式 4：向第三方移交 QA 工作

1. Ensure all templates populated
2. Verify BASELINE-METRICS.md complete
3. Package tests/docs/ folder
4. Include references/master_qa_prompt.md for autonomous execution
5. QA team can start immediately (Day 1 onboarding → 5 weeks testing)

成功标准

满足以下条件时，此技能即可发挥作用：

• ✅ 任何工程师都能复现测试用例
• ✅ 质量关卡得到客观衡量
• ✅ Bug 均附有完整的复现步骤
• ✅ 实时可见进度（通过 CSV 跟踪）
• ✅ 启用自主执行（LLM 可执行完整计划）
• ✅ 第三方 QA 团队可立即开始测试