qa-expert

QA 专家

使用 Google Testing Standards 和 OWASP 安全最佳实践中的成熟方法，为任何软件项目建立世界一流的 QA 测试流程。

何时使用此技能

在以下情况下触发此技能：

• 为新项目或现有项目搭建 QA 基础设施
• 编写标准化测试用例（符合 AAA 模式）
• 执行全面的测试计划并跟踪进度
• 实施安全测试（OWASP Top 10）
• 按正确的严重性等级（P0-P4）提交 Bug
• 生成 QA 报告（每日摘要、每周进度）
• 计算质量指标（通过率、覆盖率、质量门禁）
• 为交接给第三方团队准备 QA 文档
• 启用由大模型驱动的自主测试执行

快速开始

一键初始化：

python scripts/init_qa_project.py <project-name> [output-directory]

将创建以下内容：

• 目录结构（tests/docs/、tests/e2e/、tests/fixtures/）
• 跟踪 CSV（TEST-EXECUTION-TRACKING.csv、BUG-TRACKING-TEMPLATE.csv）
• 文档模板（BASELINE-METRICS.md、WEEKLY-PROGRESS-REPORT.md）
• 用于自主执行的主 QA 提示词
• 包含完整快速入门指南的 README

自主执行（推荐）：参见 references/master_qa_prompt.md，其中提供单条复制粘贴命令，可大幅提速（案例值：相比手动执行约快 100 倍）。

核心能力

1. QA 项目初始化

使用所有模板初始化完整的 QA 基础设施：

python scripts/init_qa_project.py <project-name> [output-directory]

创建目录结构、跟踪 CSV、文档模板，以及用于自主执行的主提示词。

适用场景：从零开始开展 QA，或迁移到结构化 QA 流程。

2. 编写测试用例

按照 AAA 模式（Arrange-Act-Assert）编写标准化、可复现的测试用例：

1. 阅读模板：assets/templates/TEST-CASE-TEMPLATE.md
2. 遵循结构：前置条件（Arrange）→ 测试步骤（Act）→ 预期结果（Assert）
3. 指定优先级：P0（阻断）→ P4（低）
4. 包含边界情况和潜在 Bug

测试用例格式：TC-[CATEGORY]-[NUMBER]（例如，TC-CLI-001、TC-WEB-042、TC-SEC-007）

参考：完整的 AAA 模式指南和覆盖率阈值，请参见 references/google_testing_standards.md。

3. 测试执行与跟踪

真实依据原则（关键）：

• 测试用例文档（例如，02-CLI-TEST-CASES.md）= 测试步骤的权威来源
• 跟踪 CSV = 仅记录执行状态（切勿将 CSV 用作测试规范）
• 有关如何避免文档与 CSV 同步问题，请参见 references/ground_truth_principle.md

手动执行：

1. 从类别文档中读取测试用例（例如，02-CLI-TEST-CASES.md）← 始终从这里开始
2. 严格按照文档执行测试步骤
3. 每次测试后立即更新 TEST-EXECUTION-TRACKING.csv（绝不要批量更新）
4. 如果测试失败，在 BUG-TRACKING-TEMPLATE.csv 中记录 Bug

自主执行（推荐）：

1. 从 references/master_qa_prompt.md 复制主提示词
2. 粘贴到大模型会话中
3. 大模型会自动执行、自动跟踪、自动记录 Bug 并自动生成报告

优势：相比手动执行大幅提速（案例值约 100 倍）＋跟踪零人为错误＋支持自动恢复执行。

4. Bug 报告

按正确的严重性等级记录 Bug：

必填字段：

• Bug ID：按顺序递增（BUG-001、BUG-002、……）
• 严重性：P0（24 小时内修复）→ P4（可选）
• 重现步骤：编号且具体
• 环境：操作系统、版本、配置

严重性等级：

• P0（阻断）：安全漏洞、核心功能故障、数据丢失
• P1（严重）：主要功能故障，但有变通方案
• P2（高）：次要功能问题、边界情况
• P3（中）：外观问题
• P4（低）：文档拼写错误

参考：完整模板和示例请参见 BUG-TRACKING-TEMPLATE.csv。

5. 质量指标计算

计算全面的 QA 指标和质量门禁状态：

python scripts/calculate_metrics.py <path/to/TEST-EXECUTION-TRACKING.csv>

指标仪表板包括：

• 测试执行进度（X/Y 个测试，完成度 Z%）
• 通过率（已通过/已执行 %）
• Bug 分析（不同 Bug 数量、P0/P1/P2 分类）
• 质量门禁状态（每项门禁标记为 ✅/❌）

质量门禁（发布前必须全部通过）：

门禁	目标	阻断发布
测试执行	100%	是
通过率	≥80%	是
P0 Bug	0	是
P1 Bug	≤5	是
代码覆盖率	≥75%	是
安全性	90% OWASP	是

6. 进度报告

为利益相关方生成 QA 报告：

每日摘要（日终）：

• 已执行的测试、通过率、已提交的 Bug
• 阻塞项（或“无”）
• 明日计划

每周报告（每周五）：

• 使用模板：WEEKLY-PROGRESS-REPORT.md（由初始化脚本创建）
• 与基线对比：BASELINE-METRICS.md
• 评估质量门禁和趋势

参考：请参阅 references/llm_prompts_library.md，其中包含 30 多条可直接使用的报告提示词。

7. 安全测试（OWASP）

实施 OWASP Top 10 安全测试：

覆盖目标：

1. A01：访问控制失效 - RLS 绕过、权限提升
2. A02：加密机制失效 - 令牌加密、密码哈希
3. A03：注入 - SQL 注入、XSS、命令注入
4. A04：不安全的设计 - 速率限制、异常检测
5. A05：安全配置错误 - 详细错误信息、默认凭据
6. A07：身份验证失效 - 会话劫持、CSRF
7. 其他：数据完整性、日志记录、SSRF

目标：达到 90% 的 OWASP 覆盖率（缓解 10 种威胁中的 9 种）。

每项安全测试都遵循 AAA 模式，并记录具体攻击向量。

第 1 天入职培训

新加入项目的 QA 工程师需完成 5 小时的入职指南：

阅读：references/day1_onboarding.md

时间安排：

• 第 1 小时：环境设置（数据库、开发服务、依赖项）
• 第 2 小时：文档审阅（测试策略、质量门禁）
• 第 3 小时：测试数据设置（用户、CLI、DevTools）
• 第 4 小时：执行首个测试用例
• 第 5 小时：团队入职与第 1 周计划

检查点：第 1 天结束时，环境已运行、首个测试已执行，并已准备好进入第 1 周。

自主执行（⭐ 推荐）

使用单条主提示词启用由大模型驱动的自主 QA 测试：

阅读：references/master_qa_prompt.md

功能：

• 自动从上次完成的测试处继续（读取跟踪 CSV）
• 自动执行测试用例（按第 1 至第 5 周推进）
• 自动跟踪结果（每次测试后更新 CSV）
• 自动提交 Bug（为失败的测试创建 Bug 报告）
• 自动生成报告（每日摘要、每周报告）
• 自动升级 P0 Bug（停止测试并通知利益相关方）

优势：

• 与手动执行相比，速度大幅提升（事例值约 100 倍）
• 跟踪过程零人为错误
• Bug 文档记录一致
• 立即掌握进度

用法：复制主提示词并粘贴到大模型中，让其在计划的测试周期内自主运行（事例中为 5 周）。

根据项目调整

小型项目（50 个测试）

• 时间安排：2 周
• 类别：2-3 个（例如，前端、后端）
• 每日：5-7 个测试
• 报告：仅每日摘要

中型项目（200 个测试）

• 时间安排：4 周
• 类别：4-5 个（CLI、Web、API、DB、安全性）
• 每日：10-12 个测试
• 报告：每日 + 每周

大型项目（500 个以上测试）

• 时间安排：8-10 周
• 类别：6-8 个（多个组件）
• 每日：10-15 个测试
• 报告：每日 + 每周 + 每两周一次的利益相关方报告

参考文档

从随附的参考资料中获取详细指南：

• references/day1_onboarding.md - 面向新 QA 工程师的 5 小时入职指南
• references/master_qa_prompt.md - 用于自主 LLM 执行的单条命令
• references/llm_prompts_library.md - 30 多条针对特定 QA 任务的即用提示词
• references/google_testing_standards.md - AAA 模式、覆盖率阈值、快速失败验证
• references/ground_truth_principle.md - 防止文档/CSV 同步问题（对测试套件完整性至关重要）

资源与模板

测试用例模板和 Bug 报告格式：

• assets/templates/TEST-CASE-TEMPLATE.md - 完整模板，包含 CLI 和安全示例

脚本

QA 基础设施自动化脚本：

• scripts/init_qa_project.py - 初始化 QA 基础设施（单条命令即可完成设置）
• scripts/calculate_metrics.py - 生成质量指标仪表板

常见模式

模式 1：从零开始 QA

1. python scripts/init_qa_project.py my-app ./
2. Fill in BASELINE-METRICS.md (document current state)
3. Write test cases using assets/templates/TEST-CASE-TEMPLATE.md
4. Copy master prompt from references/master_qa_prompt.md
5. Paste to LLM → autonomous execution begins

模式 2：LLM 驱动测试（自主执行）

1. Read references/master_qa_prompt.md
2. Copy the single master prompt (one paragraph)
3. Paste to LLM conversation
4. LLM executes the full test-case suite over the planned period (事例: 342 cases / 5 週間)
5. LLM updates tracking CSVs automatically
6. LLM generates weekly reports automatically

模式 3：添加安全测试

1. Read references/google_testing_standards.md (OWASP section)
2. Write TC-SEC-XXX test cases for each OWASP threat
3. Target 90% coverage (9/10 threats)
4. Document mitigations in test cases

模式 4：第三方 QA 交接

1. Ensure all templates populated
2. Verify BASELINE-METRICS.md complete
3. Package tests/docs/ folder
4. Include references/master_qa_prompt.md for autonomous execution
5. QA team can start immediately (Day 1 onboarding → planned test period)

成功标准

满足以下条件时，此技能即为有效：

• ✅ 任意工程师都能复现测试用例
• ✅ 质量门禁可客观衡量
• ✅ Bug 均有完整的复现步骤文档
• ✅ 实时展示进度（CSV 跟踪）
• ✅ 支持自主执行（LLM 可执行完整计划）
• ✅ 第三方 QA 团队可立即开始测试