qe-agentic-quality-engineering

Agentic 质量工程

<default_to_action> 在实施 Agentic QE 或协调智能体时：

1. 使用 Task 工具和智能体类型，为任务启动合适的智能体
2. 配置智能体协调方式（分层／网状／顺序）
3. 按照 PACTS 原则执行：主动分析、自主运行、协作反馈、聚焦风险、有序治理（确保智能体行为可观测、可解释）
4. 在部署前通过质量门验证结果
5. 从结果中学习——将模式存储在 aqe/learning/* 命名空间中

快速选择智能体：

• 需要生成测试 → qe-test-generator
• 覆盖率存在缺口 → qe-coverage-analyzer
• 质量决策 → qe-quality-gate
• 安全扫描 → qe-security-scanner
• 性能测试 → qe-performance-tester
• 完整流水线 → qe-fleet-commander

关键成功因素：

• 智能体增强人类专业能力，而非取而代之
• 对关键决策实行人在回路
• 衡量指标：捕获的缺陷、节省的时间、提升的覆盖率 </default_to_action>

快速参考卡

适用场景

• 设计自主测试系统
• 利用智能体扩展 QE
• 实施多智能体协调
• 构建 CI/CD 质量流水线

PACTS 原则

原则	智能体行为	人类职责
Proactive（主动）	合并前分析、预测风险	设置防护措施
Autonomous（自主）	执行测试、修复不稳定测试	审查关键事项
Collaborative（协作）	多智能体协调	提供上下文
Targeted（聚焦）	基于风险进行优先级排序	定义风险领域
Structured（有序）	治理、可观测性、决策可解释（衡量置信度，而非信任）	审计行为、制定策略

19 个智能体组成的集群

类别	智能体	主要用途
核心测试（5）	test-generator、test-executor、coverage-analyzer、quality-gate、quality-analyzer	日常测试
性能／安全（2）	performance-tester、security-scanner	非功能测试
战略（3）	requirements-validator、production-intelligence、fleet-commander	规划
高级（4）	regression-risk-analyzer、test-data-architect、api-contract-validator、flaky-test-hunter	专项测试
视觉／混沌（2）	visual-tester、chaos-engineer	边界情况
部署（1）	deployment-readiness	发布
分析（1）	code-complexity	可维护性

协调模式

Hierarchical: fleet-commander → [generators] → [executors] → quality-gate
Mesh: test-gen ↔ coverage ↔ quality (peer decisions)
Sequential: risk-analyzer → test-gen → executor → coverage → gate

成功标准

✅ 在质量持平或更优的情况下，将部署频率提升 10 倍 ✅ 实时检测覆盖率缺口 ✅ 在生产环境部署前捕获缺陷 ❌ 在关键决策上让智能体脱离人工监督自行行动 ❌ 一次性部署全部 19 个智能体（从 1～2 个开始）

---

核心概念

QE 的演进

阶段	方法	局限性
传统	全部手动完成	人力瓶颈
自动化	脚本 + 固定场景	需要编排
Agentic	AI 智能体 + 人类判断	需要建立信任

核心前提： 智能体可增强人类专业能力，实现 10 倍规模。

关键能力

1. 智能测试生成

// Agent analyzes code change, generates targeted tests
const tests = await qeTestGenerator.generate(prDiff);
// → Happy path, edge cases, error handling tests

2. 模式检测 - 扫描日志、发现异常、关联错误

3. 自适应策略 - 根据风险信号调整测试重点

4. 根因分析 - 将故障关联到代码变更，并提出修复建议

---

智能体协调

内存命名空间

aqe/test-plan/*     - Test planning decisions
aqe/coverage/*      - Coverage analysis results
aqe/quality/*       - Quality metrics and gates
aqe/learning/*      - Patterns and Q-values
aqe/coordination/*  - Cross-agent state

内存操作（MCP 工具）

重要：对于学习成果，始终使用 aqe memory store 并设置 persist: true。

1. 将数据存储到持久化内存：

# Store test plan decisions (persisted to .agentic-qe/memory.db)
aqe memory store \
  --key "aqe/test-plan/pr-123" \
  --namespace "aqe/test-plan" \
  --value '{"prNumber":123,"riskLevel":"medium","requiredCoverage":85,"testTypes":["unit","integration"]}' \
  --ttl 604800 \
  --json

2. 在任务开始前检索以往的学习成果：

# Query patterns before starting test generation
aqe memory search \
  --pattern "aqe/learning/patterns/test-generation/*" \
  --namespace "aqe/learning" \
  --json

3. 存储覆盖率分析结果：

aqe memory store \
  --key "aqe/coverage/auth-module" \
  --namespace "aqe/coverage" \
  --value '{"moduleId":"auth-module","currentCoverage":78,"gaps":["error-handling","edge-cases"],"priority":"high"}' \
  --ttl 1209600 \
  --json

三阶段内存协议

对于协调的多智能体任务，请使用 STATUS → PROGRESS → COMPLETE 模式：

# PHASE 1: STATUS - Task starting
aqe memory store \
  --key "aqe/coordination/task-123/status" \
  --namespace "aqe/coordination" \
  --value '{"status":"running","agent":"qe-test-generator"}' \
  --json

# PHASE 2: PROGRESS - Intermediate updates
aqe memory store \
  --key "aqe/coordination/task-123/progress" \
  --namespace "aqe/coordination" \
  --value '{"progress":50,"action":"generating-unit-tests","testsGenerated":25}' \
  --json

# PHASE 3: COMPLETE - Task finished
aqe memory store \
  --key "aqe/coordination/task-123/complete" \
  --namespace "aqe/coordination" \
  --value '{"status":"complete","result":"success","testsGenerated":47,"coverageAchieved":92.3}' \
  --json

Blackboard Events

事件	触发条件	订阅者
test:generated	创建新测试	executor、coverage
coverage:gap	检测到覆盖缺口	test-generator
quality:decision	评估门禁	fleet-commander
security:finding	发现漏洞	quality-gate

示例：PR 质量流水线

// 1. Risk analysis
const risks = await Task("Analyze PR", prDiff, "qe-regression-risk-analyzer");

// 2. Generate tests for risks
const tests = await Task("Generate tests", risks, "qe-test-generator");

// 3. Execute + analyze
const results = await Task("Run tests", tests, "qe-test-executor");
const coverage = await Task("Check coverage", results, "qe-coverage-analyzer");

// 4. Quality decision
const decision = await Task("Evaluate", {results, coverage}, "qe-quality-gate");
// → GO/NO-GO with rationale

---

实施阶段

阶段	时长	目标	Agent（们）
实验	第 1-4 周	验证一个用例	1 个 Agent
集成	第 2-3 个月	CI/CD 流水线	3-4 个 Agent
扩展	第 4-6 个月	多个用例	8 个以上 Agent
演进	持续进行	持续学习	完整 Agent 群

第 1 阶段示例

# Week 1: Deploy single agent
aqe agent spawn qe-test-generator

# Weeks 2-3: Generate tests for 10 PRs
# Track: bugs found, test quality, review time

# Week 4: Measure impact
aqe agent metrics qe-test-generator
# → Tests: 150, Bugs: 12, Time saved: 8h

---

局限与优势

Agent 擅长的方面

• 规模：数秒内扫描数千条日志
• 模式：发现人类容易忽略的关联
• 不知疲倦：全天候测试与监控
• 速度：即时分析代码变更

Agent 需要人类协助的方面

• 业务背景与优先级
• 伦理判断与权衡
• 创意探索（“如果……会怎样”场景）
• 领域专业知识（医疗保健、金融、法律）

---

最佳实践

应该做	不要做
从一个 Agent、一个用例开始	一次性部署全部 18 个
尽早建立反馈循环	部署后置之不理
由人类审查 Agent 的输出	未经审查就自动合并
衡量捕获的缺陷和节省的时间	追踪虚荣指标（测试数量）
逐步建立信任	立即赋予完全自主权

信任进阶

Month 1: Agent suggests → Human decides
Month 2: Agent acts → Human reviews after
Month 3: Agent autonomous on low-risk
Month 4: Agent handles critical with oversight

---

Agent 协作提示

coordination:
  topology: hierarchical
  commander: qe-fleet-commander
  memory_namespace: aqe/coordination
  blackboard_topic: qe-fleet

preload_skills:
  - agentic-quality-engineering  # Always (this skill)
  - risk-based-testing           # For prioritization
  - quality-metrics              # For measurement

agent_assignments:
  qe-test-generator: [api-testing-patterns, tdd-london-chicago]
  qe-coverage-analyzer: [quality-metrics, risk-based-testing]
  qe-security-scanner: [security-testing, risk-based-testing]
  qe-performance-tester: [performance-testing]

---

相关技能

• holistic-testing-pact - 深入了解 PACTS 原则
• risk-based-testing - 确定 Agent 的关注重点
• quality-metrics - 衡量 Agent 的有效性
• api-testing-patterns、security-testing、performance-testing - 专项测试

资源

• Agent 定义：.claude/agents/
• CLI：aqe agent --help
• Agent 群状态：aqe fleet status

---

成功指标： 通过智能 Agent 协作，在保持或提升质量的同时，将部署频率提高 10 倍。