subagent-testing

子 Agent 测试 - 技能的 TDD

使用全新的子 Agent 实例测试技能，以避免启动偏见并验证效果。

不适用场景

• 编写待测试的技能（使用 abstract:skill-authoring）
• 不执行任何操作的静态质量审计（使用 abstract:skills-eval）

概述

全新实例可避免启动偏见： 每次测试都使用新的 Claude 对话，确保衡量的是技能带来的影响，而非对话历史造成的影响。

全新实例为何重要

启动偏见问题

在同一个对话中运行测试会产生偏见：

• 先前的上下文会影响响应
• 技能的影响会与对话历史混杂
• 无法隔离技能的真实影响

全新实例的优势

• 隔离性：每次测试都从干净状态开始
• 可复现性：基线状态一致
• 可衡量性：便于清晰地比较前后差异
• 有效性验证：证明技能有效，而非启动偏见所致

测试方法

采用分三个阶段的 TDD 风格方法：

阶段 1：基线测试（RED）

不使用技能进行测试，以确定基线行为。

阶段 2：启用技能测试（GREEN）

加载技能后进行测试，以衡量改进情况。

阶段 3：合理化测试（REFACTOR）

测试技能的反合理化防护措施。

快速入门

# 1. Create baseline tests (without skill)
# Use 5 diverse scenarios
# Document full responses

# 2. Create with-skill tests (fresh instances)
# Load skill explicitly
# Use identical prompts
# Compare to baseline

# 3. Create rationalization tests
# Test anti-rationalization patterns
# Verify guardrails work

详细测试指南

完整的测试模式、示例和模板请参阅：

• 测试模式 - 完整的 TDD 方法
• 测试示例 - 基线、启用技能和合理化测试
• 分析模板 - 评分与比较框架

成功标准

• 基线：记录 5 个以上不同的基线场景
• 改进：技能相关指标至少提升 50%
• 一致性：结果可在全新实例中复现
• 合理化防护：防护措施能阻止至少 80% 的合理化尝试

另请参阅

• skill-authoring：创建有效的技能
• test-skill：自动化技能测试命令

退出标准

• 基线（RED）阶段记录至少 5 个在全新 Claude 实例中运行的不同场景，测试时未启用技能，并完整记录响应文本。
• 启用技能（GREEN）阶段在全新的实例中使用完全相同的提示词（而非延续基线对话），并显示技能相关指标至少提升 50%。
• 合理化（REFACTOR）阶段显示，针对至少 3 种压力场景测试的技能防护措施可阻止至少 80% 的合理化尝试。
• 结果可复现：在全新实例中使用相同提示词会产生一致的结果，证明效果并非由对话历史启动偏见造成。