prompt-testing

提示词测试通过一个 5 步工作流，对提示词变体进行 A/B 对比：定义目标和指标，准备 A/B 变体和测试数据集，在数据集上执行测试，分析并比较结果，然后做出决定。指标分为三类——质量（准确性、合规性、一致性、相关性）、效率（输入/输出 token 数、延迟、成本）和稳健性（边缘情况处理、越狱抵抗能力、错误恢复）——另有 UX 类别，详见 `metrics.md`。

采用决策基于规则：如果 B 的准确性不低于 A，且 token 成本可接受，则采用 B；如果准确性提升 >10%，但 token 数增加 <20%，则将 B 视为一种权衡选择；否则保留 A 或继续迭代。至少需要 20 个测试用例，其中边缘情况占 15-20%，以确保统计显著性。

提示词测试

用于测试、比较和衡量提示词性能的技能。

参考资料

• metrics.md - 在定义或评估质量/效率/稳健性/UX 指标及其阈值和计算公式时加载
• methodology.md - 在执行完整的 A/B 测试时加载（假设、数据集规模、统计显著性、常见问题）
• templates.md - 在编写测试数据集 JSON 或 A/B 测试报告时加载

测试工作流

1. DEFINE
   └── Test objective
   └── Metrics to measure
   └── Success criteria

2. PREPARE
   └── Variants A and B
   └── Test dataset
   └── Baseline (if existing)

3. EXECUTE
   └── Run on dataset
   └── Collect results
   └── Document observations

4. ANALYZE
   └── Calculate metrics
   └── Compare variants
   └── Identify patterns

5. DECIDE
   └── Recommendation
   └── Statistical confidence
   └── Next iterations

性能指标

质量

指标	描述	计算方法
准确性	回答正确	正确数 / 总数
合规性	格式遵循情况	合规数 / 总数
一致性	回答稳定性	1 - 方差
相关性	满足需求的程度	平均分（1-5）

效率

指标	描述	计算方法
输入 token 数	提示词大小	Token 数量
输出 token 数	回答大小	Token 数量
延迟	响应时间	ms
成本	每次请求的价格	Token 数 × 价格

稳健性

指标	描述	计算方法
边缘情况	边缘情况处理能力	通过数 / 总数
越狱抵抗能力	抵抗绕过的能力	拦截数 / 尝试次数
错误恢复	错误恢复能力	恢复数 / 错误数

完整定义、阈值和 UX 指标类别请参阅 metrics.md。测试数据集和报告格式请参阅 templates.md。

命令

# Create a test
/prompt test create --name "Test v1" --dataset tests.json

# Run an A/B test
/prompt test run --a prompt_a.md --b prompt_b.md --dataset tests.json

# View results
/prompt test results --id test_001

# Compare two tests
/prompt test compare --tests test_001,test_002

决策标准

何时采用变体 B？

IF:
  - Accuracy B >= Accuracy A
  AND (Tokens B <= Tokens A * 1.1 OR accuracy improvement > 5%)
  AND no regression on edge cases
THEN:
  → Adopt B

ELSE IF:
  - Accuracy improvement > 10%
  AND token regression < 20%
THEN:
  → Consider B (acceptable trade-off)

ELSE:
  → Keep A or iterate

最佳实践

1. 至少 20 个测试用例，以确保显著性
2. 纳入边缘情况（占数据集的 15-20%）
3. 进行多轮测试，以检验一致性
4. 在测试前记录假设
5. 为受测提示词进行版本管理