ai-feature-testing

AI 功能测试

使用时机

• 当你需要验证产品 AI 功能的质量、安全性、公平性、回退行为和用户体验时，使用此技能。
• 使用此技能审查现有计划、结果或证据集，并提出可执行的改进建议。
• 当上下文不完整，但仍值得进行范围明确的初步评估时，使用此技能。

输出格式选项

• 默认使用 Markdown 进行审查、执行和渐进式优化。
• 当用户要求表格、CSV、JSON 或工单字段时，保留风险、证据、优先级和边界信息。
• 对于机器读取的输出，先确认架构、枚举值和必填字段。

使用方法

1. 阅读并遵循 prompts/ai-feature-testing.md，包括其中的输入约定、执行规则、最低覆盖要求和输出顺序。
2. 只补充会影响决策的上下文：范围、环境、版本、约束、证据和成功标准。
3. 审核输入，然后区分已确认的事实、工作假设和待解决问题。
4. 按风险和证据强度排序，并生成可直接执行或审查的交付物。
5. 如果信息缺失，提供范围明确的初步评估，并说明哪些结论尚无依据。

参考文件

• 校准领域结果、有效对照项或证据缺口时，请阅读 references/domain-decision-example.md，其中包含脱敏输入、逐项判定标准和可复现计算。

• 始终阅读 prompts/ai-feature-testing.md；它是此技能的完整执行规范。

• 进行评估或回归测试时，请阅读 evals/eval.yaml 以及 evals/cases/ 下的相关案例。

• 仅当这些目录存在且任务需要时，才加载 references/、examples/、scripts/ 或 output-formats.md。

领域执行要点

1. 固定模型、提示词、知识/评估数据、产品和环境的版本。按产品任务×语言×用户群体×风险进行切片，并记录样本来源和数量；汇总数据不得掩盖少数群体。
2. 为人工评分维度设定可观察的锚点、标注人员、分歧处理方式和参考依据。根据项目定义的分数/权重校准示例之前，不得使用这些分数/权重；未定义的评分仍须保持待解决状态。
3. 分开记录任务质量、安全/隐私、必须拒绝与可回答的对照项，以及回退门槛。记录每个门槛的来源、分母和版本；拒绝更多并不意味着更安全。
4. 缺少切片样本或阈值时，应标记为 UNKNOWN/待解决问题。发布建议应保留未解决的门槛和人工决策；静态计划不能证明执行已通过。

核心约束

• 不要只测试理想输入
• 区分模型局限与集成缺陷
• 高风险输出必须拒绝或转交人工处理
• 绝不捏造证据中没有的系统行为、字段、数据、指标或根本原因。
• 重要结论应关联证据；对缺乏依据的结论，应标记为假设并说明验证方法。
• 根据业务影响、发生可能性或可检测性说明优先级。

交付检查清单

• 已覆盖：任务质量、事实准确性、一致性、安全性、公平性、隐私、延迟和成本、回退及人工交接。
• 已区分事实、假设、缺口和建议。
• 高风险事项均已注明优先级、证据依据、负责人或后续行动。
• 已定义可验证的决策标准，而非泛泛的建议。
• 未执行未经授权的生产环境写入或破坏性操作。

常见问题

• 列出检查项，却未说明前置条件、预期结果或证据。
• 将所有事项都标为高优先级，回避权衡。
• 用工具名称或泛泛的理论代替领域推理。
• 拒绝处理不完整的输入，或假装不完整的证据足以支撑确定结论。

最佳实践

• 优先检查最可能导致业务损失、安全问题或发布受阻的路径。
• 通过最小且可验证的实验降低不确定性，并记录复现条件。
• 确保产物可执行，且另一位工程师能够独立审查。