关于 failure-taxonomy
failure-taxonomy 是用于分类 AI 失误的测试技能，按类型和严重程度整理问题。它帮助团队记录事件、追踪趋势、安排修复优先级并分析根因。
主要功能
- 01分类内容、行为、技术与安全失误
- 02定义四个严重程度级别
- 03支持失误记录与趋势追踪
- 04指导优先级排序和根因分析
- 05列出预防相关产物
适用场景
- 01标注测试中发现的失误
- 02按严重程度和频率安排修复
- 03从失误报告中识别重复根因
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/failure-taxonomy确认已加载。
详细介绍
失败分类
并非所有 AI 失败都相同。幻觉不同于拒绝，也不同于语气不匹配。失败分类用于划分失败类型，以便团队系统地跟踪、确定优先级并解决问题。
失败类别
内容失败：
- 幻觉：AI 将错误信息说成事实
- 不准确：AI 弄错细节（日期、数字、姓名）
- 不完整：AI 遗漏重要信息
- 答非所问：AI 的回答没有回应用户的实际问题
- 自相矛盾：AI 在单次或多次回答中前后矛盾 行为失败：
- 不当拒绝：AI 拒绝合理请求
- 未拒绝：AI 满足了本应拒绝的请求
- 语气不匹配：AI 的语气不符合上下文
- 人设偏离：AI 脱离了既定人设
- 过度生成：AI 生成的内容远超所需 技术失败：
- 延迟：响应耗时过长
- 截断：响应被截断
- 格式错误：输出格式或结构不正确
- 工具故障：AI 尝试使用工具但失败
- 上下文丢失：AI 忘记了对话历史 安全失败：
- 有害内容：AI 生成可能造成伤害的内容
- 隐私侵犯：AI 泄露敏感信息
- 偏见表现：AI 的输出体现出对某个群体的偏见
- 操纵：AI 的输出可能被用于欺骗或操纵
严重程度
- 严重：造成伤害或严重损害信任。需要立即修复。
- 高：显著降低用户体验或任务成功率。数日内修复。
- 中：明显的质量问题，用户可以绕过。数周内修复。
- 低：轻微的质量问题。记录下来，并与其他修复项一并处理。
使用分类
- 记录：按类型和严重程度对检测到的每项失败进行分类
- 趋势跟踪：持续跟踪各类失败的发生频率
- 优先级排序：优先处理严重程度最高、频率最高的失败
- 根因分析：按类型归类失败，以识别系统性原因
- 预防：利用失败模式指导防护措施设计和提示词改进
设计资料
- 失败分类参考文档
- 失败记录模板
- 严重程度分类标准
- 失败趋势仪表板
- 根因分析流程
评论
支持 Markdown