关于 task-success-metrics
task-success-metrics 是一项衡量 AI 辅助用户是否真正完成任务的技能，而非只评估回答质量。它帮助团队定义可观察的结果，并选择直接、推断、自我报告或对比测量方法。
主要功能
- 01任务完成率与耗时指标
- 02对话轮数、首次成功率与干预率
- 03跟踪任务放弃情况
- 04直接、推断及自我报告测量
- 05比较不同版本的任务结果
适用场景
- 01为关键用户任务定义成功标准
- 02评估 AI 辅助是否提升任务完成率
- 03分析回答质量与任务结果之间的差异
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/task-success-metrics确认已加载。
详细介绍
任务成功指标
输出质量并不能保证任务成功。AI 可能生成了漂亮的回复，却没有真正帮助用户完成他们想做的事。任务成功指标衡量端到端的结果。
定义任务成功
针对每项用户任务，定义：
- 成功是什么样的？ 用户完成了目标（发送邮件、找到信息、完成设计）
- 成功标准是什么？ 表明任务已完成的具体、可观察条件
- 预期耗时是多少？ 借助 AI 和不借助 AI 分别需要多长时间？
- 质量门槛是什么？ 不只是完成，还要达到足够好的程度
任务成功指标
- 任务完成率：完成任务（而不只是收到回复）的用户比例
- 完成时间：从首次输入到任务完成所需的时间
- 完成所需轮次：完成任务需要多少轮来回交流
- 首次尝试成功率：AI 的首次回复是否完成了任务，还是需要反复调整？
- 干预率：用户需要纠正、引导或覆盖 AI 的频率
- 放弃率：用户在完成任务前放弃的频率
衡量任务成功
- 直接衡量：通过产品分析追踪任务完成情况（用户点击“完成”、保存输出或进入下一步）
- 推断衡量：根据代理信号推断成功情况（会话时长、回访率、对输出的编辑）
- 自我报告衡量：询问用户 AI 是否帮助他们实现了目标
- 比较衡量：比较使用 AI 与不使用 AI，或版本 A 与版本 B 时的任务成功情况
任务成功与输出质量
两者可能并不一致：
- 输出质量高，任务成功率低：AI 的回答写得很好，却没有解决实际需求
- 输出质量低，任务成功率高：AI 的回答不够完善，却恰好给了用户所需内容
- 两者都重要：同时追踪两者，并调查两者不一致的情况
设计产物
- 关键用户任务的任务成功定义
- 包含衡量方法的指标框架
- 成功标准规范
- 基线测量（使用 AI 之前或当前版本）
- 任务成功仪表板规范
评论
支持 Markdown