关于 longitudinal-measurement
用于持续追踪 AI 产品质量并发现退化的设计技能，涵盖指标、定期黄金测试集评估、趋势监控、漂移诊断及应对措施。
主要功能
- 01长期质量指标
- 02黄金测试集与自动评估
- 03趋势仪表板与告警
- 04漂移诊断与响应
适用场景
- 01追踪模型更新前后的质量
- 02发现提示词或数据漂移
- 03调查任务成功率变化
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/longitudinal-measurement确认已加载。
详细介绍
纵向测量
AI 产品会随着时间推移而变化——模型会更新、使用模式会转变，质量也可能在无人察觉时发生漂移。纵向测量用于跟踪质量随时间的变化，并在用户发现问题之前捕捉到质量下降。
随时间发生的变化
- 模型更新：新版本的模型可能会提升某些能力，同时削弱其他能力
- 提示词漂移：系统提示词不断累积修改，这些修改可能以意想不到的方式相互影响
- 使用方式演变：用户会发现此前未经过测试的新用例
- 数据漂移：真实场景中的输入逐渐偏离测试数据
- 预期变化：随着经验增长，用户的预期也会发生变化
需要进行纵向测量的内容
- 质量评分：持续跟踪同一测试集上的评分标准得分
- 任务成功率：监测用户完成任务的比率是否保持稳定
- 满意度信号：跟踪显性和隐性满意度的趋势
- 错误率：监测失败频率和类型分布
- 延迟：响应时间变化可能表明质量下降
- 参与模式：跟踪使用频率、深度和广度的变化
测量基础设施
- 黄金测试集：一组固定输入，定期评估以检测质量变化
- 自动化评估：按计划自动运行黄金测试集
- 仪表板：可视化趋势，并为重大变化设置提醒
- 回归检测：使用统计方法区分真实变化与噪声
- 用户群组跟踪：持续跟踪特定用户群体的变化
应对漂移
当测量结果显示存在漂移时：
- 检测：自动提醒标记重大变化
- 诊断：原因是模型更新、提示词更改、数据变化，还是使用方式变化？
- 评估：这种漂移有害、中性，还是实际上有所改善？
- 采取行动：调整提示词、回滚更改、更新防护措施，或接受新的基准
- 验证：确认修复有效，并设定新的基准
设计产物
- 纵向测量计划
- 黄金测试集规范
- 质量趋势仪表板
- 漂移检测提醒配置
- 漂移检测后的应对规程
评论
支持 Markdown