关于 pilot-and-evaluation-design
用于设计小规模、以决策为导向的行业研发试点的技能。它将技术指标与业务价值联系起来，并兼顾基线、风险、评估有效性及预先设定的继续或停止标准。
主要功能
- 01定义试点决策与范围
- 02选择试点模式和基线
- 03确定成功指标与护栏指标
- 04检查结论有效性风险
- 05预先设定继续或停止标准
- 06规划相关消融与压力测试
适用场景
- 01规划 PoC 或 MVP 评估
- 02将研发方案与现有流程比较
- 03通过人工复核评估 LLM 系统
- 04扩展部署前衡量运营风险
安装
复制下面的命令，在终端中运行。
npx skills add https:/安装后在 Claude Code 中输入/pilot-and-evaluation-design确认已加载。
附带文件evals/evals.jsonreferences/mixed-methods-integration.md
详细介绍
试点与评估设计
设计规模最小但可信的试点，以判断某个行业研发解决方案是否值得推进。
目标不是证明解决方案完美无缺，而是将不确定性降到足以负责任地做出构建、停止或迭代的决策。
何时使用此技能
在以下情况下使用此技能：
- 已有候选解决方案，需要验证；
- 用户需要 PoC、MVP、试点或实验计划；
- 工作必须将技术指标与业务价值联系起来；
- 需要离线评估、回测、人工审查或 A/B 测试；
- 必须衡量合规性、公平性、可解释性、延迟或采用情况等风险。
对于纯学术实验，请使用 experiment-design。对于尚不明确的业务问题，请先使用 industry-problem-framing。
工作流
1. 明确试点要支持的决策
定义试点必须支持的决策：
After this pilot, we will decide whether to [scale / redesign / stop / collect more data] based on [criteria].
避免只产出演示的试点。有用的试点能改变决策。
2. 明确范围与部署边界
指定：
- 纳入的用户群体或流程；
- 数据时间范围；
- 产品或工作流触点；
- 试点属于离线、影子模式、人机协助还是线上模式；
- 谁负责审查输出；
- 允许采取哪些行动；
- 明确排除哪些内容。
优先选择风险最低且仍能检验核心机制的设计。
常见试点模式：
| 模式 | 适用情况 | 主要限制 |
|---|---|---|
| 离线回放 | 有历史决策和结果 | 无法衡量行为变化 |
| 回测 | 决策依赖时间 | 容易受到数据泄漏和政策变化影响 |
| 影子模式 | 需要类生产环境的输入，但不能影响用户 | 不会直接产生业务影响 |
| 人工辅助试点 | 需要了解采用情况和判断信号 | 人的行为会增加方差 |
| A/B 测试 | 可以安全地进行线上干预 | 需要流量、治理和监控 |
3. 定义基线
始终与以下对象进行比较：
- 当前流程；
- 简单启发式方法；
- 相关情况下的简单统计或 ML 基线；
- 可行时的已发表方法或标准方法；
- 涉及决策支持时的纯人工或人工搭配工具条件。
如果无法实现基线，请说明原因，以及这会如何削弱结论。
4. 按决策作用选择指标
使用四类指标：
- 主要成功指标：用于决定是否继续的指标。
- 诊断指标：解释系统为何有效或失效。
- 业务指标：关联成本、收入、风险、时间、满意度或合规性。
- 护栏指标：确保试点不会造成不可接受的伤害。
示例：
- 欺诈／风险：在审查能力约束下的 precision@review-capacity、固定假阳性率下的召回率、追回损失、调查人员工作量；
- 文档 AI：抽取 F1、字段级准确率、人工更正时间、幻觉率；
- 推荐：提升量、转化率、流失率、选择退出率、分群公平性；
- LLM 支持：答案依据充分度、升级率、处理时间、人工接受度、违反政策的比率。
当试点将指标与定性信号（访谈、采用反馈、人工审查）结合时，应有意识地设计这种组合，而不是分别开展两项工作后再生硬拼接。references/mixed-methods-integration.md 介绍了何时值得采用混合方法（方法论依据、新颖的整合洞见）、适合采用哪种设计类型（探索式／解释式序贯、汇聚式并行、嵌入式），以及应避免的反模式（样本污染、错失机会、整合失败），内容基于 Storey 等人（2025 年），arXiv:2404.06011。
5. 防止得出无效结论
检查以下问题：
- 目标泄漏；
- 特征中包含未来信息；
- 现行政策导致标签偏差；
- 已审查案例中的选择偏差；
- 季节性和营销活动的影响；
- 业务规则发生变化；
- 试点分配非随机；
- 指标被操纵；
- 人工审查不一致；
- 数据漂移。
如果任何风险影响重大，请增加控制措施或说明限制。
6. 添加消融实验和压力测试
只有在消融实验能回答与决策相关的问题时，才使用它们。
示例：
- 移除图特征，以检验网络结构是否重要；
- 对于大模型系统，比较仅检索与检索加生成；
- 比较模型评分与模型评分加解释对人工采纳的影响；
- 按客户细分、分支机构、渠道或时间段测试性能；
- 对分布外月份或罕见案例进行压力测试。
7. 设定通过／不通过标准
在看到结果之前定义阈值。
Go: improves primary metric by X while guardrails remain within Y.
Iterate: improves diagnostics but misses business threshold.
Stop: does not beat current process or violates guardrails.
Collect data: uncertainty dominated by label/data gaps.
如果样本量允许，请使用置信区间或重复的时间切分。
输出格式
# Pilot and evaluation design: [solution]
## Pilot decision
## Pilot scope
- Mode:
- Users/process:
- Data window:
- Deployment boundary:
- Out of scope:
## Hypothesis
If we ..., then ..., because ..., compared with ...
## Baselines
## Metrics
| Metric | Type | Why it matters | Decision threshold |
|---|---|---|---|
## Evaluation protocol
- Data split/replay design:
- Human evaluation design:
- Statistical analysis:
- Leakage controls:
- Monitoring:
## Ablations and stress tests
## Risks and guardrails
## Go/no-go criteria
## Pilot deliverables
质量标准
优秀的试点设计应小规模、安全、与决策相关，并坦诚说明它无法证明什么。