comparative-evaluation

比较评估

绝对质量评分很有用，但也有局限。比较评估——将输出并排展示，并询问哪个更好——往往能揭示评分标准未能发现的质量差异。

比较方法

• A/B 测试：向不同用户展示不同版本，并比较结果
• 并排评估：向评估者展示针对同一输入的两个输出，并询问哪个更好
• 偏好排序：向评估者展示多个输出，并从最好到最差排序
• 配对比较：比较每一组选项，以建立完整排名
• Elo 评分：使用锦标赛式比较，得出连续的质量评分

设计 AI 的 A/B 测试

AI 的 A/B 测试不同于 UI 的 A/B 测试：

• 方差较大：相同的提示词可能产生不同输出，因此需要更多样本
• 上下文很重要：同一项更改可能有助于某类任务，却会损害另一类任务
• 指标存在滞后：AI 质量的变化可能需要一段时间才会体现在用户行为中
• 交互效应：对对话某一部分的更改会影响后续所有部分 设计 A/B 测试时应做到：
• 采用足够大的样本量，以考虑输出方差
• 按任务类型和用户经验水平进行细分
• 使用多项指标（不要为了优化一项指标而牺牲其他指标）
• 设置防护措施，以便快速发现严重的质量退化

并排评估设计

对 AI 输出进行人工评估时：

• 盲测评估：评估者不应知道哪个版本对应哪项输出
• 输入一致：比较由相同输入生成的输出
• 结构化标准：为评估者提供具体的比较维度，而不只是询问“哪个更好”
• 多位评估者：每组比较至少安排 3 位评估者，以确保可靠性
• 输入多样化：使用具有代表性的真实用户输入样本进行测试

何时使用比较评估或绝对评估

• 比较评估：最适合在备选方案中做出选择、发现细微的质量差异，以及进行模型选择
• 绝对评估：最适合依据标准进行测量、追踪进展，以及认证

设计工件

• A/B 测试设计模板
• 并排评估方案
• 评估者说明和评分标准
• AI 实验样本量计算器
• 比较结果分析框架