comparative-evaluation

比較評価

絶対的な品質スコアは役立ちますが、限界もあります。出力を並べて、どちらが優れているかを尋ねる比較評価では、評価基準では見落とされる品質の違いが明らかになることがよくあります。

比較方法

• A/B テスト：異なるバージョンを異なるユーザーに提示し、結果を比較します
• 並列評価：同じ入力に対する2つの出力を評価者に提示し、どちらが優れているかを尋ねます
• 選好順位付け：複数の出力を評価者に提示し、最良から最悪の順に順位付けしてもらいます
• ペア比較：すべての選択肢の組み合わせを比較し、完全な順位を作成します
• Elo レーティング：トーナメント形式の比較を用いて、連続的な品質スコアを算出します

AI の A/B テストの設計

AI の A/B テストは、UI の A/B テストとは異なります。

• ばらつきが大きい：同じプロンプトから異なる出力が生成されることがあるため、より多くのサンプルが必要です
• コンテキストが重要：同じ変更でも、あるタスクには役立ち、別のタスクには逆効果となる場合があります
• 指標への反映には時間がかかる：AI の品質変化がユーザーの行動に現れるまで、時間がかかることがあります
• 相互作用の影響：会話の一部への変更が、その後のすべての部分に影響します 次の点を踏まえて A/B テストを設計してください。
• 出力のばらつきを考慮した十分なサンプルサイズ
• タスクの種類とユーザーの経験レベルに基づくセグメント分け
• 複数の指標（ほかの指標を犠牲にして、1つの指標だけを最適化しないこと）
• 深刻な品質低下を速やかに検出するためのガードレール

並列評価の設計

AI の出力を人間が評価する場合：

• ブラインド評価：評価者には、どちらがどのバージョンかを知らせないでください
• 一貫した入力：同じ入力から生成された出力を比較してください
• 明確な評価基準：「どちらが優れているか」だけでなく、比較する具体的な観点を評価者に示してください
• 複数の評価者：信頼性を確保するため、比較ごとに少なくとも3人の評価者を用いてください
• 多様な入力：実際のユーザー入力を代表するサンプルを幅広く使ってテストしてください

比較評価と絶対評価の使い分け

• 比較評価：選択肢の比較、微妙な品質差の検出、モデルの選定に最適です
• 絶対評価：基準との照合、経時的な進捗の追跡、認定に最適です

設計資料

• A/B テスト設計テンプレート
• 並列評価プロトコル
• 評価者向けの説明と評価基準
• AI 実験用サンプルサイズ計算ツール
• 比較結果の分析フレームワーク