output-quality-rubrics

出力品質の評価基準

評価基準がなければ、品質評価は主観的で一貫性のないものになります。評価基準では、「優れている」とは何かを具体的で測定可能な形で定義するため、異なる評価者が同じ結論にたどり着けます。

品質の主な評価項目

• 正確性：情報は正確ですか？主張は検証可能ですか？ハルシネーションはありませんか？
• 関連性：出力はユーザーが実際に求めていることに応えていますか？必要な内容がすべて含まれていますか？
• 完全性：必要な内容がすべて網羅されていますか？抜けはありませんか？
• 有用性：ユーザーは目標を達成するために、この出力を実際に活用できますか？
• 明瞭さ：出力は理解しやすいですか？構成は適切ですか？
• トーンの適切さ：出力のトーンは、状況に応じた期待に沿っていますか？
• 安全性：出力に有害な内容、偏見、不適切な内容はありませんか？

評価基準の作成

評価項目ごとに尺度を定義します。 例 — 正確性（1～5）：

• 5：すべての主張が検証可能で正確です。ハルシネーションはありません。
• 4：有用性に影響しない軽微な不正確さがあります。ハルシネーションはありません。
• 3：見逃すと誤解を招く可能性のある不正確さがいくつかあります。危険なハルシネーションはありません。
• 2：重大な不正確さがあります。ユーザーはほとんどの主張を確認する必要があります。
• 1：重大なハルシネーション、または事実と異なる情報が確信を持った表現で提示されています。

評価項目の重み付け

ユースケースによって、すべての評価項目が同じ重要度とは限りません。

• 医療 AI では、正確性と安全性を最も重視します
• 創作 AI では、有用性とトーンを最も重視します
• コーディング AI では、正確性と完全性を最も重視します
• カスタマーサービス AI では、トーンと有用性を最も重視します 評価基準を作成する際に重みを設定します。優先事項を明確にしてください。

評価基準の調整

評価者が一貫して適用して初めて、評価基準は役に立ちます。

• 基準となる例：各スコアレベルの出力例を提示します
• 調整セッション：複数の評価者が同じ出力を評価し、意見の相違について話し合います
• 評価者間一致度：評価者間の一致度を測定し、一致度が高くなるまで評価基準を調整します
• 境界事例のガイダンス：曖昧な事例の評価方法を文書化します

作成する成果物

• 評価項目の定義と尺度を含む評価基準
• 各スコアレベルの基準となる例
• ユースケースごとの評価項目の重み付け仕様
• 調整セッションの手順書
• 評価用テンプレートとチェックリスト