task-success-metrics

タスク成功指標

出力の品質がタスクの成功を保証するわけではありません。AI が見事な回答を生成しても、ユーザーが実現したかったことに役立たない場合があります。タスク成功指標は、エンドツーエンドの結果を測定します。

タスク成功の定義

ユーザーの各タスクについて、以下を定義します。

• 成功とはどのような状態か？ ユーザーが目標を達成した（メールを送信した、情報を見つけた、デザインを完成させた）
• 成功基準は何か？ タスクの完了を示す、具体的で観察可能な条件
• 所要時間の目安は？ AI の支援がある場合とない場合で、このタスクにどれくらい時間がかかるか
• 品質の基準は？ 単に完了するだけでなく、十分な品質で仕上げる

タスク成功指標

• タスク完了率：タスクを完了したユーザーの割合（回答を受け取っただけではありません）
• 完了までの時間：最初の入力からタスク完了までの所要時間
• 完了までのやり取り回数：必要な往復のやり取りの回数
• 初回成功率：AI の最初の回答でタスクを達成できたか、それとも反復が必要だったか
• 介入率：ユーザーが AI を修正、方向転換、または上書きする必要があった頻度
• 離脱率：タスクを完了する前にユーザーが諦めた頻度

タスク成功の測定

• 直接測定：プロダクト分析を通じてタスク完了を追跡します（ユーザーが「完了」をクリックした、出力を保存した、次のステップに進んだなど）
• 推定測定：代理指標（セッション時間、再訪率、出力の編集など）から成功を推定します
• 自己申告による測定：AI が目標達成に役立ったかどうかをユーザーに尋ねます
• 比較測定：AI を使用した場合と使用しない場合、またはバージョン A とバージョン B のタスク成功を比較します

タスク成功と出力品質

両者は一致しないことがあります。

• 出力品質は高いが、タスク成功率は低い：AI の回答はよく書けていても、実際のニーズに応えていません
• 出力品質は低いが、タスク成功率は高い：AI の回答は粗削りでも、ユーザーが必要としていたものを正確に提供しています
• どちらも重要：両方を追跡し、食い違いがある場合は調査します

成果物

• 主要なユーザータスクごとのタスク成功の定義
• 測定方法を含む指標フレームワーク
• 成功基準の仕様
• ベースライン測定（AI 導入前、または現行バージョン）
• タスク成功ダッシュボードの仕様