feedback-loops

フィードバックループ

フィードバックループとは、何がうまくいっていて、何がうまくいっていないかをユーザーがAIに伝える仕組みです。適切に設計されたループがあるかどうかで、時間とともに改善するAIになるか、同じ間違いを繰り返すAIになるかが決まります。

フィードバックの種類

• 明示的なフィードバック：高評価／低評価、星評価、「役に立った／役に立たなかった」ボタン
• 暗黙的なフィードバック：再生成（ユーザーがもう一度依頼する）、編集（ユーザーが出力を修正する）、離脱（ユーザーがその場を離れる）
• 修正フィードバック：ユーザーが正しい答えを示す（「違います。YではなくXのことです」）
• 選好フィードバック：ユーザーが選択肢から選ぶ（「選択肢Bのほうが好みです」）
• 文脈に応じたフィードバック：回答全体ではなく、出力の特定の部分に関連付けられたフィードバック

修正しやすい設計

最も価値のあるフィードバックは修正ですが、設計が最も難しいものでもあります。

• インライン編集：ユーザーがAIの出力を直接編集できるようにします。変更内容を記録します。
• 部分的な採用：ユーザーが一部を保持し、ほかを却下できるようにします。
• 説明のリクエスト：「なぜこのようにしたのですか？」というユーザーの質問から、何が問題だったかが分かります。
• 指示を添えて再実行：「もう一度試してください。ただし、もっとフォーマルにしてください」——再プロンプトによる修正です。

フィードバックのタイミング

フィードバックを求めるタイミングは重要です。

• 早すぎる：ユーザーがまだ出力を評価していません。フィードバックを求めるのは時期尚早です。
• 遅すぎる：ユーザーはすでに次に進んでいます。フィードバックを得る機会を逃しています。
• 邪魔になる：モーダルダイアログや必須の評価は、ユーザーの作業の流れを妨げます。
• 自然に収集する：編集や再生成など、ユーザーに尋ねずに受動的なシグナルを収集します。 まずは自然に収集するフィードバックを設計しましょう。明示的なフィードバックは必要最小限に追加します。

フィードバックループを完結させる

フィードバックは、何かを変える場合にのみ価値があります。ユーザーは、自分のフィードバックが役立っていると実感できる必要があります。

• 即時の適応：AIが現在の会話の中で調整します
• 継続的な学習：AIがセッションをまたいでユーザーの好みを記憶します
• 応答：「覚えておきます」——調整がすぐに行われない場合でも伝えます

設計成果物

• 機能ごとのフィードバック手段の一覧
• 暗黙的なシグナルの定義（何を肯定的／否定的とみなすか）
• フィードバックと適応の対応関係（どのフィードバックに基づいて何を変更するか）
• 修正フローの仕様