behavioral-consistency

行動の一貫性

ユーザーは、AI がどのように振る舞うかについてのメンタルモデルを構築します。一貫性があるからこそ、そのモデルは信頼できるものになります。個々の応答がどれほど優れていても、一貫性の欠如は信頼を損ないます。

一貫性の側面

• セッション間：初めての会話でも、100 回目の会話でも、AI は同じように振る舞う必要があります
• トピック間：話題を切り替えても、AI の個性やアプローチが変わってはいけません
• モダリティ間：チャット、音声、メールのいずれでも、AI は同じように感じられる必要があります
• ユーザー間：パーソナライズが設計されている場合を除き、異なるユーザーにも同じ品質と個性を提供します
• 時間の経過に伴う一貫性：ユーザーに知らせずに、更新後に AI の振る舞いが突然変わってはいけません

一貫性が損なわれる要因

• 温度とサンプリング：生成時のランダム性によって自然なばらつきが生じます
• コンテキストへの依存：会話履歴が異なると、振る舞いも異なります
• プロンプトのドリフト：一貫性の確認を行わないまま、システムプロンプトが時間とともに変化します
• エッジケース：通常とは異なる入力によって、予測不能な応答が引き起こされます
• モデルの更新：新しいモデルのバージョンによって、振る舞いが微妙に変化する場合があります

一貫性を実現するための設計

• 行動仕様：一般的なシナリオやエッジケースのシナリオで期待される振る舞いを文書化します
• ゴールデンレスポンス：標準を定める参照応答のライブラリを維持します
• 回帰テスト：変更があるたびに、ゴールデンレスポンスのライブラリを基準にテストします
• 一貫性の指標：セッション間やユーザー間の行動のばらつきを追跡します
• ユーザーの期待：AI が何をどのように行うのかについて、期待値を設定し、維持します

一貫性と適応

一貫性は、柔軟性がないという意味ではありません。AI は次のことに適応する必要があります。

• ユーザーの好み（パーソナライズを目的として設計されている場合）
• コンテキストに応じたニーズ（トーンの調整で説明したように、トーンを切り替えること）
• フィードバックからの学習（メモリーシステムがある場合） 重要なのは、適応がランダムではなく、予測可能で説明可能であることです。

設計成果物

• 行動仕様書
• ゴールデンレスポンスのライブラリ
• 回帰テストスイート
• 一貫性を監視するダッシュボード
• 適応ルール（何を変更し、何を一定に保つか）