context-window-design

コンテキストウィンドウの設計

すべての AI モデルのコンテキストウィンドウには上限があります。この制約を踏まえた設計と、それを中心としたユーザー体験の設計は、AI プロダクト設計における重要なスキルです。

設計素材としてのコンテキストウィンドウ

コンテキストウィンドウは単なる技術的な制約ではありません。設計素材でもあります。

• 何を含めるか：システムプロンプト、会話履歴、取得したドキュメント、ツールの結果、ユーザーの設定
• 何を削除するか：古いメッセージ、関連性の低いコンテキスト、冗長な指示
• ユーザーに何が見えるか：表示される会話と、モデルが実際に処理する内容は異なる場合があります 信頼性の高い体験を設計するには、デザイナーがコンテキストウィンドウの割り当てを理解する必要があります。

メモリと永続性

ユーザーは AI が記憶していることを期待します。異なる期間のメモリを考慮して設計しましょう。

• 会話内メモリ：このチャットで以前に話した内容です。通常はコンテキストウィンドウ自体で処理されます。
• 会話をまたぐメモリ：設定、過去の決定、進行中のプロジェクトです。明示的なメモリシステムが必要です。
• 共有メモリ：複数のユーザーやエージェント間で共有されるコンテキストです。プライバシーに十分配慮して設計する必要があります。

限られたコンテキストへの対策

• 要約：以前の会話を要約して圧縮し、トークンを節約します
• 検索拡張生成：すべての情報を読み込んだままにするのではなく、必要に応じて関連するコンテキストを取り込みます
• 優先順位付け：最も重要なコンテキストをプロンプトに近い位置に置きます（注意における新近性バイアス）
• ユーザーが制御できるコンテキスト：AI が記憶する内容をユーザーが固定、削除、または優先順位付けできるようにします
• 適切な機能低下：コンテキストが失われた場合、継続性を捏造するのではなく、そのことを認めます

設計成果物

• コンテキスト予算の割り当て（システムプロンプト、履歴、検索などに何トークンを割り当てるか）
• 何が保持され、何が一時的なのかを示すメモリアーキテクチャ図
• コンテキスト超過時の UX フロー（ウィンドウがいっぱいになったときに何が起こるか）
• ユーザー向けメモリ制御の仕様