multimodal-orchestration

マルチモーダルオーケストレーション

AI とのやり取りは、テキスト、画像、音声、コード、ツール、構造化データなど、複数のモダリティにまたがることが増えています。これらのモダリティがどのように連携するかを設計するのがオーケストレーションです。どのチームにも共通するリスクは、ユーザーの役に立つからではなく、利用できるからという理由でモダリティを切り替えてしまうことです。

マルチモーダルの目的は、すべてのモダリティを使うことではありません。適切なタイミングで適切なものを使い、モダリティ間の境目に対処することです。

モダリティの選択

各モダリティには、それぞれ強みがあります。

• テキスト：正確で、編集でき、参照しやすい。指示、説明、ニュアンスのある内容に最適です。
• 画像：空間的で、全体を捉え、直感的です。レイアウト、図、視覚的な概念に最適です。
• 音声：自然で、ハンズフリーで、感情を伝えやすい。会話の流れやアクセシビリティに最適です。
• コード：実行可能で、正確で、検証可能です。技術仕様や自動化に最適です。
• 構造化データ：表、フォーム、JSON。比較、設定、データ入力に最適です。
• ツールの使用：外部システムでの操作。生成ではなく、実行に最適です。

AI が応答の各部分でどのモダリティを使うか、またユーザーにどのモダリティで入力してもらうかは、設計者が決めます。

モダリティ間の切り替え

やり取りのモダリティを切り替えるときは、その移行を設計します。

• テキスト → 画像：「このレイアウトは、たとえば次のようになります。」AI がテキストの説明からビジュアルを生成します。
• 画像 → テキスト：ユーザーがスクリーンショットをアップロードし、AI が内容を説明または批評します。
• テキスト → ツール：AI が計画を作成してから、それを実行します。
• 音声 → テキスト：音声での会話を記録し、構造化されたメモに要約します。

切り替えはシームレスに感じられるべきです。ユーザーが手動でモードを切り替える必要があってはなりません。

モダリティの競合

モダリティ同士が競合することもあります。

• テキストの内容と画像の内容が異なる
• 音声の口調がテキストの内容と矛盾する
• 構造化された出力が会話の枠組みに合わない

やり取りのコンテキストごとに、主要なモダリティを定めます。それ以外のモダリティは補助的なものであり、主要なモダリティを補足しても、決して覆してはなりません。

判断ルール

• AI が生成できるものではなく、ユーザーが活用できるモダリティを選びます。 ユーザーがグラフを求めているならグラフは役立ちますが、数字を求めているならグラフは余計なものです。
• テキストでの記録を必ず残します。 音声と画像の出力はスクリーンリーダーでは利用できず、検索もできず、セッション終了時に失われます。テキストが主要なモダリティではない場合でも、監査ログとして残します。
• モダリティが食い違う場合は、主要なモダリティを優先し、矛盾を明示します。「図では手順が3つですが、テキストでは4つになっています。整合するよう確認します。」
• モダリティの切り替えは、事前に知らせるか、簡単に元に戻せるようにします。「こちらがそのグラフです」のように、ユーザーがモードの切り替わりを把握できるようにするか、ワンタップで新しいモダリティを閉じられるようにします。
• 発話の途中でモダリティを切り替えないでください。 1回のターンで音声 → 画像 → 音声と切り替えると、ユーザーの処理のリズムが崩れます。モダリティごとの出力はターンの区切りにまとめます。
• 入力モダリティを決めるのはユーザーです。 ユーザーが最初に選んだモダリティを使えなくすることは決して避けてください。AI は複数のモダリティで出力できますが、入力モダリティはユーザーが決めます。

アンチパターン

• モダリティの見せびらかし：ユーザーが必要としているからではなく、システムが対応できるという理由で、目を引くモダリティ（チャート、音声、生成 UI）に切り替えることです。ユーザーに伝わるのは役立つことではなく、仕掛けです。
• 情報を損なう変換：モダリティ間の変換によって、重要な情報が失われることです。音声からテキストへの変換では強調や間が失われ、画像からテキストへの変換では空間的な関係が失われます。失われた情報を補足するか、両方を残してください。
• モダリティへのロックイン：AI がモダリティ X で応答し、ユーザーもモダリティ X でしか応答できないことです。音声で質問すると音声での回答を求められますが、そのときユーザーは会議中かもしれません。
• 予告なしの切り替え：やり取りの途中で、何の予告もなくモダリティが変わることです。アクセシビリティを損ない、ユーザーの期待を裏切り、スクリーンリーダーの利用者にはまったく使えなくなります。
• 主要モダリティの食い違い：2 つのモダリティがどちらも正しい情報として提示されることです。内容が食い違ったとき、ユーザーはどちらを信頼すべきかわかりません。
• モダリティの演出：ユーザーが文章を求めている内容に、構造化出力（JSON、表）を使うことです。厳密そうに見えても、読みやすさは損なわれます。

これを使わない場合

• 設計上、単一モダリティの製品 — 検索バー、コード補完ツール、文字起こしツールなどです。モデルが対応しているというだけで、モダリティを追加しないでください。
• 入力が制約される状況（運転中、医療用手袋の着用時、低帯域幅環境） — その状況で使えるモダリティを 1 つ選び、それに徹してください。調整に伴う負荷は余計です。
• 初期のプロトタイプ — 継ぎ目を増やす前に、1 つのモダリティを十分に機能させてください。マルチモーダルの失敗の多くは、主要モダリティの準備不足が原因です。

関連項目

• generative-ui — 補助モダリティが生成 UI の場合、このスキルは切り替えるタイミングを定義し、generative-ui は切り替え先を定義します。
• conversation-patterns — モダリティの切り替えは、実質的には修復シーケンスです。そのように設計してください。
• progressive-disclosure — 副次的なモダリティは高度な機能であることが多いため、意図的に開示してください。
• feedback-loops — ユーザーがどのモダリティ切り替えを元に戻すかを記録してください。それが得られる最も明確な暗黙のフィードバック信号です。

設計成果物

• 各インタラクションポイントで使用するモダリティを示すモダリティマップ
• モダリティ間の切り替え仕様（トリガー、内容、モダリティが利用できない場合のフォールバック）
• 機能ごとの入出力モダリティマトリクス
• モダリティが利用できない場合（低速な接続、スクリーンリーダー、アクセシビリティ設定）のフォールバック定義

作成例 — デザインレビュー機能のモダリティマトリクス：

段階	AI の出力（主要）	AI の出力（補助）	ユーザーの入力	理由
アップロードの確認	テキストでの確認	—	画像（モックアップ）	ユーザーは画像で考えている段階です。AI は記録用にテキストで確認します。
批評	テキスト（番号付き）	注釈付きの画像オーバーレイ	テキスト	番号付きテキストは参照しやすく、オーバーレイは各指摘箇所を示します。
修正案の提示	注釈付きの画像	テキストでの根拠説明	テキストまたはポイントのクリック	ユーザーは、視覚的な修正（ワンタップ）か、文章による根拠説明かを選べます。
反復	テキスト	画像の差分	画像（修正版のモックアップ）	反復サイクルでは、ユーザーが印象ではなく比較を求めているため、テキストが中心になります。

次のパターンに注目してください。AI はユーザーの入力に合うモダリティ、または最も実行に移しやすいモダリティを使い、テキストを基盤とします。ほとんどの場合、画像は補助的に使われ、視覚的な変更に合意する正確なタイミングでのみ主要モダリティになります。

マルチモーダルインターフェースに関する研究と、モダリティはシステムの能力ではなく、タスクに対するユーザーの表現に対応させるべきだという原則に基づいています（Maybury & Wahlster のインテリジェントマルチメディアインターフェースに関する研究）。