multimodal-llm

マルチモーダル LLM のパターン

主要なマルチモーダルモデルのビジョン、音声、動画生成機能を統合します。画像分析、ドキュメントの理解、リアルタイム音声エージェント、音声認識、音声合成、AI 動画生成（Kling v3、Sora 2、Veo 3.1 の std／lite／fast ティア、gen4_turbo 経由の Runway Gen-4.5）を扱います。

正式なモデル ID（Google の ID は 2026-09-23 に ai.google.dev/gemini-api/docs/models で確認済み）：

プロバイダー	モデル ID
Anthropic	claude-opus-5-5（推奨。CC 2.1.280 以降のデフォルト Opus。Opus 5 と同じ 2,576 px の予算）、claude-opus-5、claude-opus-4-8、claude-opus-4-7、claude-opus-4-6、claude-sonnet-5-5、claude-sonnet-4-6、claude-haiku-4-5-20251001。claude-fable-5 は Anthropic の Opus を超えるフロンティアティア（2026-07 に GA）。プレミアム価格のため、自動的に固定しないでください。fable-spend-consent ゲートでは、Fable に費用をかける前にユーザーの明示的な同意が必要です
OpenAI	gpt-5.5（現行のフラッグシップ）
Google	gemini-3.1-pro-preview（フラッグシップ）、gemini-3.1-flash-lite（低コスト）
Veo	veo-3.1-generate-preview / veo-3.1-lite-generate-preview / veo-3.1-fast-generate-preview
Kling	kling-v3（Kling API の model_name フィールド）
Runway	gen4_turbo（製品名：Gen-4.5）

クイックリファレンス

カテゴリー	ルール	重要度	使用場面
ビジョン：画像分析	1	高	画像キャプション生成、VQA、複数画像の比較、物体検出
ビジョン：ドキュメントの理解	1	高	OCR、チャート／図の分析、PDF 処理、表の抽出
ビジョン：モデルの選択	1	中	プロバイダーの選択、コストの最適化、画像サイズの上限
音声：音声認識	1	高	文字起こし、話者ダイアライゼーション、長時間音声
音声：音声合成	1	中	音声合成、表現力豊かな TTS、複数話者の対話
音声：モデルの選択	1	中	リアルタイム音声エージェント、プロバイダーの比較、料金
動画：モデルの選択	1	高	動画生成プロバイダー（Kling、Sora、Veo、Runway）の選択
動画：API パターン	1	高	非同期タスクのポーリング、SDK の統合、Webhook コールバック
動画：マルチショット	1	高	ストーリーボード作成、キャラクター要素、シーンの一貫性

合計：3 カテゴリー（ビジョン、音声、動画生成）にわたる 9 つのルール

ビジョン：画像分析

マルチモーダル LLM に画像を送信して、キャプション生成、視覚的な QA、物体検出を行います。常に max_tokens を設定し、エンコード前に画像のサイズを変更してください。

ルール	ファイル	主なパターン
画像分析	rules/vision-image-analysis.md	Base64 エンコード、複数画像、バウンディングボックス

ビジョン：ドキュメントの理解

ビジョンモデルを使用して、ドキュメント、チャート、PDF から構造化データを抽出します。

ルール	ファイル	主なパターン
ドキュメントのビジョン	rules/vision-document.md	PDF のページ範囲、詳細レベル、OCR 戦略

ビジョン：モデルの選択

精度、コスト、コンテキストウィンドウの要件に基づいて、適切なビジョンプロバイダーを選択します。

ルール	ファイル	主なパターン
ビジョンモデル	rules/vision-models.md	プロバイダーの比較、トークンコスト、画像の上限

音声：音声認識

話者ダイアライゼーション、タイムスタンプ、感情分析を用いて、音声をテキストに変換します。

ルール	ファイル	主なパターン
音声認識	rules/audio-speech-to-text.md	Gemini の長時間音声、GPT-4o-Transcribe、AssemblyAI の機能

オーディオ：テキスト読み上げ

音声の選択と表現豊かなキューを使って、テキストから自然な音声を生成します。

ルール	ファイル	主なパターン
テキスト読み上げ	rules/audio-text-to-speech.md	Gemini TTS、音声設定、音声キュー

オーディオ：モデルの選択

リアルタイム処理、文字起こし、TTS のユースケースに適したオーディオ／音声プロバイダーを選択します。

ルール	ファイル	主なパターン
オーディオモデル	rules/audio-models.md	リアルタイム音声の比較、STT ベンチマーク、料金

ビデオ：モデルの選択

ユースケース、長さ、予算に基づいて、適切なビデオ生成プロバイダーを選択します。

ルール	ファイル	主なパターン
ビデオモデル	rules/video-generation-models.md	Kling、Sora、Veo、Runway の比較、料金、機能

ビデオ：API パターン

適切な非同期ポーリング、SDK、Webhook コールバックを使って、ビデオ生成 API を統合します。

ルール	ファイル	主なパターン
API 統合	rules/video-generation-patterns.md	Kling REST、fal.ai SDK、Vercel AI SDK、タスクのポーリング

ビデオ：マルチショット

ストーリーボードとキャラクター要素を使い、キャラクターの一貫性を保ちながら複数のシーンからなるビデオを生成します。

ルール	ファイル	主なパターン
マルチショット	rules/video-multi-shot.md	Kling v3 のキャラクター要素、6 ショットのストーリーボード、アイデンティティの紐付け

主な判断基準

判断基準	推奨
高精度なビジョン	claude-opus-5-5（CC 2.1.280 以降のデフォルト Opus。ビジョン予算は 2,576 px で、Opus 4.6 の割り当て量の 3 倍です。このモデルでは、さらに思考させるより、切り抜き／分析ツールを与えるほうが低コストです。）。（claude-fable-5 は最先端の SOTA オプションで、2026-07 に GA となります。プレミアム価格のため、fable-spend-consent ゲートを介した明示的な同意がある場合にのみ使用してください）
長文書	gemini-3.1-pro-preview（100 万以上のコンテキスト）
コスト効率の高いビジョン	gemini-3.1-flash-lite（Flash-Lite のプレビュー版の後継として GA。プレビュー版は 2026-05-25 に提供終了済みで、提供終了日は 2027-05-07 に設定されています）
ビデオ分析	gemini-3.1-pro-preview（ネイティブのビデオ対応で、2.5 Pro の後継）
音声アシスタント	Grok 4.20 の Grok Voice Agent（最速、1 秒未満）
感情表現に対応した音声 AI	Gemini Live API
長時間の音声文字起こし	gemini-3.1-pro-preview（9.5 時間）
話者ダイアライゼーション	AssemblyAI または Gemini
セルフホスト可能な STT	Whisper Large V3
キャラクターの一貫性を保ったビデオ	kling-v3（Character Elements 3.0）
物語性のあるビデオ／ストーリーテリング	Sora 2（因果関係の一貫性に最適）
シネマティックな B ロール	veo-3.1-generate-preview（カメラ制御と洗練された動き）
低予算のドラフト	veo-3.1-lite-generate-preview（約 $0.05／秒、720／1080p）
中価格帯の高速レンダリング	veo-3.1-fast-generate-preview
プロ向け VFX	Runway gen4_turbo（Act-Two のモーション転送）
大量制作向けのソーシャルビデオ	kling-v3 Standard（約 $0.20／ビデオ）
オープンソースのビデオ生成	Wan 2.6 または LTX-2
リップシンク／アバタービデオ	kling-v3（ネイティブのリップシンク API）

例

import anthropic, base64

client = anthropic.Anthropic()
with open("image.png", "rb") as f:
    b64 = base64.standard_b64encode(f.read()).decode("utf-8")

response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": [
        {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": b64}},
        {"type": "text", "text": "Describe this image"}
    ]}]
)

よくある間違い

1. ビジョンリクエストで max_tokens を設定しない（応答が途中で切り詰められます）
2. サイズを変更せずに大きすぎる画像を送信する（2048px 超）
3. 単純なはい／いいえの分類に high の詳細レベルを使う
4. ネイティブの音声間変換の代わりに、STT＋LLM＋TTS のパイプラインを使う
5. 自然な音声会話のための割り込み対応を活用しない
6. 非推奨モデル（GPT-4V、Whisper-1）を使う
7. ビジョンおよびオーディオエンドポイントのレート制限を無視する
8. ビデオ生成 API を同期的に呼び出す（非同期のため、ポーリングするかコールバックを使ってください）
9. キャラクター要素を使わずにクリップを個別に生成する（生成するたびにキャラクターの見た目が変わります）
10. 大量制作向けのソーシャルコンテンツに Sora を使う（高コストで低速のため、代わりに Kling Standard を使ってください）

関連スキル

• ork:rag-retrieval - 画像とテキストの検索を用いたマルチモーダル RAG
• ork:llm-integration - LLM の一般的な関数呼び出しパターン
• streaming-api-patterns - リアルタイム音声向けの WebSocket パターン
• ork:demo-producer - ターミナルのデモ動画（VHS、asciinema）— AI 動画生成ではありません