multimodal-llm

多模态大模型模式

集成领先多模态模型的视觉、音频和视频生成能力。涵盖图像分析、文档理解、实时语音 Agent、语音转文本、文本转语音，以及 AI 视频生成（Kling v3、Sora 2、Veo 3.1 std/lite/fast tiers、通过 gen4_turbo 使用 Runway Gen-4.5）。

规范模型 ID（Google ID 已于 2026-09-23 对照 ai.google.dev/gemini-api/docs/models 核实）：

提供商	模型 ID
Anthropic	claude-opus-5-5（推荐，自 CC 2.1.280 起为默认 Opus，与 Opus 5 具有相同的 2,576 px 预算）、claude-opus-5、claude-opus-4-8、claude-opus-4-7、claude-opus-4-6、claude-sonnet-5-5、claude-sonnet-4-6、claude-haiku-4-5-20251001。claude-fable-5 是 Anthropic 高于 Opus 的前沿级别（2026-07 正式发布）。价格高昂，切勿自动固定使用；fable-spend-consent 门控要求用户在产生任何 Fable 费用前明确同意
OpenAI	gpt-5.5（当前旗舰）
Google	gemini-3.1-pro-preview（旗舰）、gemini-3.1-flash-lite（成本）
Veo	veo-3.1-generate-preview / veo-3.1-lite-generate-preview / veo-3.1-fast-generate-preview
Kling	kling-v3（Kling API 中的 model_name 字段）
Runway	gen4_turbo（产品名称：Gen-4.5）

快速参考

类别	规则	影响	使用场景
视觉：图像分析	1	高	图像描述、视觉问答、多图对比、目标检测
视觉：文档理解	1	高	OCR、图表分析、PDF 处理、表格提取
视觉：模型选择	1	中	选择提供商、优化成本、图像尺寸限制
音频：语音转文本	1	高	转录、说话人分离、长音频
音频：文本转语音	1	中	语音合成、富有表现力的 TTS、多说话人对话
音频：模型选择	1	中	实时语音 Agent、提供商对比、定价
视频：模型选择	1	高	选择视频生成提供商（Kling、Sora、Veo、Runway）
视频：API 模式	1	高	异步任务轮询、SDK 集成、Webhook 回调
视频：多镜头	1	高	故事板、角色元素、场景一致性

共计：3 个类别（视觉、音频、视频生成）中的 9 条规则

视觉：图像分析

向多模态大模型发送图像，用于生成描述、视觉问答和目标检测。始终设置 max_tokens，并在编码前调整图像尺寸。

规则	文件	核心模式
图像分析	rules/vision-image-analysis.md	Base64 编码、多图、边界框

视觉：文档理解

使用视觉模型从文档、图表和 PDF 中提取结构化数据。

规则	文件	核心模式
文档视觉	rules/vision-document.md	PDF 页面范围、细节级别、OCR 策略

视觉：模型选择

根据准确性、成本和上下文窗口需求选择合适的视觉提供商。

规则	文件	核心模式
视觉模型	rules/vision-models.md	提供商对比、令牌成本、图像限制

音频：语音转文本

将音频转换为文本，并提供说话人分离、时间戳和情感分析。

规则	文件	核心模式
语音转文本	rules/audio-speech-to-text.md	Gemini 长音频、GPT-4o-Transcribe、AssemblyAI 功能

音频：文本转语音

通过选择语音和添加表达性提示，从文本生成自然语音。

规则	文件	关键模式
文本转语音	rules/audio-text-to-speech.md	Gemini TTS、语音配置、听觉提示

音频：模型选择

根据实时处理、转录或 TTS 用例，选择合适的音频／语音提供商。

规则	文件	关键模式
音频模型	rules/audio-models.md	实时语音对比、STT 基准测试、定价

视频：模型选择

根据用例、时长和预算，选择合适的视频生成提供商。

规则	文件	关键模式
视频模型	rules/video-generation-models.md	Kling、Sora、Veo、Runway 对比，定价，功能

视频：API 模式

通过恰当的异步轮询、SDK 和 Webhook 回调集成视频生成 API。

规则	文件	关键模式
API 集成	rules/video-generation-patterns.md	Kling REST、fal.ai SDK、Vercel AI SDK、任务轮询

视频：多镜头

通过分镜设计和角色元素，生成角色形象一致的多场景视频。

规则	文件	关键模式
多镜头	rules/video-multi-shot.md	Kling v3 角色元素、6 镜头分镜、身份绑定

关键决策

决策	建议
高精度视觉理解	claude-opus-5-5（自 CC 2.1.280 起的默认 Opus，视觉预算为 2,576 px，是 Opus 4.6 配额的 3 倍；应为其提供裁剪／分析工具，而不是增加思考量，因为这是该模型更省成本的优化方式）。(claude-fable-5 是前沿 SOTA 选项，GA 时间为 2026-07 — 价格较高，仅在通过 fable-spend-consent gate 明确同意后使用）
长文档	gemini-3.1-pro-preview（上下文长度超过 1M）
高性价比视觉理解	gemini-3.1-flash-lite（Flash-Lite 预览版的 GA 后继版本；预览版已于 2026-05-25 停止服务，计划于 2027-05-07 停止服务）
视频分析	gemini-3.1-pro-preview（原生视频，取代 2.5 Pro）
语音助手	Grok 4.20 上的 Grok Voice Agent（速度最快，<1s）
情感语音 AI	Gemini Live API
长音频转录	gemini-3.1-pro-preview（9.5 小时）
说话人分离	AssemblyAI 或 Gemini
可自托管的 STT	Whisper Large V3
角色形象一致的视频	kling-v3（Character Elements 3.0）
叙事视频／故事讲述	Sora 2（因果连贯性最佳）
电影级 B-roll	veo-3.1-generate-preview（摄像机控制 + 精细流畅的动态效果）
预算有限的草稿	veo-3.1-lite-generate-preview（约 $0.05/s，720/1080p）
中档快速渲染	veo-3.1-fast-generate-preview
专业 VFX	Runway gen4_turbo（Act-Two 动作迁移）
大批量社交视频	kling-v3 Standard（约 $0.20/视频）
开源视频生成	Wan 2.6 或 LTX-2
对口型／虚拟形象视频	kling-v3（原生对口型 API）

示例

import anthropic, base64

client = anthropic.Anthropic()
with open("image.png", "rb") as f:
    b64 = base64.standard_b64encode(f.read()).decode("utf-8")

response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": [
        {"type": "image", "source": {"type": "base64", "media_type": "image/png", "data": b64}},
        {"type": "text", "text": "Describe this image"}
    ]}]
)

常见错误

1. 视觉请求未设置 max_tokens（响应被截断）
2. 发送未经缩放的超大图片（>2048px）
3. 对简单的“是／否”分类使用 high 细节级别
4. 使用 STT + LLM + TTS 流程，而不是原生语音到语音
5. 未利用打断支持来实现自然的语音对话
6. 使用已弃用的模型（GPT-4V、Whisper-1）
7. 忽略视觉和音频端点的速率限制
8. 同步调用视频生成 API（它们是异步的，应轮询或使用回调）
9. 不使用角色元素，分别生成多个片段（角色每次看起来都不一样）
10. 将 Sora 用于大批量社交内容（成本高、速度慢——改用 Kling Standard）

相关技能

• ork:rag-retrieval - 使用图像 + 文本检索的多模态 RAG
• ork:llm-integration - 通用 LLM 函数调用模式
• streaming-api-patterns - 实时音频的 WebSocket 模式
• ork:demo-producer - 终端演示视频（VHS、asciinema）——并非 AI 视频生成