remotion-production

Remotion 制作工作流

本技能涵盖 Remotion 自带技能未涉及的内容：获取媒体素材。它会协调 5 个 MCP 服务，制作旁白、音乐、音效、视频素材、图片和片段，然后将它们接入 Remotion 合成中。

基于官方技能构建

此插件基于各提供商自带的 Agent Skills 构建，只保留 Remotion 视频制作相关的特定内容：

提供商	官方技能	安装
Remotion	remotion-best-practices + 子技能	npx skills add remotion-dev/skills
ElevenLabs	text-to-speech、sound-effects、music、speech-to-text、voice-isolator、voice-changer	npx skills add elevenlabs/skills
Replicate	find-models、run-models、compare-models、prompt-images、prompt-videos	npx skills add replicate/skills

TwelveLabs 没有 Agent Skills；其 Agent 文档位于 https://docs.twelvelabs.io（以及 llms.txt）。

Remotion 维护着官方 Agent Skills（remotion-best-practices 及其子技能：remotion-create、remotion-markup、remotion-studio、remotion-render、remotion-captions、remotion-multimedia，等等）。它们是 Remotion API 的权威来源，并会随每次 Remotion 发布而更新。如果缺少这些技能，请先安装：npx skills add remotion-dev/skills（或运行 setup 技能）。

同时加载两者时，请按以下方式分工：

职责	遵循
旁白、音效、音乐	ElevenLabs 官方技能：在项目中编写一个小型 SDK 脚本，使用本技能指定的名称写入 public/。默认值：eleven_v4（语音）、music_v2_5（音乐）。
图片和 AI 片段	本技能：通过 remotion-media 使用 KIE；针对特定模型或 KIE 失败时，使用 Replicate（配合 Replicate 官方技能）
库存视频素材、素材分析、AI 审核	本技能：使用 Pexels 和 TwelveLabs MCP 工具
Remotion 标记：组件、导入、时间属性、动画、特效、转场、字体	官方 remotion-markup
项目脚手架	官方 remotion-create
预览	官方 remotion-best-practices / remotion-studio：项目运行后立即启动 Studio，早于场景构建，并保持打开
渲染	官方 remotion-render：仅在用户要求生成 MP4，或运行 review-video 时使用
字幕：逐词转录和显示	官方 remotion-captions（本技能仅增加 TikTok 风格预设和短视频布局）
测量媒体时长	官方 remotion-multimedia（Mediabunny），在 calculateMetadata 中进行
本文未涵盖的内容	使用官方 remotion-docs 技能查看最新文档，不要凭空猜测

如果此处的代码片段与官方技能有任何冲突，以官方技能为准。

提供商和 MCP 工具

ElevenLabs（语音、音效、音乐：默认选项）

• 使用 ElevenLabs 官方技能生成（SDK 脚本、ELEVENLABS_API_KEY）。付费套餐可将 Eleven Music 用于商业用途。
• 已弃用的替代方案：ElevenLabs MCP 服务（elevenlabs-mcp 0.12.2，上游已归档）仍会随一个版本继续提供，供快速交互式工作使用：text_to_speech、text_to_sound_effects、compose_music、voice_clone、search_voices、search_voice_library、isolate_audio、speech_to_text。它只会在 public/ 内读写；将项目的 public/ 作为 output_directory 传入。

remotion-media（通过 KIE：图像和片段）

• generate_image：AI 图像（Nano Banana Pro）
• generate_video_from_text：根据提示词生成 AI 片段（Veo 3.1）
• generate_video_from_image：让 1 张图像动起来，或在 2 张图像之间过渡。image_urls 必须是公开 URL。
• generate_speech、generate_music、generate_sound_effect：仅用于草稿。 Suno 和其他由 KIE 转售的模型未获其所有者授权通过 KIE 提供。使用 KIE 音频制作草稿和内部作品，并使用 ElevenLabs 生成最终商业音频。
• list_assets：浏览 Airtable 资源库（需要 AIRTABLE_API_KEY）
• 不要使用它的字幕工具；字幕应通过官方 Remotion 流程生成。
• KIE 的 Veo 依赖 Google 即将停用的预览版。如果片段调用失败，请改用 Replicate。

这些工具返回文件路径，而非时长。请按照官方 remotion-multimedia 技能中的说明测量时长。

TwelveLabs（视频理解和 AI 审核）

• create-asset（上传本地文件）→ 使用 modelName: "pegasus1.5" 和 JSON 响应架构调用 sync-analyse-video 或 async-analyse-video → 完成后调用 delete-asset
• search 只能在已索引的库中查找片段（“……的那一部分”）；它不会进行分析。

Pexels（素材视频）

• pexels_search_videos、pexels_search_photos、pexels_popular_videos、pexels_curated_photos、pexels_get_video、pexels_get_photo、collections
• 没有下载工具：从 pexels_get_video（或搜索结果）获取文件 URL，然后使用 curl 将其下载到 public/footage/。
• Pexels 无需署名，但署名会更好。

Replicate（可选，特定模型）

• 配置 REPLICATE_API_TOKEN 的本地 replicate-mcp：search_models、get_models、list_models_examples、create_models_predictions / create_predictions、get_predictions、download_files
• 遵循官方 Replicate 技能：调用前先搜索模型并阅读其输入架构。有关按日期整理的候选列表，请参阅 rules/replicate-models.md。

资源规范

• remotion-media 工具会将文件写入 public/<output_name>.<ext>，路径相对于启动 Agent 时所在的目录，因此必须从 Remotion 项目根目录启动 Agent。它们无法写入子文件夹，所以请在名称中标明类型：vo-scene1、music-bg、sfx-whoosh、img-hero、clip-city-aerial。
• 自行下载的文件（Pexels、Replicate 输出）应放入子文件夹：mkdir -p public/footage public/images，然后运行 curl -L -o public/footage/<name>.mp4 <url>。
• 使用 staticFile() 引用每个文件，并提供相对于 public/ 的准确路径，例如 staticFile("vo-scene1.mp3") 或 staticFile("footage/city.mp4")。

规则

根据任务阅读相应规则：

• rules/production-pipeline.md：MCP 流程从构思到预览的端到端步骤
• rules/audio-integration.md：叠加旁白、音乐和 SFX；音量闪避
• rules/voiceover-sync.md：使用 generate_speech 生成逐场景旁白，并通过 calculateMetadata 计时
• rules/music-scoring.md：音乐提示词、音量级别、逐场景音乐
• rules/sound-effects.md：SFX 提示词库，以及与视觉事件的时间同步
• rules/elevenlabs-advanced.md：语音克隆、语音库、音频隔离、多语音脚本
• rules/stock-footage-workflow.md：Pexels 搜索、下载、署名
• rules/video-analysis.md：TwelveLabs 索引、搜索和片段选择
• rules/image-generation.md：图像提示词和提供商选择（KIE、Replicate、Pexels）
• rules/video-generation.md：片段提示词、提供商选择、图像转视频流程
• rules/replicate-models.md：Replicate 模型目录，以及何时优先选择 Replicate 而非 KIE
• rules/captions-workflow.md：在官方字幕流程基础上使用 TikTok 风格的字幕预设
• rules/animation-presets.md：采用官方标记风格的文本动画方案
• rules/data-visualization.md：动画图表、仪表板和计数器
• rules/visual-effects.md：官方特效的使用方式，以及遮幅和故障效果
• rules/ci-rendering.md：用于自动渲染的 GitHub Actions 工作流
• rules/asset-management.md：命名、public/ 布局、staticFile() 常见错误

对于 3D、转场、漏光、Lottie、字体和其他 Remotion API，请直接使用官方 remotion-markup 技能。

关键原则

1. 音频决定时长。 先为每个场景生成旁白，在 calculateMetadata 中测量每个文件，并据此确定场景和合成的尺寸。帧数时长必须为整数：使用 Math.ceil。
2. 先预览。 项目运行后立即启动 Studio，让用户观察素材生成并随时调整。仅在用户提出要求时渲染，或用于 review-video。
3. 使用工具生成素材，使用官方技能编写标记。 MCP 工具负责生成文件；官方技能说明如何放置这些文件（使用 @remotion/media 中的 <Audio> 和 <Video>、计时属性、特效）。
4. 保留用户更改。 如果用户在两轮对话之间编辑了代码，请保留他们的编辑。