mcpField
V
video-multimodal-generate

video-multimodal-generate

github.com/meitu创意与媒体36109 次安装9 周前更新
代码仓库

关于 video-multimodal-generate

video-multimodal-generate 是基于多媒体素材生成视频的技能，适用于需要混合音频、视频、图片和文字进行创作的场景。它可参考视频的运镜、风格或节奏，并支持多种素材组合。

主要功能

  1. 01混合音频、视频、图片与文字生成
  2. 02参考视频运镜、风格或节奏
  3. 03最多组合 12 项多媒体素材
  4. 04输出 MP4，支持 480p 或 720p

适用场景

  1. 01根据音乐和图片制作配套视频
  2. 02参照视频节奏生成新视频
  3. 03混合图片、视频与音频创作
  4. 04为多素材视频设定画幅和时长

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/meitu/meitu-skills --skill video-multimodal-generate

安装后在 Claude Code 中输入/video-multimodal-generate确认已加载。

详细介绍

来自项目 README

Video Multimodal Generate

Overview

调用 meitu video-multimodal-generate 基于音频/视频/图片/文字任意组合做多模态混合驱动视频生成。适合音乐配视频、参考视频运镜/节奏、多素材混合生成。

不处理：纯文字生成视频、仅图片生成视频（无视频无音频）、动作迁移。

API Mapping

DAG 工具后端 API
video-multimodal-generatevideo_multimodal_generate

Dependencies

  • meitu-cli: >=2.0.6
  • 凭证：CONFIG AKSK → meitu tools update；EXEC AKSK → 跑命令
  • 环境变量：MEITU_OPENAPI_TOOL_TASK_MODE=command

路径别名：$VISUAL = {OPENCLAW_HOME}/workspace/visual/

Core Workflow

Preflight → Execute → Deliver
Preflight
  1. meitu --version ≥ 2.0.6；meitu auth verify --json
  2. 确认已跑过 Config Phase；MEITU_OPENAPI_TOOL_TASK_MODE=command
  3. output_dir 解析：openclaw.yaml → ./output/ | else → $VISUAL/output/video-multimodal-generate/；mkdir -p {output_dir}
Execute

触发信号/路由

触发条件（任一成立）：

  • 用户上传音频 → 必须走本工具（独有能力）
  • 仅视频无图片 → 运镜/风格/节奏参考
  • 用户想参考视频的运镜/风格/节奏（不是模仿人体动作）
  • 复杂多素材混合（图片+视频+音频）

决策顺序：

  1. 至少一类多媒体素材；prompt 缺失 → 追问
  2. 素材总数 ≤12（图片+视频+音频合计）
  3. 唯一路由 → video_multimodal_generate

有图+视频但意图不明（运镜 vs 动作模仿）→ 默认走本工具。

参数定义

参数类型必填范围默认值说明
promptSTRING是----文字描述；缺失 → "请描述你想生成的视频内容"
video_durationNUMBER是4–15 / -1（智能）-1视频时长（秒）
ratioSTRING是adaptive/16:9/4:3/1:1/3:4/9:16/21:9adaptive画面比例
image_listARRAY否≤9 张--图片 URL 列表
reference_video_listARRAY否≤3 个，总时长 ≤15s--参考视频 URL 列表
reference_audio_listARRAY否≤3 个，总时长 ≤15s--音频 URL 列表
soundBOOL否true / falsetrue是否生成音频
resolutionSTRING否480p / 720p720p视频分辨率

至少提供一类多媒体素材；图片+视频+音频合计 ≤12。

工具调用

meitu video-multimodal-generate \
  --skill_name skill_video-multimodal-generate \
  --prompt "{prompt}" \
  --video_duration -1 \
  --ratio adaptive \
  --image_list '["{url1}"]' \
  --reference_video_list '["{video_url}"]' \
  --reference_audio_list '["{audio_url}"]' \
  --sound true --resolution 720p \
  --json --download-dir {output_dir}

错误降级

场景处理
prompt 缺失但有素材提示"请描述你想生成的视频内容"
素材总数 >12提示输入限制，建议精简素材
video_duration 与音频时长冲突优先匹配音频时长，告知用户
部分素材不可访问静默过滤，按剩余素材继续执行
调用失败降级模型版本重试 1 次 → 仍失败返回错误
超时降低 duration / size 重试 1 次 → 仍失败返回错误
内容合规拦截直接返回合规提示，不重试
无任何多媒体素材不属于本工具范畴
Deliver

解析 --json → downloaded_files[0].saved_path 或 media_urls[0]。

mv {file} {output_dir}/{YYYY-MM-DD}_{name}_multimodal.mp4

Output

  • 格式：MP4（默认 720p，可选 480p）
  • 命名：{YYYY-MM-DD}_{descriptive-name}_multimodal.mp4
  • 位置：项目 → ./output/；一次性 → $VISUAL/output/video-multimodal-generate/

基线 Task ID

t_mt1a3i5n7bd3dd7a38-c263-48f7-ac18-bb8573c364b2

评论

支持 Markdown