mcpField
A
aliyun-videoretalk

aliyun-videoretalk

github.com/cinience创意与媒体39657 次安装11 周前更新
代码仓库

关于 aliyun-videoretalk

aliyun-videoretalk 是调用 Model Studio VideoRetalk 的技能，可将新音轨与现有人物视频结合，生成替换口型后的视频。它面向需要异步提交和跟踪视频处理任务的工作流。

主要功能

  1. 01用新音轨替换视频口型
  2. 02可指定多张脸中的目标人物
  3. 03可延长视频以匹配音频
  4. 04异步提交并轮询任务状态

适用场景

  1. 01为人物视频替换对白或配音
  2. 02处理包含多个人脸的视频
  3. 03让视频时长匹配较长的音轨

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/cinience/alicloud-skills --skill aliyun-videoretalk

安装后在 Claude Code 中输入/aliyun-videoretalk确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

agents/
openai.yaml
references/
sources.md
scripts/
prepare_retalk_request.py

详细介绍

类别：提供方

Model Studio VideoRetalk

验证

mkdir -p output/aliyun-videoretalk
python -m py_compile skills/ai/video/aliyun-videoretalk/scripts/prepare_retalk_request.py && echo "py_compile_ok" > output/aliyun-videoretalk/validate.txt

通过标准：命令以 0 退出，并生成 output/aliyun-videoretalk/validate.txt。

输出与证据

  • 将规范化的请求负载、目标人脸选择设置和任务轮询快照保存到 output/aliyun-videoretalk/ 下。
  • 记录准确的视频／音频输入 URL，以及是否启用了 video_extension。

当输入已经是人物视频，且任务是用新的语音轨道替换唇形同步时，请使用 VideoRetalk。

关键模型名称

请使用此确切模型字符串：

  • videoretalk

先决条件

  • 此模型目前仅支持中国大陆（北京）。
  • API 仅支持 HTTP 异步调用；没有在线控制台体验。
  • 在环境中设置 DASHSCOPE_API_KEY，或将 dashscope_api_key 添加到 ~/.alibabacloud/credentials。

规范化接口（video.retalk）

请求
  • model（字符串，可选）：默认值为 videoretalk
  • video_url（字符串，必填）
  • audio_url（字符串，必填）
  • ref_image_url（字符串，可选）：当输入视频包含多张人脸时，用于指定目标人脸
  • video_extension（布尔值，可选）：延长视频以匹配更长的音频
  • query_face_threshold（整数，可选）：120 至 200
响应
  • task_id（字符串）
  • task_status（字符串）
  • video_url（字符串，完成时返回）
  • usage（对象，可选）

端点和执行模式

  • 提交任务：POST https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis/
  • 轮询任务：GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}
  • HTTP 调用仅支持异步，且必须设置请求头 X-DashScope-Async: enable。

快速开始

python skills/ai/video/aliyun-videoretalk/scripts/prepare_retalk_request.py \
  --video-url "https://example.com/talking-head.mp4" \
  --audio-url "https://example.com/new-voice.wav" \
  --video-extension

操作指南

  • 输入视频应为正面拍摄，且人物距离足够近，以确保人脸跟踪稳定。
  • 如果视频包含多张人脸，请提供 ref_image_url 以指定目标人脸。
  • 如果新音频比输入视频长，请明确决定是延长画面轨道还是截断音频。
  • URL 必须是公开的 HTTP/HTTPS 链接；API 不接受本地文件路径。

输出位置

  • 默认输出：output/aliyun-videoretalk/request.json
  • 使用 OUTPUT_DIR 覆盖基础目录。

参考资料

  • references/sources.md

评论

支持 Markdown