mcpField
A
aliyun-videoretalk

aliyun-videoretalk

github.com/cinienceクリエイティブ・メディア39657 回インストール11 週間前に更新
リポジトリ

aliyun-videoretalk について

aliyun-videoretalkは、Model Studio VideoRetalkで人物動画の口の動きを新しい音声に合わせるスキルです。動画処理タスクの非同期送信と状態確認に対応します。

主な機能

  1. 01新しい音声に口の動きを合わせる
  2. 02複数の顔から対象を指定
  3. 03音声に合わせて動画を延長
  4. 04非同期タスクの送信と状態確認

活用シーン

  1. 01人物動画のセリフやナレーションの差し替え
  2. 02複数の顔が映る動画の処理
  3. 03長い音声に合わせた動画尺の調整

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/cinience/alicloud-skills --skill aliyun-videoretalk

インストール後、Claude Code で/aliyun-videoretalkを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

agents/
openai.yaml
references/
sources.md
scripts/
prepare_retalk_request.py

詳細

Category: provider

Model Studio VideoRetalk

検証

mkdir -p output/aliyun-videoretalk
python -m py_compile skills/ai/video/aliyun-videoretalk/scripts/prepare_retalk_request.py && echo "py_compile_ok" > output/aliyun-videoretalk/validate.txt

合格基準：コマンドが 0 で終了し、output/aliyun-videoretalk/validate.txt が生成されること。

出力と証拠

  • 正規化されたリクエストペイロード、対象の顔の選択設定、タスクのポーリングスナップショットを output/aliyun-videoretalk/ に保存します。
  • 動画／音声の入力 URL と、video_extension が有効になっているかどうかを正確に記録します。

入力がすでに人物の動画で、新しい音声トラックに合わせてリップシンクを置き換える場合は、VideoRetalk を使用します。

重要なモデル名

次のモデル文字列をそのまま使用します：

  • videoretalk

前提条件

  • このモデルは現在、中国本土（北京）のみをサポートしています。
  • API は HTTP による非同期処理のみで、オンラインコンソールは利用できません。
  • 環境に DASHSCOPE_API_KEY を設定するか、~/.alibabacloud/credentials に dashscope_api_key を追加します。

正規化インターフェース（video.retalk）

リクエスト
  • model（文字列、任意）：デフォルトは videoretalk
  • video_url（文字列、必須）
  • audio_url（文字列、必須）
  • ref_image_url（文字列、任意）：入力動画に複数の顔が含まれる場合の対象の顔
  • video_extension（ブール値、任意）：長い音声に合わせて動画を延長します
  • query_face_threshold（整数、任意）：120 ～ 200
レスポンス
  • task_id（文字列）
  • task_status（文字列）
  • video_url（文字列、完了時）
  • usage（オブジェクト、任意）

エンドポイントと実行モデル

  • タスクの送信：POST https://dashscope.aliyuncs.com/api/v1/services/aigc/image2video/video-synthesis/
  • タスクのポーリング：GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id}
  • HTTP 呼び出しは非同期処理のみです。ヘッダー X-DashScope-Async: enable を設定する必要があります。

クイックスタート

python skills/ai/video/aliyun-videoretalk/scripts/prepare_retalk_request.py \
  --video-url "https://example.com/talking-head.mp4" \
  --audio-url "https://example.com/new-voice.wav" \
  --video-extension

運用ガイダンス

  • 安定した顔追跡のため、入力動画は正面向きで、顔が十分な大きさに映っているものを使用します。
  • 動画に複数の顔が含まれる場合は、対象とする顔を指定するために ref_image_url を指定します。
  • 新しい音声が入力動画より長い場合は、映像トラックを延長するか、音声を切り詰めるかを明示的に決めます。
  • URL はパブリックな HTTP/HTTPS リンクである必要があります。API ではローカルファイルパスを使用できません。

出力先

  • デフォルトの出力先：output/aliyun-videoretalk/request.json
  • OUTPUT_DIR でベースディレクトリを上書きできます。

参考資料

  • references/sources.md

コメント

Markdown 対応