mcpField
C
chanjing-digital-human

chanjing-digital-human

github.com/chanjing-aiクリエイティブ・メディア0180 回インストール14 週間前に更新
リポジトリ

chanjing-digital-human について

FrameVideo で蝉鏡プラットフォームを利用し、デジタルヒューマン動画や AI 画像・動画素材を作成するスキルです。認証、音源のダウンロード、素材のコンポジションへの組み込みも扱います。

主な機能

  1. 01OAuth 認証の確認と管理
  2. 02デジタルヒューマンのプレゼンター動画作成
  3. 03AI 画像・動画素材の生成
  4. 04プラットフォームの音楽と効果音のダウンロード
  5. 05ローカル素材のコンポジションへの組み込み

活用シーン

  1. 01デジタルヒューマンのプレゼンター動画制作
  2. 02B-roll、背景、製品動画の生成
  3. 03蝉鏡の音楽や効果音の追加
  4. 04ダウンロードしたプラットフォーム素材の FrameVideo での利用

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/chanjing-ai/framevideo --skill chanjing-digital-human

インストール後、Claude Code で/chanjing-digital-humanを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

references/
ai-creation.md
api-enums.md
composition-wiring.md
studio-routes.md
website-project-payload.md

詳細

FrameVideo 向け蝉镜プラットフォーム

使用する場面

次の場合にこのスキルを使用します。

  • デジタルヒューマン動画 — 蝉镜プラットフォームでデジタルヒューマンの司会動画を生成する
  • AI Creation のアセット — 蝉镜 AIGC を使用して画像/動画素材を生成する
  • プラットフォームの音楽/効果音 — 蝉镜プラットフォームの BGM と効果音をダウンロードする
  • OAuth 認証 — 蝉镜プラットフォームの認証を確認/設定する
  • アセットの統合 — 蝉镜で生成したアセットを FrameVideo composition に組み込む

使用しない場面

次の場合はこのスキルを使用しないでください。

  • ローカル TTS — framevideo-media(Kokoro TTS)を使用します
  • ローカル音声処理 — framevideo-media(transcribe、remove-background)を使用します
  • Composition HTML の作成 — framevideo を使用します
  • SSML 音声マークアップ — framevideo-voiceover-ssml を使用します

クイックスタート

シナリオ 1:デジタルヒューマン動画の生成
# 1. 检查认证
npx framevideo auth status

# 2. 列出可用数字人和声音
npx framevideo chanjing people list --json
npx framevideo chanjing voices list --json

# 3. 创建数字人视频项目
# (详见 references/website-project-payload.md)

# 4. 下载生成的视频
# 下载到 assets/digital-humans/
シナリオ 2:プラットフォーム音楽のダウンロード
# 1. 认证
npx framevideo auth login

# 2. 浏览音乐分类
npx framevideo chanjing music categories --json

# 3. 列出音乐
npx framevideo chanjing music list --category <id> --compact

# 4. 下载
npx framevideo chanjing music download --id <id> --output assets/music/bg.mp3
シナリオ 3:AI Creation で画像/動画を生成
# 使用 AI Creation API 生成图片或视频
# (详见 references/ai-creation.md)

ルーティング

依頼に必要な内容だけを読みます。

ユーザーの目的読むファイル
認証状況、ログイン、認証情報の不足、Studio のログイン経路studio-routes.md
公開またはカスタムのデジタルヒューマンや音声の選択/一覧表示studio-routes.md
デジタルヒューマンの司会動画の生成website-project-payload.md、続いて api-enums.md
デジタルヒューマンタスクの状態確認、またはステータスコードの解釈api-enums.md
蝉镜 AI の画像/動画アセットの生成ai-creation.md
生成した司会者、AI の B-roll、画像、字幕、またはローカルアセットを FrameVideo に組み込むcomposition-wiring.md
蝉镜の BGM または効果音のダウンロードstudio-routes.md、「Background music and sound effects」セクション
framevideo-ai-production の Shot プランを実際の AIGC 生成に使用するai-creation.md と framevideo-ai-production/references/chanjing-aigc-handoff.md

ローカルのみで Kokoro TTS、Whisper の文字起こし、または背景除去を行う場合は、代わりに framevideo-media を使用します。

プラットフォームのルール

  • 共有の蝉镜認証情報ストアから OAuth Bearer トークンを使用します。トークンを表示、エコー、保存、またはコミットしないでください。
  • 既存の FrameVideo CLI、Studio のルート、および packages/cli/src/tts/chanjingOpenapi.ts の ChanjingOpenApiClient を優先します。スタンドアロンの認証情報スクリプトを複製しないでください。
  • エージェントが作成するワークフローでは、app_id、secret_key、CHANJING_OPENAPI_ACCESS_TOKEN、または dp_open_app のデータを使用しないでください。
  • OAuth が設定されておらず、プレビュー/Studio を利用できる場合は、環境変数の設定を案内して終了するのではなく、Studio のログイン UX を優先します。
  • 生成または選択したプラットフォームアセットはすべて、composition HTML で参照する前にダウンロードしてください。レンダリング時にリモートの Chanjing/OSS URL を使用しないでください。

アセットの保存場所

次のローカルプロジェクトパスを使用します。

アセットローカルディレクトリ
デジタルヒューマン動画assets/digital-humans/
AI Creation の画像assets/ai-creation/images/
AI Creation の動画assets/ai-creation/videos/
蝉镜の BGMassets/music/
蝉镜の効果音assets/sfx/

デジタルヒューマンのワークフロー

  1. 認証を確認します。設定されていない場合は、studio-routes.md に記載された Studio のログインフローを使用します。
  2. person_id と voice_id を解決します。
  3. レイアウトを決める前に、選択した人物の実際のメタデータを取得します。
  4. website-project-payload.md を基に website-project ペイロードを作成します。
  5. website project を保存し、project_id を確認します。
  6. 動画合成を送信し、task_id を確認します。
  7. api-enums.md を参照して状態を確認します。
  8. 完成した動画を assets/digital-humans/ にダウンロードします。
  9. composition-wiring.md を使用して FrameVideo に組み込みます。
ID の取得元
選択者person_idvoice_id
ユーザーが ID を明示的に指定指定された ID を使用しますが、レイアウトを作成する前に一致する人物のメタデータを取得しますそのまま使用します
エージェントが選択OAuth の後、現在の Studio/CLI の Chanjing リストルートから取得する必要があります現在の Chanjing 音声リストルート、または選択した公開人物の audioManId から取得する必要があります

ID を作り出したり、フィクスチャの ID を再利用したりしないでください。ユーザーが指定した人物 ID を取得できない場合は、別の人物に切り替えず、そのエラーを報告してください。

AI 作成ワークフロー

B ロール、生成した背景、コンセプト画像、商品紹介クリップ、トランジションクリップ、抽象ビジュアルなど、プレゼンターを含まない AIGC の画像や動画には、こちらを使用してください。

  1. ai-creation.md を読みます。
  2. framevideo chanjing ai-models ... を使って有効なモデルを取得します。バックエンドの定数やコピーされたモデル一覧は参照しないでください。
  3. ペイロードは、選択したモデルの params_config.fields から作成します。モデルのオプションをハードコードしないでください。
  4. 送信前に .framevideo/ai-creation-tasks/*.json のタスクメタデータを作成します。
  5. 請求対象タスクを送信する前に、ローカルとリモートの冪等性チェックを行います。
  6. 不足しているタスクのみ送信します。
  7. 短時間の同期実行でポーリングとダウンロードを行います。
  8. assets/ai-creation/images/ または assets/ai-creation/videos/ のローカルファイルのみを使って合成します。

音楽と効果音のワークフロー

ユーザーがプラットフォームの BGM、サウンドトラック、コーラスの抽出、ヒュッという音、ヒット音、クリック音、またはトランジション効果音を求めている場合は、Chanjing プラットフォームの音楽/効果音を使用してください。

npx framevideo chanjing music categories --json
npx framevideo chanjing music list --compact
npx framevideo chanjing music download --id <music-id> --chorus --duration 10 --json

npx framevideo chanjing sound-effect list --compact
npx framevideo chanjing sfx download --id <effect-id> --volume 0.8 --json

BGM は assets/music/ に、効果音は assets/sfx/ に保存します。音声またはデジタルヒューマンのナレーションの下では、BGM の音量を低くしてください。

合成の接続

Chanjing のアセットを使用する HTML を記述する前に、composition-wiring.md を読んでください。

基本ルール:

  • ビジュアル動画クリップはミュートにします。
  • 生成した動画にナレーションが含まれる場合は、別の <audio> クリップを追加します。
  • キャプションは、顔、手、プレゼンターの身体、CTA、商品 UI、プラットフォームの字幕に重ならないようにします。
  • スタイル付きの FrameVideo キャプションでは、利用可能な場合は合成タイミングのフィールドを優先します。それ以外の場合は、framevideo-media を使ってダウンロードしたローカル動画/音声を文字起こしします。
  • 透明なプレゼンターオーバーレイには、ダウンロード後に framevideo-media の背景除去を使用します。

禁止事項

  • デジタルヒューマン ID をウェブサイトの projectId として渡さないでください。
  • workspace_v2 を手作業で作成しないでください。
  • 501 を返す互換性スタブ(デジタルヒューマンを直接生成するルートなど)を呼び出さないでください。
  • リモートの output_url や Chanjing/OSS の URL を合成用 HTML に挿入しないでください。
  • 一致するローカルまたは最近のリモートタスクメタデータが存在する場合は、AI Creation タスクを重複して作成しないでください。

検証

Chanjing アセットを FrameVideo プロジェクトに接続した後:

npx framevideo lint
npx framevideo validate
npx framevideo inspect

ビジュアルの重なり、キャプションの安全性、プレゼンターの配置、B ロールの見やすさの確認には、framevideo-visual-qa を使用してください。

コメント