chanjing-digital-human について
FrameVideo で蝉鏡プラットフォームを利用し、デジタルヒューマン動画や AI 画像・動画素材を作成するスキルです。認証、音源のダウンロード、素材のコンポジションへの組み込みも扱います。
主な機能
- 01OAuth 認証の確認と管理
- 02デジタルヒューマンのプレゼンター動画作成
- 03AI 画像・動画素材の生成
- 04プラットフォームの音楽と効果音のダウンロード
- 05ローカル素材のコンポジションへの組み込み
活用シーン
- 01デジタルヒューマンのプレゼンター動画制作
- 02B-roll、背景、製品動画の生成
- 03蝉鏡の音楽や効果音の追加
- 04ダウンロードしたプラットフォーム素材の FrameVideo での利用
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ chanjing-ai/ framevideo --skill chanjing-digital-humanインストール後、Claude Code で/chanjing-digital-humanを入力して読み込まれたか確認します。
同梱ファイル
SKILL.md と一緒にインストールされる参考資料やスクリプト。
references/ai-creation.mdapi-enums.mdcomposition-wiring.mdstudio-routes.mdwebsite-project-payload.md詳細
FrameVideo 向け蝉镜プラットフォーム
使用する場面
次の場合にこのスキルを使用します。
- デジタルヒューマン動画 — 蝉镜プラットフォームでデジタルヒューマンの司会動画を生成する
- AI Creation のアセット — 蝉镜 AIGC を使用して画像/動画素材を生成する
- プラットフォームの音楽/効果音 — 蝉镜プラットフォームの BGM と効果音をダウンロードする
- OAuth 認証 — 蝉镜プラットフォームの認証を確認/設定する
- アセットの統合 — 蝉镜で生成したアセットを FrameVideo composition に組み込む
使用しない場面
次の場合はこのスキルを使用しないでください。
- ローカル TTS —
framevideo-media(Kokoro TTS)を使用します - ローカル音声処理 —
framevideo-media(transcribe、remove-background)を使用します - Composition HTML の作成 —
framevideoを使用します - SSML 音声マークアップ —
framevideo-voiceover-ssmlを使用します
クイックスタート
シナリオ 1:デジタルヒューマン動画の生成
# 1. 检查认证
npx framevideo auth status
# 2. 列出可用数字人和声音
npx framevideo chanjing people list --json
npx framevideo chanjing voices list --json
# 3. 创建数字人视频项目
# (详见 references/website-project-payload.md)
# 4. 下载生成的视频
# 下载到 assets/digital-humans/
シナリオ 2:プラットフォーム音楽のダウンロード
# 1. 认证
npx framevideo auth login
# 2. 浏览音乐分类
npx framevideo chanjing music categories --json
# 3. 列出音乐
npx framevideo chanjing music list --category <id> --compact
# 4. 下载
npx framevideo chanjing music download --id <id> --output assets/music/bg.mp3
シナリオ 3:AI Creation で画像/動画を生成
# 使用 AI Creation API 生成图片或视频
# (详见 references/ai-creation.md)
ルーティング
依頼に必要な内容だけを読みます。
| ユーザーの目的 | 読むファイル |
|---|---|
| 認証状況、ログイン、認証情報の不足、Studio のログイン経路 | studio-routes.md |
| 公開またはカスタムのデジタルヒューマンや音声の選択/一覧表示 | studio-routes.md |
| デジタルヒューマンの司会動画の生成 | website-project-payload.md、続いて api-enums.md |
| デジタルヒューマンタスクの状態確認、またはステータスコードの解釈 | api-enums.md |
| 蝉镜 AI の画像/動画アセットの生成 | ai-creation.md |
| 生成した司会者、AI の B-roll、画像、字幕、またはローカルアセットを FrameVideo に組み込む | composition-wiring.md |
| 蝉镜の BGM または効果音のダウンロード | studio-routes.md、「Background music and sound effects」セクション |
framevideo-ai-production の Shot プランを実際の AIGC 生成に使用する | ai-creation.md と framevideo-ai-production/references/chanjing-aigc-handoff.md |
ローカルのみで Kokoro TTS、Whisper の文字起こし、または背景除去を行う場合は、代わりに framevideo-media を使用します。
プラットフォームのルール
- 共有の蝉镜認証情報ストアから OAuth Bearer トークンを使用します。トークンを表示、エコー、保存、またはコミットしないでください。
- 既存の FrameVideo CLI、Studio のルート、および
packages/cli/src/tts/chanjingOpenapi.tsのChanjingOpenApiClientを優先します。スタンドアロンの認証情報スクリプトを複製しないでください。 - エージェントが作成するワークフローでは、
app_id、secret_key、CHANJING_OPENAPI_ACCESS_TOKEN、またはdp_open_appのデータを使用しないでください。 - OAuth が設定されておらず、プレビュー/Studio を利用できる場合は、環境変数の設定を案内して終了するのではなく、Studio のログイン UX を優先します。
- 生成または選択したプラットフォームアセットはすべて、composition HTML で参照する前にダウンロードしてください。レンダリング時にリモートの Chanjing/OSS URL を使用しないでください。
アセットの保存場所
次のローカルプロジェクトパスを使用します。
| アセット | ローカルディレクトリ |
|---|---|
| デジタルヒューマン動画 | assets/digital-humans/ |
| AI Creation の画像 | assets/ai-creation/images/ |
| AI Creation の動画 | assets/ai-creation/videos/ |
| 蝉镜の BGM | assets/music/ |
| 蝉镜の効果音 | assets/sfx/ |
デジタルヒューマンのワークフロー
- 認証を確認します。設定されていない場合は、studio-routes.md に記載された Studio のログインフローを使用します。
person_idとvoice_idを解決します。- レイアウトを決める前に、選択した人物の実際のメタデータを取得します。
- website-project-payload.md を基に website-project ペイロードを作成します。
- website project を保存し、
project_idを確認します。 - 動画合成を送信し、
task_idを確認します。 - api-enums.md を参照して状態を確認します。
- 完成した動画を
assets/digital-humans/にダウンロードします。 - composition-wiring.md を使用して FrameVideo に組み込みます。
ID の取得元
| 選択者 | person_id | voice_id |
|---|---|---|
| ユーザーが ID を明示的に指定 | 指定された ID を使用しますが、レイアウトを作成する前に一致する人物のメタデータを取得します | そのまま使用します |
| エージェントが選択 | OAuth の後、現在の Studio/CLI の Chanjing リストルートから取得する必要があります | 現在の Chanjing 音声リストルート、または選択した公開人物の audioManId から取得する必要があります |
ID を作り出したり、フィクスチャの ID を再利用したりしないでください。ユーザーが指定した人物 ID を取得できない場合は、別の人物に切り替えず、そのエラーを報告してください。
AI 作成ワークフロー
B ロール、生成した背景、コンセプト画像、商品紹介クリップ、トランジションクリップ、抽象ビジュアルなど、プレゼンターを含まない AIGC の画像や動画には、こちらを使用してください。
- ai-creation.md を読みます。
framevideo chanjing ai-models ...を使って有効なモデルを取得します。バックエンドの定数やコピーされたモデル一覧は参照しないでください。- ペイロードは、選択したモデルの
params_config.fieldsから作成します。モデルのオプションをハードコードしないでください。 - 送信前に
.framevideo/ai-creation-tasks/*.jsonのタスクメタデータを作成します。 - 請求対象タスクを送信する前に、ローカルとリモートの冪等性チェックを行います。
- 不足しているタスクのみ送信します。
- 短時間の同期実行でポーリングとダウンロードを行います。
assets/ai-creation/images/またはassets/ai-creation/videos/のローカルファイルのみを使って合成します。
音楽と効果音のワークフロー
ユーザーがプラットフォームの BGM、サウンドトラック、コーラスの抽出、ヒュッという音、ヒット音、クリック音、またはトランジション効果音を求めている場合は、Chanjing プラットフォームの音楽/効果音を使用してください。
npx framevideo chanjing music categories --json
npx framevideo chanjing music list --compact
npx framevideo chanjing music download --id <music-id> --chorus --duration 10 --json
npx framevideo chanjing sound-effect list --compact
npx framevideo chanjing sfx download --id <effect-id> --volume 0.8 --json
BGM は assets/music/ に、効果音は assets/sfx/ に保存します。音声またはデジタルヒューマンのナレーションの下では、BGM の音量を低くしてください。
合成の接続
Chanjing のアセットを使用する HTML を記述する前に、composition-wiring.md を読んでください。
基本ルール:
- ビジュアル動画クリップはミュートにします。
- 生成した動画にナレーションが含まれる場合は、別の
<audio>クリップを追加します。 - キャプションは、顔、手、プレゼンターの身体、CTA、商品 UI、プラットフォームの字幕に重ならないようにします。
- スタイル付きの FrameVideo キャプションでは、利用可能な場合は合成タイミングのフィールドを優先します。それ以外の場合は、
framevideo-mediaを使ってダウンロードしたローカル動画/音声を文字起こしします。 - 透明なプレゼンターオーバーレイには、ダウンロード後に
framevideo-mediaの背景除去を使用します。
禁止事項
- デジタルヒューマン ID をウェブサイトの
projectIdとして渡さないでください。 workspace_v2を手作業で作成しないでください。- 501 を返す互換性スタブ(デジタルヒューマンを直接生成するルートなど)を呼び出さないでください。
- リモートの
output_urlや Chanjing/OSS の URL を合成用 HTML に挿入しないでください。 - 一致するローカルまたは最近のリモートタスクメタデータが存在する場合は、AI Creation タスクを重複して作成しないでください。
検証
Chanjing アセットを FrameVideo プロジェクトに接続した後:
npx framevideo lint
npx framevideo validate
npx framevideo inspect
ビジュアルの重なり、キャプションの安全性、プレゼンターの配置、B ロールの見やすさの確認には、framevideo-visual-qa を使用してください。