关于 chanjing-digital-human
面向 FrameVideo 的蝉镜平台使用技能,可生成数字人视频及 AI 图片或视频素材。它还涵盖认证、平台音频下载,以及将下载后的素材接入合成。
主要功能
- 01检查和管理 OAuth 认证
- 02生成数字人主持视频
- 03生成 AI 图片和视频素材
- 04下载平台音乐和音效
- 05将本地素材接入合成
适用场景
- 01制作数字人主持视频
- 02生成 B-roll、背景或产品视频片段
- 03添加蝉镜音乐或音效
- 04在 FrameVideo 中使用下载的平台素材
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ chanjing-ai/ framevideo --skill chanjing-digital-human安装后在 Claude Code 中输入/chanjing-digital-human确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
references/ai-creation.mdapi-enums.mdcomposition-wiring.mdstudio-routes.mdwebsite-project-payload.md详细介绍
FrameVideo 的蝉镜平台
适用场景
在以下情况下使用此技能:
- 数字人视频 — 生成蝉镜平台数字人主持视频
- AI Creation 资产 — 使用蝉镜 AIGC 生成图片/视频素材
- 平台音乐/音效 — 下载蝉镜平台背景音乐和音效
- OAuth 认证 — 检查/设置蝉镜平台认证
- 资产集成 — 将蝉镜生成的资产接入 FrameVideo composition
请勿使用
以下情况请勿使用此技能:
- 本地 TTS — 使用
framevideo-media(Kokoro TTS) - 本地音频处理 — 使用
framevideo-media(transcribe, remove-background) - Composition HTML 编写 — 使用
framevideo - SSML 语音标记 — 使用
framevideo-voiceover-ssml
快速入门
场景 1:生成数字人视频
# 1. 检查认证
npx framevideo auth status
# 2. 列出可用数字人和声音
npx framevideo chanjing people list --json
npx framevideo chanjing voices list --json
# 3. 创建数字人视频项目
# (详见 references/website-project-payload.md)
# 4. 下载生成的视频
# 下载到 assets/digital-humans/
场景 2:下载平台音乐
# 1. 认证
npx framevideo auth login
# 2. 浏览音乐分类
npx framevideo chanjing music categories --json
# 3. 列出音乐
npx framevideo chanjing music list --category <id> --compact
# 4. 下载
npx framevideo chanjing music download --id <id> --output assets/music/bg.mp3
场景 3:AI Creation 生图/生视频
# 使用 AI Creation API 生成图片或视频
# (详见 references/ai-creation.md)
路由
只阅读请求所需的内容:
| 用户意图 | 阅读 |
|---|---|
| 认证状态、登录、缺少凭据、Studio 登录路由 | studio-routes.md |
| 选择/列出公开或自定义的数字人或声音 | studio-routes.md |
| 生成数字人主持视频 | website-project-payload.md,然后阅读 api-enums.md |
| 轮询数字人任务状态或解读状态码 | api-enums.md |
| 生成蝉镜 AI 图片/视频资产 | ai-creation.md |
| 将生成的主持人、AI B-roll、图片、字幕或本地资产接入 FrameVideo | composition-wiring.md |
| 下载蝉镜 BGM 或 SFX | studio-routes.md,章节“背景音乐和音效” |
使用 framevideo-ai-production 中的 Shot 方案进行实际 AIGC 生成 | ai-creation.md 以及 framevideo-ai-production/references/chanjing-aigc-handoff.md |
对于仅在本地使用的 Kokoro TTS、Whisper 转录或背景移除,请改用 framevideo-media。
平台规则
- 使用共享蝉镜凭据存储中的 OAuth Bearer token。切勿打印、回显、保存或提交 token。
- 优先使用现有的 FrameVideo CLI、Studio 路由以及
packages/cli/src/tts/chanjingOpenapi.ts中的ChanjingOpenApiClient;不要复制独立的凭据脚本。 - Agent 编写的工作流不得使用
app_id、secret_key、CHANJING_OPENAPI_ACCESS_TOKEN或dp_open_app数据。 - 如果缺少 OAuth,且预览/Studio 可用,请优先使用 Studio 登录体验,而不是停留在环境变量说明上。
- 在 composition HTML 中引用任何生成或选定的平台资产之前,务必先将其下载。不要在渲染时使用远程蝉镜/OSS URL。
资产位置
使用以下本地项目路径:
| 资产 | 本地目录 |
|---|---|
| 数字人视频 | assets/digital-humans/ |
| AI Creation 图片 | assets/ai-creation/images/ |
| AI Creation 视频 | assets/ai-creation/videos/ |
| 蝉镜背景音乐 | assets/music/ |
| 蝉镜音效 | assets/sfx/ |
数字人工作流
- 检查认证状态。如果缺少认证,请使用 studio-routes.md 中的 Studio 登录流程。
- 解析
person_id和voice_id。 - 在布局前获取所选人员的真实元数据。
- 根据 website-project-payload.md 构建 website-project payload。
- 保存 website project 并验证
project_id。 - 提交视频合成并验证
task_id。 - 使用 api-enums.md 进行轮询。
- 将完成的视频下载到
assets/digital-humans/。 - 使用 composition-wiring.md 将其接入 FrameVideo。
ID 来源
| 由谁选择 | person_id | voice_id |
|---|---|---|
| 用户提供明确的 ID | 使用提供的 ID,但在排版前先获取匹配的人物元数据 | 直接使用 |
| Agent 选择 | 必须来自 OAuth 之后当前的 Studio/CLI Chanjing 列表路由 | 必须来自当前的 Chanjing 音色列表路由,或所选公开人物的 audioManId |
不要编造 ID,也不要重复使用 fixture ID。如果无法获取用户提供的 person ID,应报告错误,而不是改用其他人物。
AI 创作工作流
用于非主持人类 AIGC 图像/视频,例如 B-roll、生成的背景、概念图、产品展示片段、转场片段或抽象视觉素材。
- 阅读 ai-creation.md。
- 使用
framevideo chanjing ai-models ...获取当前可用模型;不要读取后端常量或复制的模型列表。 - 根据所选模型的
params_config.fields构建负载;不要硬编码模型选项。 - 提交前创建
.framevideo/ai-creation-tasks/*.json任务元数据。 - 提交计费任务前,执行本地和远程幂等性检查。
- 只提交缺失的任务。
- 使用短时同步运行来轮询/下载。
- 仅使用
assets/ai-creation/images/或assets/ai-creation/videos/下的本地文件进行合成。
音乐和音效工作流
用户需要平台 BGM、配乐、合唱提取、呼啸声、撞击声、点击声或转场音效时,使用 Chanjing 平台音乐/音效。
npx framevideo chanjing music categories --json
npx framevideo chanjing music list --compact
npx framevideo chanjing music download --id <music-id> --chorus --duration 10 --json
npx framevideo chanjing sound-effect list --compact
npx framevideo chanjing sfx download --id <effect-id> --volume 0.8 --json
将 BGM 放在 assets/music/ 下,将音效放在 assets/sfx/ 下。语音或数字人旁白期间,BGM 音量应保持较低。
合成接线
编写使用 Chanjing 素材的 HTML 前,阅读 composition-wiring.md。
核心规则:
- 视觉视频片段应静音。
- 如果生成的视频包含旁白,应另加一个
<audio>片段。 - 字幕应避开面部、手部、主持人身体、CTA、产品 UI 和平台字幕。
- 对于样式化的 FrameVideo 字幕,优先使用可用的合成时间字段;否则,使用
framevideo-media转录下载的本地视频/音频。 - 对于透明的主持人叠加层,下载后使用
framevideo-media去除背景。
严格禁止
- 不要将数字人 ID 作为网站
projectId传入。 - 不要手动编写
workspace_v2。 - 不要调用会返回 501 的兼容性存根,例如直接的数字人生成路由。
- 不要将远程
output_url或 Chanjing/OSS URL 插入合成 HTML。 - 如果存在匹配的本地或近期远程任务元数据,不要创建重复的 AI Creation 任务。
验证
将 Chanjing 素材接入 FrameVideo 项目后:
npx framevideo lint
npx framevideo validate
npx framevideo inspect
对于视觉重叠、字幕安全、主持人位置和 B-roll 可读性,请使用 framevideo-visual-qa。
评论
支持 Markdown