hedra-character-video

Hedra 角色视频制作

当任务本质上是角色表演时，使用 Hedra：静态或生成的角色需要说话、唱歌、回应、做手势、主持课程、推销产品，或作为实时虚拟形象参与其中。首先应将 Hedra 视为音频驱动的表演系统，而不是通用电影视频模型。

本技能中易变的信息已于 2026-07-10 根据 Hedra 官方页面核实。在付费制作或对合规性要求较高的制作前，请重新核查 Hedra 的模型列表、定价、时长限制、订阅/API 访问权限和法律页面。

用于决策的已证实信息

已于 2026-07-10 核实：

• Hedra 文档中的公开 API 基础 URL 为 https://api.hedra.com/web-app/public，调用时需要提供 X-API-Key 标头。API 访问文档说明，用户需要拥有 Hedra 账户和可访问 API 的付费方案，并从 API 个人资料页面获取 API 密钥。
• API 头像指南记录了两种 Hedra 原生头像模型：
  • Hedra Avatar，模型 ID 为 26f0fc66-152b-40ab-abed-76c43df99bc8，用于生成最长 10 分钟的对话头像／唇形同步片段。
  • Hedra Omnia，模型 ID 为 ab372b84-432f-44f5-bacc-c2542465f712，用于生成最长 8 秒、带全身动作的动态头像视频。
• 两种文档所述的头像模型都需要图像和音频输入。头像视频时长取决于音频长度；生成长篇头像视频时，应轮询状态以获取 progress 和 eta_sec。
• UGC 头像视频的应用工作流接受通过上传或 Hedra 生成的图像、通过上传／录制／AI 生成的音频、所选头像模型、宽高比、分辨率和批量大小。Hedra 自己的应用技巧建议使用正面人像、高分辨率图像和清晰音频，并在长时间生成前先进行简短测试。
• 文件规格列出了 .wav 和 .mp3 音频，所有文件类型的最大文件大小为 10 MB；免费方案的音频时长上限为 20 秒，付费方案的音频／视频时长上限则视模型而定，最长可达 10 分钟。同一页面还列出 Hedra Avatar 的时长上限为 10 分钟，Hedra Omnia 为 8 秒。
• Hedra 的视频模型指南将 Hedra Avatar 定位为由音频驱动的头像制作，使用图像 + 音频输入，提供可靠的唇形同步，适合长篇对话，标示费用为每秒 7 个积分；该指南将 Hedra Omnia 定位为适用于简短电影感对话的模型，使用文本 + 音频输入，支持摄像机控制，并提供逼真的动作／情绪表现，标示费用为每秒 15 个积分。这些积分数字可能会变动。
• Hedra API 视频生成支持 type: "video"、ai_model_id、start_keyframe_id 或 start_keyframe_url、audio_id 或内嵌的 audio_generation、generated_video_inputs.text_prompt、aspect_ratio、resolution、duration_ms、batch_size，以及通过 /generations/{generation_id}/status 轮询状态。
• Hedra API 文本转语音支持 type: "text_to_speech"、voice_id、text，以及可选的 stability、speed 和 language。应用文档提到可选择 ElevenLabs V3、ElevenLabs V2 和 MiniMax 作为音频模型，并提供用于控制语气、反应、音量／能量和语速／节奏的语音控制标签。
• Hedra 文档介绍了语音克隆：上传音频样本，提交 voice_clone 生成请求，并将返回的语音资源用作 voice_id。
• Hedra Studio 记录了多角色图像的发言人选择功能：将发言人指示标记放置在要发言的角色上方并调整其大小。被选中的角色会根据音频输入进行说话、唱歌或表演。
• Hedra Live Avatar 是一条独立的实时路径，结合使用 LiveKit 和 Hedra，并需要设置 LiveKit、Hedra 以及通常还有 OpenAI 的环境变量。指南记录了 @hedra/create-hedra-avatar、livekit-agents[hedra]~=1.0、HEDRA_AVATAR_ID，以及 LiveKit 房间中的会话行为。
• Hedra 的可接受使用政策禁止非法用途、伤害未成年人、误导性虚假内容、涉及他人（特定历史／公共利益情形除外）的个人信息、未经同意的冒充／深度伪造、敏感个人信息、露骨色情内容、骚扰／诽谤，以及若干高影响自动化决策或歧视性用途。
• Hedra 的隐私和生物识别政策指出，上传／生成的用户内容可能包括照片、音频／声音、视频、元数据和衍生数据；头像／图像／音频功能可能会从中提取生物识别数据，例如面部几何结构模板或音频／录音中的信息。生物识别数据用于提供功能和遵守法律，并会在适用的生物识别法律要求时征得同意。

选择 Hedra 功能

选择最符合生产需求的最小功能范围：

• 当用户需要手动创作工作流、快速视觉迭代、在应用内生成图像/音频、在多角色图像中选择说话人、编辑 Composer 或管理内容库时，使用 Hedra Studio。
• 当 Agent 需要可重复的批量生成、以编程方式管理素材、轮询、检查额度、集成流水线或内联 TTS 时，使用公共 API。承诺自动化之前，请确认 API 访问权限和额度。
• 仅当交付内容是交互式实时 Agent，而非渲染后的视频片段时，才使用 Live Avatar。请预留 LiveKit 配置、实时 Agent 代码、Web 应用/运行时测试、会话清理的成本，并注意其 QA 方式不同于导出视频。
• 当需求涉及广泛的场景物理效果、多镜头、动作、环境连续性或非虚拟角色电影片段时，使用其他视频模型或后期制作流水线。Hedra 可以作为更大型剪辑中的演示者图层，但不要强行让它处理电影感 B-roll。

模型决策

适用于以下场景时，使用 Hedra Avatar：

• 主讲人主导的教程、说明视频、产品演示开场、UGC 用户评价、内部培训、歌曲或口述独白，其中音频表现比镜头运动更重要；
• 10 分钟的文档说明时长上限很重要的长篇单人视频片段；
• 与时长较短的电影感虚拟角色模型相比，需要控制成本的迭代。

适用于以下场景时，使用 Hedra Omnia：

• 富有表现力的短片段、UGC 广告开场、需要指定镜头/构图的中近景、全身或强调手势的动作、简短的角色表演测试；
• 情绪化动作是镜头组成部分，且 8 秒时长上限可以接受的片段。

在以下情况下，避免使用 Hedra 原生虚拟角色模型，或仅将其用作一个图层：

• 场景需要多位说话者在长段对话中同步发言；
• 用户期望精确的手势编排、物体交互、舞蹈复现、复杂调度或动作连续性；
• 源素材没有可用的角色图像、没有已获授权的肖像，或音频质量太差且无法修复；
• 最终输出需要高分辨率的电影感 B-roll，而非说话角色。

制作经验法则：对于 30-90 秒的社交媒体广告，将脚本拆分为 Hedra Avatar 或 Omnia 的短片段，再在编辑器中组装，而不是强行生成一个长镜头。短片段更容易替换效果不佳的表情、修改开场钩子，并通过剪辑隐藏模型瑕疵。

输入策略

Hedra 的效果通常更多受输入质量影响，而非提示词技巧。

人物图像：

• 优先选择画面中仅有一位可见说话者的图像，人物正面或呈四分之三侧身，双眼可见，嘴巴闭合或微微张开，光线均匀，没有浓重阴影、强烈滤镜、遮挡面部的手或麦克风，并且所选取景范围内留有足够的头部／肩部或身体空间。
• 对于 Hedra Avatar，稳定的肖像或演讲者画面通常比戏剧化的全身布景更稳妥。
• 对于 Hedra Omnia，提供符合预期动作所需的身体和取景范围，但动作方向应足够简单，以适配 8 秒片段。
• 在 Studio 中使用多人物图像时，请选择说话者，并在生成前确认所选对象。API 文档提供了 bounding_box_target；如果使用该参数，请将其视为说话者／目标选择控制项，并通过短测试进行验证。
• 确保人物图像的使用权已获授权。如果人物是真人或看起来像真人，请在上传前取得同意或确认有书面的法律依据。

音频：

• 使用清晰、干燥的人声，不含背景音乐、嘈杂人声、强烈混响、削波或重叠说话声。口型同步会跟随音频，因此在重新生成视频前先修复音频。
• 根据预期的画面节奏控制语速。Hedra 能匹配快速语速，但文案过于密集会让面部动作显得仓促，也不给观众时间体会表情。
• 对于歌唱或富有表现力的独白，在制作完整歌曲或长片段前，先测试 5-10 秒。
• 如果使用 TTS，请在确定最终时间安排前选好声音。即使脚本文本不变，更换声音也会改变表演感觉，甚至可能改变时长。

脚本：

• 为画面中可见的表演者撰写，而不仅仅是旁白。标出换气点、短语间隔、视线方向和情绪变化。
• 确保表达符合内容类别的安全要求。除非制作流程包含适当的免责声明和审核，否则不要让虚拟形象提供医疗、法律或财务建议。
• 不要在脚本或提示词中加入私人身份标识、健康数据、政府证件号码、儿童数据或敏感个人信息。

提示词／指导：

• 清楚说明人物角色、镜头类型、肢体动作的克制程度或表现力、情绪和摄像机设置。
• 不要在提示词中塞入过多服装、背景、走位、剪辑和品牌文案细节。Hedra 仍需依靠图像和音频来呈现表演。
• 如果手势过于夸张，请明确限制动作：“手部动作尽量少，肩部放松，保持稳定的眼神接触”。
• 如果输出显得僵硬，可加入温和的表演目标：“开场时露出温暖的笑容，在重点处轻轻点头，眼神专注而灵动”。

API 生产模式

在调用流水线的资产台账中记录所有 ID、路径和下载的输出。不要只将生成的视频保留在 Hedra 的云端素材库中。

1. 尽可能检查账户状态：
   • 使用 GET /billing/credits 记录剩余、已使用和即将到期的额度。
   • 使用 GET /models?types=video 或 GET /models 确认可用的模型 ID、最长时长、支持的分辨率、宽高比、额度成本和音频要求。
2. 创建并上传资产：
   • 使用 POST /assets 和 {"name":"voice.mp3","type":"audio"}，然后使用 POST /assets/{audio_asset_id}/upload。
   • 使用 POST /assets 和 {"name":"avatar.png","type":"image"}，然后上传图像。
3. 生成视频：
   • 使用 POST /generations，并传入 type: "video"、选定的 ai_model_id、start_keyframe_id、audio_id 或 audio_generation，以及 generated_video_inputs。
4. 轮询：
   • 持续调用 GET /generations/{generation_id}/status，直到 status 为 complete 或 error。记录 progress、error_message、download_url、streaming_url 和 asset_id。
5. 下载并验证：
   • 将视频保存到项目的资产路径下。
   • 检查时长、尺寸、音频是否存在、同步情况和可见瑕疵。

用于长篇主持人片段的 API 负载示例：

{
  "type": "video",
  "ai_model_id": "26f0fc66-152b-40ab-abed-76c43df99bc8",
  "start_keyframe_id": "IMAGE_ASSET_ID",
  "audio_id": "AUDIO_ASSET_ID",
  "generated_video_inputs": {
    "text_prompt": "A calm product educator speaking directly to camera, seated upright, steady eye contact, natural blinks, subtle nods, minimal hand movement, clean studio lighting.",
    "aspect_ratio": "9:16",
    "resolution": "720p",
    "duration_ms": 45000
  },
  "batch_size": 1
}

此示例采用这种结构的原因：它使用 Hedra Avatar 来交付以对话为主的内容，由音频决定时长，要求采用克制的呈现方式而非复杂动作，并使镜头和主持人指示保持简洁。

用于 Omnia 短表演片段的 API 负载示例：

{
  "type": "video",
  "ai_model_id": "ab372b84-432f-44f5-bacc-c2542465f712",
  "start_keyframe_id": "IMAGE_ASSET_ID",
  "audio_id": "AUDIO_ASSET_ID",
  "generated_video_inputs": {
    "text_prompt": "A confident founder delivers a punchy launch line while taking one small step toward camera, energized but controlled hand gesture on the final phrase, premium office background, shallow depth of field.",
    "aspect_ratio": "16:9",
    "resolution": "720p",
    "duration_ms": 8000
  },
  "batch_size": 2
}

此示例采用这种结构的原因：它符合 Omnia 8 秒的时长限制，给出一个明确的动作构想，并使用批量变体，因为富有表现力的短片段通常需要比较。

Studio 制作工作流

使用 Hedra Studio 时：

1. 如果质量很重要，请先在 Hedra 之外准备好角色图像和音频。
2. 上传或生成图像。
3. 上传、录制或生成音频。如果在 Hedra 中生成语音，请先试听，并仅在有助于改善表达效果时使用控制标签调整语气或语速。
4. 在 Avatar 中选择模型、宽高比、分辨率和批量大小。
5. 添加图像和音频。对于多角色画面，请选择说话者。
6. 编写表演提示词，而非完整剧本。
7. 先生成一个简短的验证片段。
8. 在制作更长的变体之前，先审阅并下载，同时记录模型、设置和源资产 ID。
9. 使用 Composer 或外部编辑器进行多场景拼接、添加字幕、品牌图形和音乐，并通过剪辑隐藏瑕疵。

Live Avatar 工作流

仅在交互式应用中使用 Live Avatar 流程。不要将其描述为简单的渲染视频捷径。

最低生产计划：

• 确认用户需要的是实时交互，而非可下载的片段。
• 准备已获得授权的头像图像，并复制其 Hedra 资产 ID，或通过 LiveKit Hedra 插件传入本地图像。
• 设置 LIVEKIT_URL、LIVEKIT_API_KEY、LIVEKIT_API_SECRET、HEDRA_API_KEY，以及所选实时技术栈所需的任何 Agent/LLM 密钥。
• 在隔离环境中安装文档所述的入门项目或依赖项。
• 启动 Agent 和应用，通过 LiveKit 房间连接，并测试首次响应延迟、轮流发言、中断行为、音频路由、头像加载时间和会话终止。
• 记录清理步骤。Hedra 的文档提醒，断开连接后计费可能仍会短暂继续；不要让房间或工作进程持续运行。

获得更好效果的生产经验

以下是实用经验，并非 Hedra 文档所保证的结果：

• 为常用头像建立一份“性能手册”：包含肖像原图、语音 ID、宽高比、允许的手势、禁止的手势、服装／背景备注、发音备注，以及效果良好的提示词示例。
• 将图像、音频和提示词视为一个三角关系。排查问题时，一次只更改一个变量。
• 为开场钩子和情绪起伏部分生成两到三个短版本；角色配置稳定后，为风险较低的中间部分生成一个版本。
• 通过更紧的裁切、添加品牌叠加层、切换到 B-roll，或选择 Hedra Avatar 而非 Omnia，隐藏表现不佳的手部、肩部或身体动作。
• 重要词句前后避免突然切镜。让头像在说话前预留 8-12 帧的画面引入，并在说话结束后留出一小段尾帧，以便更顺畅地剪辑。
• 对于多语言内容，先用目标语言生成或录制音频，再测试所选面部与语音的组合是否自然。不要假设适用于英语的语音风格在另一种语言中也能呈现相同的人设。
• 对于广告，让 Hedra 负责传递信任感和表达；产品 UI、价格卡、免责声明、字幕和行动号召则交给单独的剪辑／合成图层处理。

QA 检查清单

接受导出的片段前，请先检查：

• 权利与同意：图像／语音／脚本均已获授权；不含禁止披露的个人或敏感信息。
• 技术：文件已下载到本地；时长符合预期；分辨率／宽高比正确；音频未削波；音频声道无缺失。
• 口型同步：闭唇动作与爆破音对齐；元音不会持续提前／滞后；语音持续时没有长时间嘴部静止的片段。
• 表现：表情符合语气；手势不会显得怪异或令人分心；视线方向可接受；头部动作不会与脚本内容相矛盾。
• 角色连贯性：面部身份、发型、眼镜、服装、肤色和背景保持稳定，足以满足使用场景的需求。
• 剪辑就绪度：片段首尾留白干净；字幕不会遮住嘴部；为 Logo／CTA／安全区域留有空间。
• 合规性：合成内容／AI 披露和模仿同意符合用户所在司法管辖区、平台和品牌的要求。
• 瑕疵处理：将每个问题标记为接受、通过裁切／剪辑规避、修改输入后重新生成，或切换模型／界面。

故障排查

如果口型与音频不匹配：

• 首先检查音频是否存在噪声、失真、削波、混响、多人声或语速过快的问题。
• 使用处理干净的音频重新生成 5-10 秒片段。
• 测试时保持图像和提示词不变，以便单独排查音频变化的影响。
• 如果更换语音后 TTS 时间安排发生变化，请使用最终语音素材重新生成视频。

如果面部看起来不自然：

• 更换经过重度滤镜处理、侧脸、带阴影、分辨率低或张嘴的图像。
• 为 Hedra Avatar 裁切出更干净的肖像。
• 减少对大幅手势或强烈情绪的提示词要求。

如果手势过于夸张：

• 对于固定镜头表达，使用 Hedra Avatar，或明确要求尽量少动。
• 将富有表现力的台词拆成更短的片段，并选择最平静的版本。

如果说话的不是目标人物：

• 在 Studio 中重新选择说话人，并确保指示器覆盖目标角色。
• 对于 API 工作流，使用单角色裁切进行测试，或用简短的验证任务检查任何目标／边界框字段。

如果生成失败：

• 确认图像和音频已附加／上传，且未超出文档规定的文件限制。
• 确认 API 密钥、付费 API 访问权限、可用额度、受支持的模型设置和时长上限。
• 轮询状态并记录 error_message。不要因重复进行完全相同的重试而消耗额度。

如果视频处于排队状态：

• 将排队时间视为服务提供方的状态。告知用户延迟情况，按合理间隔轮询；除非用户同意承担额外费用，否则不要重复提交长任务。

安全、权利与保管

使用面部、声音或表演之前：

• 对于在世人士和声音克隆，请取得明确同意。将同意说明或来源许可与项目一并保存。
• 避免以可能误导观众对来源、背书或言论的认知的方式，生成真实人物的肖像或声音。
• 请勿上传儿童数据、政府签发的身份证件、健康或财务详情，或其他敏感个人数据。
• 对于企业项目，请确认客户协议是否优先于默认隐私条款。
• 如果分发场景有要求，请添加披露说明或水印。
• 在本地保留输入、输出、提示词、模型 ID、生成 ID、时间戳和下载 URL 的副本。云端库的状态不足以确保生产过程可复现。

已于 2026-07-10 核实的来源

• Hedra API 指南，生成 Avatar 视频：https://www.hedra.com/docs/pages/developer/guides/generate-avatar-video
• Hedra API 参考，生成素材：https://www.hedra.com/docs/api-reference/public/generate-asset
• Hedra API 参考，列出模型：https://www.hedra.com/docs/api-reference/public/list-models
• Hedra API 参考，获取状态：https://www.hedra.com/docs/api-reference/public/get-status
• Hedra API 参考，获取额度：https://www.hedra.com/docs/api-reference/public/get-credits
• Hedra 开发者指南，生成音频：https://www.hedra.com/docs/pages/developer/guides/generate-audio
• Hedra 应用指南，创建 UGC Avatar 视频：https://www.hedra.com/docs/pages/app/content-creation/create-avatar-video
• Hedra 应用指南，创建声音：https://www.hedra.com/docs/pages/app/content-creation/create-audio
• Hedra 应用指南，选择 Avatar 说话人：https://www.hedra.com/docs/pages/app/content-creation/speaker-selection
• Hedra 应用故障排除，文件规格：https://www.hedra.com/docs/pages/app/troubleshooting/file-specifications
• Hedra 应用指南，我应该使用哪种视频模型？：https://www.hedra.com/docs/pages/app/getting-started/video-models
• Hedra Live Avatar 文档：https://www.hedra.com/docs/pages/developer/realtime-avatar/about 及相关设置和高级页面
• Hedra 可接受使用政策：https://www.hedra.com/acceptable-use
• Hedra 隐私政策：https://www.hedra.com/privacy
• Hedra 生物特征数据隐私政策：https://www.hedra.com/biometric-data-policy