mcpField
D
deepmotion-animate-3d

deepmotion-animate-3d

github.com/calesthio创意与媒体219109 次安装15 周前更新
代码仓库

关于 deepmotion-animate-3d

deepmotion-animate-3d 是面向使用 DeepMotion Animate 3D 的 Agent 的技能,用于规划和处理人体视频到 3D 动画的动作捕捉流程。它聚焦无标记视频动作捕捉,不涵盖通用 3D 生成或动画润色。

主要功能

  1. 01人体视频转 3D 动画
  2. 02规划 Cloud、API 和实时 SDK 流程
  3. 03支持全身、面部及手部捕捉
  4. 04支持多人物动作捕捉
  5. 05提供拍摄与捕捉指导

适用场景

  1. 01将实拍表演转为角色动画
  2. 02规划 Animate 3D Cloud 捕捉流程
  3. 03准备多人拍摄以便动作追踪

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill deepmotion-animate-3d

安装后在 Claude Code 中输入/deepmotion-animate-3d确认已加载。

附带文件EVAL.md

详细介绍

DeepMotion Animate 3D

当 Agent 需要使用 DeepMotion Animate 3D 将录制的人体表演视频转换为 3D 角色动画,或需要规划 Animate 3D Cloud/API/Real-Time SDK 动作捕捉工作流时,请使用此技能。这是一项用于无标记视频转 3D 动作捕捉的提供商技能,不适用于通用 3D 生成、文本转动画、表演指导、绑定理论或动画润色。

以下情况请勿使用此技能:

  • 根据文本或图像生成 3D 模型、角色网格、环境或道具;
  • 与提供商无关的动画制作、关键帧动画、在 Maya/Blender 中清理动作捕捉数据,或最终表演润色;
  • 通过 DeepMotion SayMotion 将文本转换为 3D 动画,除非 API 页面展示了必须明确标注为 SayMotion(而非 Animate 3D)的通用生命周期模式;
  • 非人类、非人形、特定生物、车辆、布料或物体的动作捕捉,除非任务明确涉及测试人形近似模型。

Animate 3D 是什么

已记录事实,核实于 2026-07-11:DeepMotion 将 Animate 3D 描述为一种无标记 AI 动作捕捉技术,可将普通人体视频转换为 3D 动画。产品页面和文档称其可追踪全身动作、面部表情、手势和多个主体,并支持导出 FBX、BVH、GLB 和 MP4 等格式。来源:https://www.deepmotion.com/animate-3d 和 https://www.deepmotion.com/doc/animate-3d。

已记录事实,核实于 2026-07-11:DeepMotion 提供三种 Animate 3D 使用方式:通过浏览器使用 Animate 3D Cloud、用于应用集成的 Animate 3D API,以及轻量级实时版本 Animate 3D Real-Time SDK。公开页面引导用户通过销售部门或联系渠道申请 API 和 Real-Time SDK 的使用权限,而未提供完整的公开 Animate 3D API 参考文档。来源:https://www.deepmotion.com/animate-3d。

营销宣传,核实于 2026-07-11:DeepMotion 将 Animate 3D 描述为易于使用的动作捕捉服务,无需穿戴动捕服或使用指定摄像头,并称用户可在“几分钟内”制作动画。应将其视为提供商的产品宣传,而非精度保证或处理时间 SLA。

访问受限的未知信息,核实于 2026-07-11:在未获得门户或销售渠道访问权限的情况下,无法公开获取完整的 Animate 3D REST API 参考文档、生产环境基础 URL、配额模型、延迟 SLO、实时 SDK 平台支持列表、SDK 软件包以及企业级数据保留和安全条款。不要臆造 Animate 3D API 的端点名称或功能。编写超出通用异步作业伪代码范围的集成代码前,请向用户索取其门户/API 文档或销售部门提供的规格说明。

当前功能边界

已记录事实,核实于 2026-07-11:Animate 3D 面向人体动作,可应用于人类或人形角色。DeepMotion 的动作捕捉快速指南指出,卡通或抽象形象不适合作为捕捉对象。来源:https://www.deepmotion.com/article/capture-guidelines-quick-guide。

已记录事实,核实于 2026-07-11:DeepMotion 的 Animate 3D 产品页面称,单个视频最多可追踪 8 人。版本更新说明称,多人追踪于 Animate 3D V5.0 中以 Beta 版形式推出,可追踪最多 8 人的全身、手部和面部动作。来源:https://www.deepmotion.com/animate-3d 和 https://www.deepmotion.com/release-updates。

边界说明:部分文档页面仍保留较早的单人限制说明,例如单人捕捉指南称,在多人追踪功能可用之前应避免出现多人。除非当前项目的方案或门户设置不支持多人追踪,否则请将其视为页面级的过时表述。核查来源(2026-07-11):https://www.deepmotion.com/article/single-person-capture-guidelines-for-animate-3d。 记录事实,已于 2026-07-11 验证:手部追踪是一项高级设置,每动画秒或每个姿势额外消耗 0.5 个动画点数;启用后,手部追踪结果会与身体追踪结果一并导出到 BVH、FBX 和 GLB 文件中。来源:https://www.deepmotion.com/article/hand-tracking-video-capture-guidelines。

记录事实,已于 2026-07-11 验证:DeepMotion 的入门常见问题解答称,1 个点数等于 1 秒动画或 1 个 3D 姿势;面部追踪和手部追踪每动画秒或每个姿势各额外消耗 0.5 个点数。来源:https://www.deepmotion.com/article/getting-started。

记录事实,已于 2026-07-11 验证:面部追踪支持全身、半身或头像视频,但面部越大、越清晰,效果越好。面部指南指出,头像和半身输入可支持眼睛/虹膜追踪及更高保真度的面部表情;全身输入中的人物距离较远,因此会关闭眼睛追踪,但仍可捕捉一般面部表情、嘴部动作和头部位置。来源:https://www.deepmotion.com/article/facial-tracking-video-capture-guidelines。

记录事实,已于 2026-07-11 验证:根据 Animate 3D 定价常见问题解答和入门常见问题解答,DeepMotion 支持 MP4、MOV 和 AVI 输入视频。输出格式包括 FBX、BVH、MP4 和 GLB;定价常见问题解答注明,自定义角色可使用 GLB。来源:https://www.deepmotion.com/pricing-animate3d 和 https://www.deepmotion.com/article/getting-started。

记录事实,已于 2026-07-11 验证:「文件类型与兼容性」还列出了 BVH、FBX、GLB/GLTF 动画格式,以及用于姿势的 MP4、JPG、PNG、GIF 和用于 DeepMotion 姿势估计的 DMPE;该页面指出,DMPE 包含每一帧的 3D 骨骼关节位置,Professional 及更高级别的订阅方案可使用此格式。来源:https://www.deepmotion.com/article/file-types-compatibility。

易变的方案信息,已于 2026-07-11 验证:当前定价页面显示的年度付费方案为 Starter,每月 $9;Innovator,每月 $17;Professional,每月 $39;Studio,每月 $83;另有 Freemium。该页面还称,使用 API 和实时 SDK 需联系 DeepMotion。在面向用户介绍方案费用前,请重新核实。来源:https://www.deepmotion.com/pricing-animate3d。

易变的方案信息,已于 2026-07-11 验证:DeepMotion 的定价常见问题解答称,Freemium 账户仅供个人非商业用途,无需信用卡,每月最多可创建 60 秒动画。该页面还称,点数不会结转到下个月。来源:https://www.deepmotion.com/pricing-animate3d。

易变的上传限制信息,已于 2026-07-11 验证:当前 Animate 3D 定价页面列出的上传视频时长上限为 300 秒。页面还列出了各自助方案对应的上传文件大小限制:50 MB、100 MB 和 200 MB。这些限制取决于方案和页面状态;在承诺某个账户能够上传特定片段前,请重新查看定价页面或门户。来源:https://www.deepmotion.com/pricing-animate3d。

拍摄规划

Animate 3D 的效果主要在上传前就已决定。Agent 应优化输入视频,而不是假设门户设置可以修复遮挡、运动模糊、脚部缺失或手部细节不足的问题。

单人身体捕捉

已记录的捕捉要求,核实于 2026-07-11:

  • 将摄像机放在距离主体约 2-6 米,或 6-20 英尺的位置。
  • 摄像机保持固定,并与被录制的人垂直。
  • 如需进行全身追踪,请确保从头到脚都完整出现在画面中。
  • 避免遮挡,也不要让物体挡住身体部位。
  • 拍摄地面动作时,采用 3/4 角度,以免身体部位遮住关键关节。
  • 使用中性光线,避免光线过暗或过曝,并避免画面模糊。
  • 让主体与背景形成对比。
  • 避免穿着宽松衣物,以及遮住膝盖、肘部或双手的衣物;相比全黑纯色服装,更推荐带有图案或纹理的服装。
  • 使用至少 1080p 的分辨率;DeepMotion 建议使用 30 FPS 或更高帧率,并表示在高级订阅可用的情况下,60 FPS 效果最佳。

来源:https://www.deepmotion.com/article/capture-guidelines-quick-guide 和 https://www.deepmotion.com/article/single-person-capture-guidelines-for-animate-3d。

制作经验:如果动作包含跳跃、踢腿、爬行、地面动作或快速旋转,请先拍摄一段简短测试,并在录制整批素材前检查脚部、臀部以及手与地面的接触情况。最终拍摄时使用相同的服装和摄像机角度。

多人捕捉

已记录的多人捕捉指南,核实于 2026-07-11:

  • 取景覆盖整个捕捉区域,将摄像机放在胸部高度,保持固定,并确保所有主体都清晰可见、无遮挡。
  • 为表演者留出足够的活动空间,避免相撞。
  • 尽量减少拥抱、摔跤、牵手,或角色从彼此前方/后方经过等近距离互动。
  • 避免遮挡,并避免频繁交换相对位置,否则可能导致身份/位置互换。
  • 拍摄地面动作时采用 3/4 角度。
  • 使用均匀的中性光线,避免强烈阴影或过亮的区域。
  • 通过不同颜色或带图案的服装,让主体在视觉上有所区分。
  • 使用至少 1080p 的分辨率和 30 FPS 或更高帧率。

来源:https://www.deepmotion.com/article/multi-person-ai-motion-capture-guidelines。

制作经验:拍摄编排好的多人场景时,应按舞台捕捉的方式安排镜头,而不是按电影镜头来拍。宽广、稳定、彼此分开的高对比度画面,比戏剧化的镜头语言更重要。

面部捕捉

已记录的面部指南,核实于 2026-07-11:

  • 确保整个头部都在画面内,额头、眼睛、鼻子和嘴巴清晰可见。
  • 为获得最佳效果,让主体正对摄像机。
  • 取景越近,面部细节越清晰。
  • 使用均匀的中性面部光线,避免强烈阴影。
  • 为获得最佳面部追踪效果,画面中只保留一个人。
  • 全身面部捕捉可以捕捉大致表情、嘴部动作和头部位置,但由于距离较远,眼部追踪会关闭。

来源:https://www.deepmotion.com/article/facial-tracking-video-capture-guidelines。

制作经验:如果交付内容需要可信的细腻面部表现,请单独录制半身或头像面部镜头,不要指望为脚步动作拍摄的全身素材也能提供特写表演所需的细节。

手部捕捉

已记录的手部指南,核实于 2026-07-11:

  • 使用全身或半身视频,确保双手清晰、尺寸足够大、可见且无遮挡。
  • 上传至少全高清 1920x1080 的视频,以捕捉手部细节。
  • 避免佩戴手套、穿着长袖,或佩戴配饰、穿着遮住双手的衣物。
  • 避免使用未经优化的手部动作,包括手触碰脸部,或双手相互作用(例如拍手)。
  • 使用中性光线,并确保双手与背景形成对比。

来源:https://www.deepmotion.com/article/hand-tracking-video-capture-guidelines。

制作经验:对于手语、魔术、握持武器、数手指、打字或手触脸部表演,应将 Animate 3D 手部追踪视为起点,之后还需要动画师进行修整,或使用专门的手部动作捕捉方法。

设置与优化

将设置用作受控的重新运行变量。每次只更改一个主要设置,记录原始任务设置,并将输出与源视频进行比较,然后再判断某次生成是否失败。

脚部锁定

已记录事实,核实于 2026-07-11:DeepMotion 提供 Auto、Always、Never 和 Grounding 四种脚部锁定模式。一般情况下推荐使用 Auto,所有订阅方案均可使用。Always 会强制锁定脚部;如果 Auto 模式下脚部滑动过多,则推荐使用此模式。Professional 或更高级别的方案可使用此模式。Never 会使脚部保持未锁定状态,适用于空中或水下动作;Innovator 或更高级别的方案可使用此模式。Grounding 会在保持角色处于地面上的同时禁用锁定;如果有意表现滑动,或者 Auto 锁定脚部的时间过长,则推荐使用此模式。Professional 或更高级别的方案可使用此模式。来源:https://www.deepmotion.com/article/foot-locking。

制作选择:

  • 普通行走、表演动作和非风格化动作,先使用 Auto。
  • 对于扎根站姿、重心转移、武术套路或待机表演,如果脚部滑动明显不自然,可尝试 Always。
  • 对于拖步舞、太空步、短跑、快速转身以及有意滑动的快速步法,可尝试 Grounding。
  • 对于游泳、空翻、蹦床、跌倒、悬空动作,或地面接触没有意义的动作,可尝试 Never。
动作平滑

已记录事实,核实于 2026-07-11:Motion Smoothing 是一种高级 AI 滤镜,可消除抖动并提升视觉流畅度,但可能降低某些帧或片段中的动画准确度。DeepMotion 建议调整平滑程度并评估取舍。来源:https://www.deepmotion.com/article/motion-smoothing。

制作选择:

  • 需要保留精准的手势时机时,使用低平滑度。
  • 如果抖动比精确的微小时间差更难以接受,可提高平滑度。
  • 对于冲击动作、精准的舞蹈重拍、手语、格斗击打、体育分析,或任何方向变化需要精确到帧的动作,避免使用高平滑度。
物理滤镜

已记录事实,核实于 2026-07-11:Physics Filter 可强化关节活动范围限制,并尝试解决自碰撞和穿模问题。DeepMotion 建议进行尝试,并将其与 Motion Smoothing 结合使用。来源:https://www.deepmotion.com/article/physics-filter。

制作选择:

  • 当肢体穿过身体、关节弯曲超出合理范围,或网格穿模比精确还原源动作更具破坏性时,启用此滤镜。
  • 源姿势确实非常极端、风格化、特技化或扭曲时,请谨慎使用;此滤镜可能让结果更合理,但也更不忠实于源动作。
速度倍增器

已记录事实,核实于 2026-07-11:Speed Multiplier 可通过调整速度倍增值、预览并重新运行来优化流畅度,从而补偿慢动作或帧率不足的输入。来源:https://www.deepmotion.com/article/speed-multiplier。

制作选择:

  • 输入以慢动作或低帧率录制,且生成的动作卡顿或时机不准时,可使用此功能。
  • 尽可能录制实时的 30-60 FPS 源视频;Speed Multiplier 是修复工具,不能替代可用的动作捕捉素材。
Rotoscope Pose Editor 和重新运行

已记录事实,核实于 2026-07-11:DeepMotion 表示,Rotoscope Pose Editor 可让用户在输入视频上描摹/校正角色动作。发行说明介绍的功能包括自动保存、多关节选择、快捷键、插值和骨骼颜色选择。定价/积分常见问题解答指出,用户可通过校正身体关节并提高姿势评分来赚取 Animation Correction Credits。来源:https://www.deepmotion.com/animate-3d、https://www.deepmotion.com/release-updates 和 https://www.deepmotion.com/article/free-animation-credit-program-faq。

制作工作流:

  1. 将初始输出与源视频并排检查。
  2. 判断错误属于输入、设置、角色重定向问题,还是局部姿势错误。
  3. 如果整个片段都出现系统性问题,例如脚部锁定过度、抖动或穿模,请更改设置后重新运行。
  4. 如果问题仅出现在特定帧或关节,请使用 Rotoscope Pose Editor。
  5. 检查根部、脚、手、手指、面部和接触帧后再导出。

自定义角色和重定向

已记录事实,核实于 2026-07-11:根据产品页面,Animate 3D 可使用 DeepMotion 默认角色、内置的 Ready Player Me 和 Avaturn 创建器,或上传自定义 FBX/GLB/VRM 角色。Custom Characters 文章指出,自定义上传支持 FBX 和 GLB,并要求角色为绑定好的类人角色;SayMotion REST API 的 API 相关 GitHub 文档提到可通过上传 URL 上传 fbx、glb、gltf 或 vrm 模型,但这属于 SayMotion/公开 REST 文档,并非完整的 Animate 3D 公开 API 契约。来源:https://www.deepmotion.com/animate-3d、https://www.deepmotion.com/article/custom-characters 和 https://github.com/DeepMotion/SayMotion-REST-API。

自定义角色的已记录要求,核实于 2026-07-11:

  • 模型必须经过绑定、属于类人角色,且为全身模型。
  • 使用只包含所需角色网格和绑定信息的干净文件;移除额外动画和环境模型。
  • 上传文件中只包含一个角色。
  • 将默认姿势导出为 T 字姿势。
  • 双脚放在原点平面上。
  • T 字姿势的手臂沿世界 X 轴摆放,左手指向正 X 方向,角色面朝正 Z 方向;方向不正确可能导致导入失败。
  • 使用不含空格的唯一关节名称。
  • DeepMotion 建议使用 XYZ 关节旋转顺序;非 XYZ 关节会被转换。
  • 避免缩放关节;如有需要,请在根节点缩放骨架。
  • 使用符合人体比例的尺寸,高度约为 1.7 m / 5 ft 6 in。
  • 使用一个根关节,并避免在层级结构中间使用非关节节点。

来源:https://www.deepmotion.com/article/custom-characters。

重定向指南:

  • 如果目标引擎具备可靠的重定向功能,例如 Unity Humanoid 或 Unreal IK Retargeter,那么从 DeepMotion 默认角色或 UE 兼容角色导出干净的 FBX/BVH,可能比勉强使用不稳定的自定义上传更简单。
  • 如果目标是 Blender 或重定向工具有限的 DCC 场景,那么在处理前上传自定义角色可以节省时间,因为 Animate 3D 导出时会将动作直接应用到该角色上。
  • 对于面部动画,在承诺输出面部动画前,请确认角色具备兼容的面部绑定/混合形状支持。公开页面提到对自定义角色进行面部兼容性检查,但具体的混合形状要求可能因账号/工具版本而异。
  • 对于手部/手指动画,请确认角色包含手指关节,并在导出后检查手指弯曲情况。

云端、API、实时 SDK 和异步生命周期

根据公开页面和门户说明记录的云端工作流,已于 2026-07-11 核实:

  1. 在 portal.deepmotion.com 登录。
  2. 选择 Animate 3D 并创建新任务。
  3. 上传受支持的视频。
  4. 选择角色或自定义模型。
  5. 选择跟踪/设置:身体、手部、面部、多人(如可用)、物理效果、脚部锁定、平滑处理、速度倍率,以及需要时使用的 MP4 摄像机/渲染设置。
  6. 提交任务并等待处理。
  7. 预览结果。
  8. 如有需要,重新运行/优化。
  9. 下载 FBX/BVH/GLB/MP4 或其他符合条件的输出。

API 实现警告:DeepMotion 的一方公开页面未提供完整且最新的 Animate 3D API 参考。如果用户要求生产环境集成,请向其索取 DeepMotion API 门户文档和凭据,然后根据提供的规范实现。除非用户提供的 Animate 3D 文档确认了相关端点,否则不要根据 SayMotion 推断并硬编码端点。

官方 GitHub 信息,已于 2026-07-11 核实:DeepMotion 的公开 DeepMotion/SayMotion-REST-API 存储库面向 SayMotion 文本转 3D 动画,并非 Animate 3D 视频转 3D 动作捕捉。它使用客户端 ID/客户端密钥进行 Basic 身份验证以获取会话 Cookie,随后支持查询额度余额、处理任务、轮询状态、获取下载 URL、列出任务、取消任务、上传/列出/删除自定义角色、优化提示词,以及 import animate3d 任务端点。截至 2026-07-11,该存储库没有可见的 GitHub Releases。来源:https://github.com/DeepMotion/SayMotion-REST-API。

适用于任何 DeepMotion 集成的一般异步模式;只有在阅读用户提供的实际 API 规范后才能据此调整:

  1. 在服务端进行身份验证;绝不要在浏览器代码中暴露客户端密钥。
  2. 接受用户上传前,检查余额/套餐/功能限制。
  3. 使用服务提供商批准的签名上传 URL 或门户上传流程上传媒体/模型。
  4. 提交处理任务,并明确指定设置和导出要求。
  5. 存储请求 ID、用户 ID、源素材 ID、设置快照以及同意/权利元数据。
  6. 使用退避策略轮询状态;如果用户的 API 合约对此有说明,也可订阅服务提供商的 Webhook。
  7. 分别处理排队/进度/成功/失败/取消状态。
  8. 成功后,如果服务提供商的下载 URL 是临时的,应立即将输出下载到受控项目存储中。
  9. 失败时,显示服务提供商的错误代码/消息、原始视频规格、设置以及建议的后续操作。
  10. 记录保留/删除要求,并在客户政策或合约要求时删除源素材。

实时 SDK 规划,已于 2026-07-11 核实:DeepMotion 正在推广 Real-Time SDK,但公开页面将访问引导至联系/销售渠道,并未提供公开的 SDK 支持矩阵。在确定采用实时产品之前,请与 DeepMotion 确认平台支持、摄像机/设备要求、延迟、帧率、跟踪点、主体数量、面部/手部功能可用性、离线行为、数据流出以及商业条款。

导出与交接

根据接收工具、角色策略和审核需求选择导出格式。

  • FBX:Unreal、Unity、Maya、Blender 重定向、角色网格 + 动画工作流以及 MetaHuman 教程的默认交接格式。游戏引擎动画导入优先使用此格式。
  • BVH:用于交接骨骼运动数据,尤其适用于目标工具有已知的 BVH 重定向路径,或角色网格单独处理的情况。
  • GLB/GLTF:适用于支持 GLB 的精简自定义角色场景/动画交接;公开 FAQ 指出,GLB 仅适用于自定义角色。
  • MP4:用于视觉审核、客户审批、并排/输出预览或社交媒体/展示输出;不是动画源文件交换格式。
  • DMPE:面向分析的输出格式,可提供每帧的 3D 骨骼关节位置;根据 DeepMotion 的文件类型页面,Professional 及更高版本可用。

Blender 交接,经文档核实的事实(2026-07-11):DeepMotion 的 Blender 配套页面称,用户可以选择 BVH 或 FBX 预设格式下载动画,并将绑定转移到 Blender 中的角色。来源:https://www.deepmotion.com/companion-tools/blender。

Unity 交接,经文档核实的事实(2026-07-11):DeepMotion 的 Unity 配套页面称,Animate 3D 输出可导入 Unity 场景,且有教程介绍如何将重定向结果应用到自定义 3D 角色。来源:https://www.deepmotion.com/companion-tools/unity。

Unreal/MetaHuman 交接,经文档核实的事实(2026-07-11):DeepMotion 的 Unreal/MetaHuman 配套页面及 2025 年 3 月的 MetaHuman 教程介绍了如何导出 FBX、导入 Unreal Engine、启用 morph targets/import animations/snap to closest frame boundary,然后使用 Unreal 重定向将动画应用到 MetaHuman。教程建议选择带 Facial Rig (UE) 的 Adult Female 角色进行 MetaHuman 重定向,并开启手部和面部追踪。来源:https://www.deepmotion.com/companion-tools/unreal-engine、https://www.deepmotion.com/companion-tools/metahuman-creator 和 https://www.deepmotion.com/post/animate-a-metahuman-with-just-a-video-no-mocap-needed。

制作经验:始终将视觉证明 MP4 与动画文件一同导出。它能为动画师和客户提供 DeepMotion 生成内容的参考,以便了解下游重定向改变动作之前的效果。

QA 与清理检查清单

在将 Animate 3D 结果视为可用于生产环境之前,请检查:

  • 源素材是否合适:在需要时表演者是否全身可见、分辨率是否足够、是否没有运动模糊或遮挡、服装与背景对比是否清晰。
  • 身份连续性:多人场景中是否没有人物互换,尤其是在交叉经过或近距离互动时。
  • 根运动:是否没有无法解释的漂移、滑动、垂直跳动或缩放不匹配。
  • 双脚:着地帧是否正确、预期滑动时的滑动是否可接受、是否没有穿透地面、脚部锁定模式是否正确。
  • 髋部/脊柱:是否没有突然翻转、躯干扭曲或髋部高度塌陷。
  • 双手:手指动作是否可见、是否没有因摄像机角度而被掩盖的手碰脸/手碰手问题、是否没有手腕翻转。
  • 面部:头部朝向、嘴部动作、表情强度,以及预期情况下的眼部动作。
  • 接触:手与地面、脚与地面、道具、与搭档的距离,以及地板动作。
  • 自定义角色:网格变形、蒙皮、面部混合变形是否可用、手指关节、比例、根节点朝向,以及导入错误。
  • 导出完整性:FBX/BVH/GLB 是否能在目标工具中打开、帧速率/时间是否正确、动画范围是否已裁剪,以及下游重定向是否保留了接触动作。
  • 权利/隐私:将源视频发送至 DeepMotion 前,是否已记录同意和上传许可。

常见问题的处理方式:

  • 双脚缺失或肢体被裁切:重新拍摄或减少裁切;设置无法重建可靠的全身接触。
  • 表演者之间互相遮挡:拉开距离重新拍摄;多人功能可以追踪多个人,但无法消除交叉经过时身份互换的风险。
  • 摄像机抖动:固定摄像机重新拍摄;稳定处理可能改善视觉效果,但也可能引入运动伪影。
  • 脚部滑动:对比 Auto、Always 和 Grounding;如有需要,再在 DCC 中修复残留帧。
  • 冲击动作过度平滑:降低 Motion Smoothing,并保留关键强调动作。
  • 拍手/触脸时手部动作失败:重新拍摄,确保手部更清晰,或计划手动清理手部动作。
  • 面部细节不足:使用半身/头像拍摄,或采用单独的面部工作流。
  • 自定义角色上传失败:检查朝向、T 姿、是否只有一个根关节、名称是否唯一/不含空格、人体比例,以及是否包含额外场景数据。

隐私、同意、权利与保留期限

已记录的隐私信息,核实于 2026-07-11:DeepMotion 的隐私政策称,该政策适用于 Animate 3D 网页服务、SDK、API 和其他服务。政策称,用户通常会提交内容数据,包括视频和 3D 模型;处理此类内容数据是这些服务的核心组成部分。政策称,用户自愿披露以供发布的用户内容仅对用户本人和 DeepMotion 保持私密,除非双方明确同意,否则不会公开分享。政策将 Google, Inc. 列为云服务提供商分处理方,并称数据存储/处理可能在美国或 DeepMotion、服务提供商设有设施的其他国家进行。来源:https://www.deepmotion.com/privacy-policy,最后更新于 2023 年 12 月 1 日。

已记录的保留期限/安全信息,核实于 2026-07-11:隐私政策称,账户终止后,DeepMotion 可能会在商业上合理的期限内保留私密个人资料信息,用于备份、归档或审计,但公开页面未明确说明上传的视频、3D 模型、任务输出或 API 资源的具体保留期限。条款称,用户须对其传输的数据负责,并放弃因数据丢失/损坏而提出索赔的权利;公开的 SayMotion REST 文档指出,失败任务和旧任务可能会在预先设定的保留期限后被删除,但未说明具体期限。来源:https://www.deepmotion.com/privacy-policy、https://www.deepmotion.com/terms-of-use 和 https://github.com/DeepMotion/SayMotion-REST-API。 已记录的条款事实,核实于 2026-07-11:DeepMotion 的使用条款最后更新于 2025 年 3 月 30 日。条款规定,用户保留所上传内容的完整所有权,但授予 DeepMotion 非独占、已全额付费、免版税的全球性权利,以访问、审查、使用、复制、修改、创作衍生作品、复制、分析、可视化和处理上传内容,从而提供服务并改进网站/服务。条款要求用户不得上传侵犯版权、隐私权、公开权、商标权或其他第三方权利的内容。来源:https://www.deepmotion.com/terms-of-use。

已记录的受监管数据警告,核实于 2026-07-11:DeepMotion 的使用条款指出,网站并非为遵守包括 HIPAA 和 FISMA 在内的行业特定法规而设计;如果用户的互动受此类法律约束,则不得使用该网站。同一章节还指出,用户不得以违反 GLBA 的方式使用该网站。未经单独签订合同并获得法律/安全审批,请勿通过 DeepMotion 传输受监管的医疗、政府安全、金融机构或类似受控生产数据;公开条款表明,自助式网站不适合处理此类工作负载。来源:https://www.deepmotion.com/terms-of-use。

已记录的输出许可事实,核实于 2026-07-11:条款指出,DeepMotion 拥有网站产品,并向用户授予使用许可。免费增值版输出获得可撤销的非商业许可。付费套餐用户获得永久、非独占、已全额付费、免版税的全球性商业许可,适用于订阅付费套餐期间创建的产品。条款禁止将产品用作独立数字资产、转授许可/转售,或将产品中包含的动画重定向到其他角色并出售重定向后的动画。来源:https://www.deepmotion.com/terms-of-use。

已记录的同意事实,核实于 2026-07-11:DeepMotion 的贡献条款要求,用户贡献中每位可识别人员均须提供书面同意/授权/许可,允许网站和条款所设想的方式使用其姓名或肖像。尽管法律章节区分了贡献内容与上传内容,生产 Agent 应将可识别表演者的视频视为需要审慎处理同意的内容数据,并要求在上传前取得书面许可。来源:https://www.deepmotion.com/terms-of-use。

生产环境隐私检查清单:

  1. 确认表演者拥有已录制肖像/表演的所有权,或已获准提交。
  2. 确认服装、音乐、布景美术、徽标和第三方视频来源已获授权或已移除。
  3. 除非项目已获得父母/监护人同意并完成政策审查,否则请避免上传未成年人相关内容。
  4. 对于企业/机密项目,请在上传前直接向 DeepMotion 确认保留期限、删除方式、子处理方、训练/改进用途、API 数据处理、区域处理和 DPA 条款。
  5. 请勿将免费增值版输出用于商业交付物。
  6. 除非单独合同明确允许,否则请勿将 DeepMotion 动作文件作为独立动画资产或资产包出售。
  7. 请勿通过自助式网站上传受 HIPAA、FISMA、GLBA 或类似法规监管的数据;如果仍在考虑使用 DeepMotion,请通过法律/安全审查,并另行签订企业协议。

完整示例

示例:基于手机视频制作独立游戏角色的移动动画

制作目标:为一个 humanoid Unity 角色制作基础行走、小跑、待机转身和跳跃落地动画,无需穿戴动捕服。

服务商:DeepMotion Animate 3D Cloud。

输入与限制:

  • 4 段独立的手机视频,每段 5-12 秒。
  • 演员从头到脚完整入镜,摄像机固定在距离 3 米的三脚架上;如条件允许,使用 60 FPS。
  • 穿着合身的服装,膝盖和肘部清晰可见,并与背景形成鲜明对比。
  • 目标角色使用 Unity humanoid 骨架;可在 Unity/Blender 中进行最终清理。

工作流:

  1. 将每个动作分别拍成一个片段,并以中立姿势开始和结束。
  2. 先上传一个测试片段,并使用默认的 DeepMotion/Unity 兼容角色。
  3. 对行走、小跑和待机转身使用 Foot Locking Auto。
  4. 跳跃落地先使用 Foot Locking Auto;如果落地时脚部滑动,则改用 Always 重新运行;如果快速接近时的步伐固定时间过长,则改用 Grounding。
  5. 除非结果出现抖动,否则将 Motion Smoothing 设为较低值。
  6. 导出用于 Unity 的 FBX,以及用于审核的 MP4 预览。
  7. 在 Unity 中导入 FBX,将其映射到 humanoid avatar/重定向目标,检查根运动和脚部接触,然后修剪循环片段。

这样安排的原因:将动作分成较短的独立片段,可以减少额度浪费,并便于单独调整设置。在确认拍摄质量之前,使用默认/Unity 兼容角色可降低上传自定义角色的风险。

预期结果:可用的基础动捕动画,只需进行少量修剪、循环清理,并可能修复脚部接触问题。

可能的故障模式:小跑时脚部滑动、手部抖动、循环边界处根节点漂移,以及重定向时比例不匹配。

有意义的变体:如果 Blender 重定向耗时高于重新运行 DeepMotion 的成本,可在首轮处理后上传实际的自定义角色;如果目标重定向工作流基于 BVH,则使用 BVH 代替 FBX。

示例:使用身体、手部和面部表演制作 MetaHuman 动画

制作目标:为电影预演镜头中的 MetaHuman 主持人制作动画,包含身体动作、手指运动和丰富的面部表情。

服务商:DeepMotion Animate 3D Cloud,随后交接至 Unreal Engine 5。

输入与限制:

  • 拍摄半身片段以捕捉面部和手部细节;如果必须看见双脚,也可选择拍摄全身片段。
  • 表演者面向摄像机;双手保持在画面中,不触碰脸部或彼此。
  • 光线均匀,分辨率至少为 1080p,帧率为 30 FPS 或更高。
  • 商业用途需要付费计划。

工作流:

  1. 拍摄半身片段,用于呈现表演节奏。
  2. 在 Animate 3D 中,选择兼容 UE/MetaHuman 的角色;如果符合目标工作流,可选择 DeepMotion 的 MetaHuman 教程中提到的带 Facial Rig 的 Adult Female(UE)。
  3. 启用 Face Tracking 和 Hand Tracking;为两项功能预留额外额度。
  4. 只有在需要关注下半身接触时才使用 Foot Locking;对于半身表演,脚部接触属于次要因素。
  5. 预览并检查头部旋转、嘴部动作、手指和手腕。
  6. 如有需要,使用 Rotoscope Pose Editor 对局部身体/手部姿势进行修正。
  7. 导出 FBX 并导入 Unreal,启用 morph targets 和动画导入,然后按照当前 Unreal 版本的重定向流程进行处理。
  8. 重定向到 MetaHuman,在 Sequencer 中附加动画;如有需要,移除冲突的 control rigs,并与 MP4 预览进行对比。

这样安排的原因:全身拍摄通常离摄像机太远,难以捕捉丰富的面部和手部细节;目标交付内容更看重上半身的可信度,而非脚部接触。

预期结果:完成重定向的 MetaHuman 动画,可用于电影预演或制作初稿;面部和手指仍需动画师审核。

可能的故障模式:面部拍摄距离过远导致表情平淡、手指跳变、手腕翻转、遗漏导入 morph targets,或选择了错误的目标 skeletal mesh。

有意义的变体:如果镜头会切到近景,可单独录制面部特写片段;如果唇形同步或眼部表演必须达到最终品质,则使用专用的面部动捕工作流。

示例:双人舞蹈参考与 QA 优先要求

制作意图:将双人舞蹈排练转换为独立的角色动画,用于风格化短片。

提供方:DeepMotion Animate 3D Cloud 多人追踪。

输入和限制:

  • 两名舞者,广角镜头,摄像机不移动,最低要求为 1080p/30 FPS。
  • 舞者穿着颜色/图案明显不同的服装。
  • 编舞避免交叉、托举、拥抱和牵手。
  • 输出将在 Blender 中清理后再用于布局。

工作流:

  1. 重新编排舞蹈,确保表演者彼此分开且清晰可见。
  2. 将摄像机放置在胸部高度,并为所有动作留出足够空间。
  3. 录制一段 10 秒测试片段,其中包含最复杂的交叉/转身动作。
  4. 上传并启用多人追踪;为每个人选择不同的角色。
  5. 在付费处理更长片段之前,检查身份连续性。
  6. 如果发生身份互换,则重新拍摄并拉开间距,或将表演者拆分为单独拍摄。
  7. 导出每个角色的 FBX/BVH,以及 MP4 证明视频。
  8. 在 Blender 中检查角色之间的时间对齐、接触点和根节点偏移。

这样安排的原因:多人追踪可以处理多个主体,但遮挡和相对位置互换仍是主要风险因素。

预期结果:分开的表演者动画,同时保留整体编舞和时间安排。

可能的失败模式:交叉时表演者互换、近距离互动时手部丢失、滑步时脚部锁定不正确,以及舞者之间的根节点偏移。

有意义的变体:如果互动很少,且准确性比现场双人舞的时间同步更重要,可让每位舞者分别拍摄,并使用相同的音乐节拍器。

来源记录

已于 2026-07-11 核查 DeepMotion 官方来源:

评论

支持 Markdown