mcpField
P
performance-direction

performance-direction

github.com/calesthio创意与媒体219152 次安装15 周前更新
代码仓库

关于 performance-direction

这项制作技能通过可执行目标、逐拍行动以及具体的身体和声音表现,指导生成式媒体中的人物与角色。它帮助媒体创作者编写精简的表演简报并评估生成结果,内容涵盖虚拟形象、动画和口型同步。

主要功能

  1. 01逐拍目标与行动
  2. 02可观察的面部和身体指导
  3. 03声音与节奏指导
  4. 04视线与手势调度
  5. 05口型同步质量检查
  6. 06肖像权与同意事项

适用场景

  1. 01编写生成式主持人的表演指导
  2. 02规划短视频各节拍中的角色行为
  3. 03检查虚拟形象的声音与口型同步
  4. 04保持镜头间的视线和表演连续性

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill performance-direction

安装后在 Claude Code 中输入/performance-direction确认已加载。

附带文件EVAL.md

详细介绍

生成媒体的表演指导

使用表演指导,让生成的人物或角色显得有所求、会对压力作出反应,并通过声音、面部表情、视线和身体传达信息。不要只让模型表现一种笼统的情绪,然后指望它自行演绎。应提供可演绎的情境、节拍层面的动作、肢体行为、发声方式、连续性约束,以及评判表演效果的方法。

证据依据

此技能所采用的文档事实:

  • 斯坦尼斯拉夫斯基体系衍生的演员训练通常会通过给定情境、任务/目标、行动、节拍、障碍和肢体动作来分析角色;应用于 AI 时,应将这些概念转换成简洁、可演绎的指令,而不是学术术语。交叉核对来源:斯坦尼斯拉夫斯基体系概述 和 NYFA 对斯坦尼斯拉夫斯基问题的总结。
  • 口型同步系统通常会将语音映射到视素,而非为每个音素匹配一种口型。Microsoft 将视素定义为音素的视觉描述,并指出许多音素可以共用一种视素;Meta 的 Oculus Lipsync 文档介绍了随时间在视素之间进行插值的方法。核实日期:2026-07-10:Microsoft 视素文档、Meta 视素参考。
  • 专业配音指导将时间、自然语言、音量以及身体动作与口型同步视为制作约束。核实日期:2026-07-10:Netflix 电影/剧集配音指南、Netflix 纪实类节目拟口型配音指南。
  • 当前的虚拟形象工具提供不同层级的表演控制:有些要求干净的训练素材和同意录制,有些接受脚本并允许选择虚拟形象,还有些提供情感倾向/情绪状态控制。核实日期:2026-07-10:Synthesia Studio Avatar 要求、D-ID 快速入门、HeyGen Digital Twin 文档。
  • 部分服务提供商当前的 AI 视频提示词可包含角色参考、更长片段、扩展和批量工作流;应将能力限制视为因服务提供商和日期而异。核实日期:2026-07-10:OpenAI Sora 2 提示词指南。
  • 使用表演者的肖像、声音和数字替身会涉及同意、报酬、使用限制、存储和披露义务。核实日期:2026-07-10:SAG-AFTRA AI 资源页面、SAG-AFTRA 数字替身 PDF、NAVA 合成语音指南。
  • 可通过 C2PA Content Credentials 等元数据标准支持来源证明/披露,但不同平台和工作流对来源证明的支持各不相同。核实日期:2026-07-10:C2PA。

每项任务都应收集的经验性观察:

  • 所选模型能否可靠遵循各项表演细节:视线方向、手势、表情强度、手部准确度、口型同步、停顿、呼吸、镜头调度和连续性。

  • 模型对演员指导用语(“试着安慰对方”)还是可见效果描述(“轻轻微笑、肩膀放松、视线回到镜头”)反应更好。

  • 过度细化约束会导致哪些输出质量下降,尤其是在短片段或使用固定姿势库的虚拟形象工具中。 基于制作经验的启发式建议,并非普遍事实:

  • 先描述直接行动,再描述情绪:“努力赢得她的信任”通常比“很难过”更能生成连贯的行为。

  • 每个节拍只设定一个主要目标,并在节拍转折处安排一个可见的调整。

  • 使用 0-5 的屏幕情绪强度量表进行校准;大多数商业或虚拟形象短片需要 1-3,而动画、喜剧和社交媒体引流内容可以承受 3-5。

  • 每个手势都要有作用。随意指点、点头和挥手会显得不自然。

  • 如果面部动作由音频驱动,应先锁定语音时序,再生成最终虚拟形象/口型同步效果。

  • 优先修复最小的故障层:剧本意图、语音演绎、面部表情、身体动作、镜头、剪辑或生成设置。

编写表演简报

对于每个说话或表演的主体,在编写生成提示词之前,先写一份简明简报:

  1. 媒介与限制:虚拟形象主持人、电影感 AI 视频、绑定骨骼的动画、生成式广告、配音/本地化、社交媒体 UGC 或纯语音。
  2. 选角:年龄范围、存在感、声音质感、身体活力、获准/允许使用的风格参考,以及不得模仿的对象。
  3. 既定情境:角色在哪里、刚刚发生了什么、他们认为自己在对谁说话,以及当前面临什么压力。
  4. 目标:这个节拍中,他们希望从观看者或其他角色那里得到什么。
  5. 阻碍:是什么让目标难以实现。
  6. 行动动词:他们如何克服阻碍,例如安抚、质疑、讨好、回避、坦白、教导、邀请或警告。
  7. 节拍转折:新信息或阻力改变策略的时刻。
  8. 可见行为:姿势、目光、手部动作、面部肌肉或表情、呼吸、静止、移动路线、距离,以及接触/不接触的界限。
  9. 语音表现:语速、音域、音量、停顿、重读词、呼吸、笑声/犹豫,以及仅在适当且安全时使用的口音/方言。
  10. 连贯性:相邻镜头要匹配的眼睛、手、身体、道具、情绪状态和声音的起始/结束状态。
  11. 安全/权利:同意状态、肖像/声音权利、允许的用途、披露/来源证明要求,以及禁止模仿的对象。

简报应足够简短,以便放入生成提示词或交接说明。如果提供方对某个维度的控制能力较弱,就应将该维度交由 QA 和迭代处理,而不是假装它有保障。

直接可演的节拍

节拍指导应回答:

  • 发生了什么变化?
  • 表演者现在想要什么?
  • 他们正在尝试什么策略?
  • 哪些情绪尽管受到控制,仍会流露出来?
  • 哪些具体的可见/语音行为应当发生变化?

使用可演出的行动动词,而非描述结果的形容词:

较弱的指导更有力的表演指导
“她很担心。”“她努力让语气听起来平静,同时确认观看者是否理解;她保持目光稳定,随后短暂地向下瞥了半拍,再恢复镇定。”
“让他显得自信。”“他邀请观看者加入,仿佛要分享一个自己验证过的捷径;肩膀放松,与镜头直接对视,并在第一个论据处露出浅浅的微笑。”
“非常情绪化。”“他起初克制着情绪,下一句话说到一半咽了回去,接着停顿着呼出一口气,再更轻声地说出最后一句话。”
“友好的虚拟形象。”“热情的新手引导主持人:胸膛舒展,双手安静地放在腰部,只在用户可能产生疑虑时点头,并在设置步骤中将语速放慢 10%。”

对于生成的短片,每个镜头最多安排一到两个节拍转折。如果场景需要多次策略变化,就将其拆分成多个镜头或拍摄段落。

校准情绪和表情

先定义动作,再点明潜在情绪。然后指定表演强度:

  • 0:专注于任务,保持中性。
  • 1:略有表露,主要通过眼神、呼吸或节奏传达。
  • 2:自然、专业的表情。
  • 3:戏剧性或社交表达清晰可辨。
  • 4:风格化或动画式的夸张表达。
  • 5:漫画式夸张、恐慌、闹剧或戏剧化表现。

需要时加入矛盾表现:“声音保持专业,面部流露出担忧。”这样可以避免表演平淡,也能避免要求模型让所有表达渠道都传达相同的情绪。

描述面部时,优先使用可观察的线索:

  • 眉毛:放松、微微蹙起、内侧眉毛抬起、怀疑地压低眉毛;
  • 眼睛:直视镜头、追随另一个角色、目光柔和、短暂瞥视、缓慢眨眼;
  • 嘴部:闭口微笑、忍住笑意、抿唇、放松下颌、笑出声;
  • 头部:保持不动、轻轻点头、歪头、后缩、前倾、转开。

避免叠加太多表情线索。除非矛盾是刻意设计且符合身体表现,否则同一瞬间的“灿烂微笑、紧咬下颌、低声悲恸、目光咄咄逼人、放松温暖”会显得不可信。

调度、手势和视线方向

调度是在空间中呈现表演意义。说明表演者的位置、面向观众/搭档/镜头的方向,以及移动的原因。

采用以下默认做法:

  • 面向镜头的演讲者:把镜头当作听众。保持稳定的眼神交流,偶尔移开视线思考,并在表达关键主张时有意重新看向镜头。
  • 对话:明确每个角色的视线目标,以及他们是在回避、对峙、寻求还是打破眼神接触。
  • 产品/社交广告:让身体通过探索或演示产品来推动表达;只有当故事需要证明、比较或邀请时,才让手进入画面。
  • 电影场景:围绕权力、回避、吸引、秘密或发现来调度动作。与持续移动相比,距离和静止往往更能传达情绪。
  • 动画:确保轮廓和姿势变化清晰可辨;大幅动作前加入预备动作,并在情绪变化后让动作停稳。

手势规则:

  • 为每个手势指定一个动词:揭示、制止、衡量、保护、计数、邀请、拒绝。
  • 让手势幅度与画面大小相匹配。特写需要细微手势;远景可以使用全身动作。
  • 除非工具支持手势控制,且品牌风格允许,否则不要要求头像类工具持续做手部动作。
  • 如果模型容易生成瑕疵,让手远离脸部、徽标、小道具和被遮挡的区域。

视线方向的连续性很重要。对于多镜头场景,记录每个角色在每个镜头开始和结束时看向谁/什么。在 AI 视频中,视线方向不一致通常是连续性问题,而不仅仅是面部问题。

对齐声音、口型同步与面部表现

声音表演会影响观众对虚拟形象和以声音为主导的媒体中表演效果的感知。明确指导以下方面:

  • 意图:说话者希望对听者产生什么影响;
  • 节奏:平稳、急促、审慎、对话式或紧凑;
  • 停顿:思想转变之处,而不只是标点出现之处;
  • 强调:每句话突出一两个关键词;
  • 呼吸:平静吸气、屏息、带笑的呼吸、恢复呼吸;
  • 语调曲线:能量何处上扬、下降或收束;
  • 吐字:清晰、放松、含糊、迟疑,但前提是有助于表达清楚。

对于合成语音,请使用服务提供商支持的语法编写表演标记;如果不确定语法,则在对应台词旁使用纯文本备注。经核实,截至 2026-07-10,ElevenLabs 将语速视为声音设计的重要组成部分,并建议为语音输出明确说明语速:ElevenLabs Voice Design。

对于口型同步/虚拟形象生成:

  1. 生成面部之前,先定稿或基本定稿脚本。
  2. 生成或选定语音版本。
  3. 检查词语时长、停顿和情绪走向。
  4. 根据选定的音频或脚本生成虚拟形象/口型同步。
  5. 检查张嘴/闭嘴的起始时机、结尾闭合、双唇音(p/b/m)、唇齿音(f/v)以及可见的下颌节奏。
  6. 如果出现不匹配,先调整音频时序或台词长度,再对面部表现作过度细致的指导。

对于配音/本地化,在保留原意和自然口语表达的同时,兼顾原始时长以及可见的口型/手势起始时机。如果为了让内部口型完全匹配而导致语言不自然,请明确选择同步类型:口型同步、近似同步、画外配音、旁白,或带字幕的配音。

虚拟形象与动画限制

不要用指导真人实拍的方式指导所有媒介。

虚拟形象主持人:

  • 优势:取景一致、直面观众、易于规模化制作,适用于培训/讲解/社交媒体主持等形式。
  • 风险:手势重复、姿势固定、眼神接触不自然、情绪表达扁平、克隆声音与面部不匹配。
  • 指导方式:简洁说明主持意图、画面、节奏、情绪、手势密度、允许的摄像机角度和品牌调性。

会说话的照片:

  • 优势:个性化制作快速,能以面部为主进行表达。
  • 风险:肢体语言有限、手势薄弱、头部/眼部出现伪影、涉及身份敏感性。
  • 指导方式:以声音为先;表情保持简单,避免复杂的身体动作。

AI 电影角色:

  • 优势:在模型支持的情况下,可实现更丰富的动作、环境、摄像机和场景动态。
  • 风险:连续性漂移、不同镜头间表演不一致、手部/眼部动作失控、情绪表现过于直白。
  • 指导方式:逐镜头设置节拍、安排身体调度、说明与摄像机的关系及起止连续性,并在允许的情况下提供参考。

绑定式 2D/3D 动画:

  • 优势:姿势、手势、时机、重复性和夸张表现都能精确控制。
  • 风险:姿势呆板、过渡飘忽、重量感/预备动作不足、口型同步不匹配。
  • 指导方式:说明关键姿势、时机、缓动、剪影、预备动作、停留、收势,以及可用的面部控制名称。

纯语音:

  • 优势:可通过改写、选角、控制节奏和剪辑,实现最大程度的控制。
  • 风险:朗读单调、表演过度、说话者之间的关系不清晰。
  • 指导方式:逐句明确意图、听者形象、速度图、停顿图、强调点和补录内容。

选角、肖像相似度与同意

在创建或指导合成人物之前,先确定表演者属于以下哪种情况:

  • 虚构且无法识别;
  • 商用/已获授权的头像;
  • 基于已同意者定制的头像;
  • 知名公众人物、员工、客户、网红、演员或已故人士;
  • 模仿真实人物的声音、面容、风格或表演。

对于定制或可识别的肖像/声音创作,必须取得书面授权,明确以下事项:

  • 谁提供了同意,以及其是否有权授予授权;
  • 允许使用的媒介、脚本类型、地区、期限、平台和编辑范围;
  • 声音/肖像能否用于训练模型、生成新台词或日后重复使用;
  • 适用情况下的报酬、撤销、存储、独家使用和删除条款;
  • 合成媒体的披露/来源证明方案。

如果缺少同意或授权内容含糊,应改用虚构/无法识别的表演者、获授权的商用头像或真人录制的表演。当目的是让人认出某位真人时,不得通过制作其“仿声”或“仿貌”来规避授权。

通过提示词排练

昂贵的最终渲染前,先通过提示词排练:

  1. 围读:生成或撰写两版声音演绎,动作不同,而非情绪不同。
  2. 姿势排练:条件允许时,请求静帧或关键姿势;检查轮廓、视线、手部位置和表情强度。
  3. 节拍排练:只呈现场景的节拍转折,生成短版场景。
  4. 连贯性排练:使用相同的起始/结束状态和参考资料,测试相邻镜头。
  5. 最终表演:只有在表演效果良好后,才添加制作细节。

迭代备注应具体明确:

  • “把微笑从 3 降到 1;眼神保持温暖,不要露齿。”
  • “反对意见出现时保持眼神接触,直到对方拒绝后才低头。”
  • “强调论据时只做一次手势;情感坦白时双手保持静止。”
  • “这句台词的语速太快,嘴部闭合跟不上;在最后一个词前加 200-400 ms 的停顿,或选用语速更慢的声音演绎。”
  • “角色表现出恐惧,但目标是说服对方。重新指导为‘努力安抚对方,同时控制恐惧’。”

表演质量检查

分别在开启声音、关闭声音和仅听音频的情况下检查输出。

开启声音:

  • 表演者是否在追求明确的目标?
  • 声音是否与面部/身体的能量相符?
  • 节拍转折是否听得见、看得见?
  • 停顿听起来像是在思考,而不是延迟吗?
  • 配音/头像的嘴部起合是否符合所选的同步标准?

关闭声音:

  • 能否推断出人物关系、注意力指向和压力?
  • 视线、姿势和手部动作是否有充分动机?
  • 表情强度是否符合类型风格和品牌调性?
  • 是否存在诡异的循环动作、眨眼僵住、手部伪影或随机点头?

仅听音频:

  • 这段演绎是否有明确的听众、策略和情绪弧线?
  • 关键词是否有重音,又不会显得像在推销或表演过度?
  • 语速是否适合平台、信息密度和字幕?

连贯性:

  • 起始/结束时的情绪、身体朝向、视线方向、道具状态、服装和声音语气应与相邻镜头一致。
  • 交接时应注明角色参考资料、头像和声音。
  • 肖像授权/来源证明备注应随素材一同交接。

交接格式

对于每位表演者或角色,交接以下内容:

Performer: <name or asset id>
Consent/rights: <fictional/licensed/custom consent status; allowed uses; disclosure>
Casting read: <age/presence/vocal/body energy; prohibited resemblance>
Scene objective: <what they want>
Obstacle: <what resists them>
Relationship/listener: <who they believe they address>
Beat map:
  00:00-00:03 <action, expression intensity, gaze/body/voice>
  00:03-00:07 <beat turn and new tactic>
Voice notes: <pace, pauses, emphasis, breath, pronunciation>
Blocking/gesture: <position, movement, hands, props, eye-line>
Continuity in/out: <start and end states>
QA priorities: <highest-risk performance details>

示例:头像引导入门视频

制作意图:为一位亲切而可信的头像主持人制作 25 秒的 SaaS 入门视频。媒介:按脚本驱动的头像,采用正对镜头的构图。

表演简报:

Performer: licensed stock avatar, mid-30s, calm technical host.
Objective: reassure a new user that setup is quick and safe.
Obstacle: the user expects integration setup to be annoying.
Action: demystify, then invite.
Emotion scale: warmth 2, urgency 1, confidence 2.
Eye-line: lens as user.
Gesture density: low; one small open-hand gesture on "two minutes."
Voice: conversational, 145-155 wpm, slight smile in tone, pause after first sentence.
Consent/rights: stock avatar within platform license; disclose synthetic presenter if required by channel policy.

脚本/表演指导:

[steady lens contact; relaxed shoulders]
"You do not need to rebuild your workflow."
[small pause; softer smile, warmth 2]
"Connect your calendar, choose the approval rule, and we will show you the first safe draft before anything goes live."
[one open-hand gesture on "first safe draft"; pace slows 8%]
"Most teams finish setup in about two minutes."
[return hands still; invite, not pressure]
"Let us do the first pass together."

这样安排的原因:头像只有一个目标、一个障碍和一套克制的手势计划,语音时序也有助于唇形同步并建立信任。可能出现的问题:笑容过度、随机点头、第二句语速过快。修正方法:降低表情强度、删除多余的手势要求,或拆分长句。

示例:生成的电影感双人场景

制作意图:用于短片预告的 8 秒戏剧性镜头。媒介:AI 视频,过肩特写,不模仿名人。

可直接用于提示词的指导:

Shot: close over Mira's shoulder toward Jonas at a rain-streaked bus shelter at night, 50mm, shallow depth of field. Fictional characters, no resemblance to real actors.
Given circumstances: Jonas has just been caught hiding the train ticket; Mira is waiting for an explanation off camera.
Jonas objective: persuade Mira not to leave.
Obstacle: he knows his excuse is weak and she has stopped trusting him.
Action: confess just enough to keep her there.
Beat 1 (00:00-00:03): Jonas holds Mira's eye-line slightly left of lens, jaw tight, breath held, face controlled at regret 2.
Beat turn (00:03): he sees she is about to walk away.
Beat 2 (00:03-00:08): his shoulders drop, eyes flick to the ticket then back to Mira; he says quietly, "I bought two." No smile. Voice low, slower on "two."
Blocking: Jonas remains still except the ticket hand lowers into frame; Mira is a blurred shoulder foreground, no speaking.
Continuity out: Jonas looking at Mira, ticket visible at chest height, rain and neon consistent.
QA: eye-line to Mira, hand artifact on ticket, no melodramatic crying, mouth closes after "two."

这种结构的原因:场景通过目标和阻碍来调度,而不是只描述一个“悲伤的男人”。它为模型设定了一个肢体上的揭示和一次情绪转变。可能出现的问题:票根手部变形、目光看向镜头、流泪表演过度。可通过裁切得更近、让道具轮廓更清晰,或降低情绪强度来修正。

示例:带语音的动画讲解角色

制作意图:由卡通角色用 15 秒解释密码管理器的好处。媒介:绑定骨骼的 2D 角色,配备 TTS 和简单的 viseme 口型同步。

指导:

Character: small raccoon office helper, curious and practical, no real-person likeness.
Objective: convince the viewer to stop reusing passwords.
Obstacle: the viewer thinks password managers are extra work.
Action: make the danger concrete, then offer relief.
Animation constraints: use three poses only: lean-in warning, count-on-fingers, relaxed thumbs-up. Keep paws below chin to avoid mouth occlusion.
Emotion scale: concern 3 for first beat, relief 3 for final beat; animation style allows exaggeration.
Voice: bright, quick but clear; pause after "same key."

Line map:
00:00-00:05 lean-in warning, eyes wide, paws still:
"Using one password everywhere is like using the same key for your house, car, and diary."
00:05-00:10 count-on-fingers, one paw gesture only:
"A password manager makes different keys and remembers them for you."
00:10-00:15 relaxed thumbs-up, smile 3, slower final phrase:
"You remember one master password. That is the deal."

Lip-sync QA: check open vowels in "everywhere" and final mouth closure on "deal"; if weak, slow the final sentence or regenerate visemes from final audio.

这种结构的原因:表演足够简单,适合绑定骨骼;手势不会干扰口型同步;每个姿势都有明确的说服目的。

评论

支持 Markdown