mcpField
A
aip-framing

aip-framing

github.com/opus-pro创意与媒体7126 次安装4 天前更新
代码仓库

关于 aip-framing

为 AI Producer 项目决定每个节拍由讲者、素材画面还是画布主导的构图技能。它依据画布、转录文本和素材指导布局选择与几何设置。

主要功能

  1. 01为每个节拍选择构图类型
  2. 02选择座席、叠加或全屏形式
  3. 03测量讲者位置与出镜状态
  4. 04按布局设置字幕区域
  5. 05适配竖屏、方形与横屏画布

适用场景

  1. 01规划不同画幅下的讲者布局
  2. 02避免文字遮挡测量所得的讲者位置
  3. 03为素材画面、叠加内容和字幕选择布局

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/opus-pro/ai-producer-plugin --skill aip-framing

安装后在 Claude Code 中输入/aip-framing确认已加载。

附带文件agents/openai.yamlreferences/cutout.md

详细介绍

AI Producer 项目的构图框架

构图框架决定每个节拍由谁掌控画面:发言者、素材,还是画布。这是每个节拍的一项决策,根据画布、转录稿和素材作出,并由你决定。视觉风格决定一切外观(颜色、圆角、阴影、字体);本页规定每种布局的形式及其必须保持的几何结构。构图契约规定编辑器和导出内容读取什么。

在选择包含文字的形式之前,先遵循用户的简报和 AI Producer 文本规则。下文的形式描述的是几何结构;其中的标签、标题和陈述示例并不允许添加额外文案。

你需要决定的事项

  1. 先确定画布。 根据简报中的平台读取画布:Reels、TikTok 和 Shorts 使用 1080x1920;方形信息流帖子使用 1080x1080;其他情况使用源视频的宽高比,通常为 1920x1080。画布决定每种布局可使用的形式和位置(见下表);为一种画布绘制的布局不能用于另一种画布。
  2. 逐个节拍确定样式。 从下表的四种样式中选择一种;对应章节会说明它的形式、画布允许的位置、保留的内容以及构建方式。
  3. 逐个时刻确定形式。 画中画、叠加层和全屏覆盖各自在下方对应章节中提供了简短的形式选项。在计划中注明样式和形式。
  4. 先测量,再放置。 对你要放置于画中画、叠加、抠像或重新构图的每个窗口调用 frame_speaker,并在允许的情况下尽量减少调用次数:为每个窗口提供剪辑上的 start 和 end、一个 slug、matte(仅抠像时为 true),以及说话者将占据的 slot(画中画的 rect、圆形的两倍边长、孔洞的开口,或用于叠加层、全帧重新构图和抠像的画布)。使用 get_task 读取任务。其 result.windows 中的每个窗口都包含 presence(若 seat_ok 为 false,则跳过画中画或叠加层;若 matte_ok 为 false,则跳过抠像)、以源画面比例表示的 face 和 head,以及该 slot 的 object_position(将其 css 粘贴到画中画的 data-pip-src 视图上,或全帧重新构图时粘贴到根剪辑上)、head_in_slot 和 fits。当 fits.height 为 false 时,说明该 slot 在此高度下比源画面的宽高比更宽,因此 object-fit: cover 会将源画面缩放到 slot 的宽度,头部也会按该宽度绘制:在保持高度不变的情况下缩窄 slot,头部就会随之缩小;或者将高度至少设为 fits.min_slot_height。放置前先测量调整后的 slot:如果 min_slot_height 没有下降,说明 slot 受高度限制,只有加深才有帮助;如果缩窄 slot 后 fits.width 变为 false,则说明缩得过头了。绝不要改为加深裁剪。对于画布 slot,head_in_slot 是头部在画布上的框,也是叠加层需要避开的区域。抠像窗口会接收并返回更多内容;这些字段由抠像参考说明。此调用免费,每次最多接受 8 个窗口,且所有 matte 窗口的时长合计最多为 60 s;如果计划中的窗口更多,请分多次调用,确保这些调用中的每个 slug 都唯一,并读取每次调用返回的任务。
  5. 确定窗口。 显示说话者的样式只能用于说话者出现在镜头中的窗口。当源视频切换到创作者选择展示的内容时,让画面原样播放,不要遮挡。
  6. 逐个时刻确定字幕带。 在一个视觉时刻内,字幕始终显示:应由视觉时刻让出位置给字幕带,而不是反过来。根据下方对应布局章节中的「字幕所在位置」,为每个时刻决定字幕带的位置,并按照动态字幕技能的说明,将在该时刻播放的字幕 cue 放置在那里;只有当字幕带下方的背景经过构图处理、呈现为浅色时,才使用深色字。仅在以下情况下,才让某个时刻下方不显示字幕:headline 叠加层或 statement 全屏覆盖(将口述短句放大绘制);相关细节必须占据字幕带且无法移动的 source-text 或 photo 全屏覆盖;或简报要求静音播放的片段。每个 cue 都有自己的位置,因此同一视频可以同时呈现画中画和全屏覆盖。

布局类型

布局类型含义
speaker全画幅中的根发言者,可选配缩放或滤镜效果承载器
seat发言者被移入不透明底色上指定位置的指定形状中,内容绘制在该布局留出的区域;形状和位置见其章节
overlay画面保持全出血且清晰,每次只有一组内容叠加在画面上,位于测量头部后留出的空白区域
full-cover画布占据整个画幅:整页铺满一种不透明底色来承载内容,发言者被遮挡但仍可听见

视频素材

语音要在屏幕上展示的视频素材采用以下两种布局之一。两者都属于 seat,并保留 seat 的所有特性。

  • 画中画:素材作为底图,发言者以小窗形式放置,避开素材中的重要主体、动作和文字。
  • 上下分屏:素材位于上方,发言者置于下方居中的 card 中。素材可以铺满全宽;卡片保留两侧边距,因为对于竖屏素材,铺满全宽的发言者面板会以完整的源素材比例显示头部并裁切特写画面。
  • 素材保留其宽高比和重要内容;面板比例和小窗位置会相应调整。
  • 字幕区域位于素材与发言者面板之间,和任何竖屏 seat 的字幕位置相同(Where the caption sits under a seat);面板从字幕区域下方开始。

三种布局

下文以相同方式介绍 seat、overlay 和 full-cover:定义、形状、画布允许的摆放位置、保留内容以及构建方式。speaker 节拍无需这些内容:它是全画幅中的根发言者,缩放或滤镜效果则作为效果承载器。

Seat

发言者被移入不透明底色上指定位置的指定形状中,内容绘制在该布局留出的区域。每种座位构图只需声明一次形状、位置和静止矩形。共享该构图的节拍沿用它;其他时刻可以声明不同构图。绝不能在一个连续片段中重新计算矩形,以适应长文本或更宽的人物:放不进预留区域的内容需要换一种构图,而不是微调座位。

Seat 形状

每个 seat 都是以下形状之一,放置在画布允许的位置之一。在方案中写明形状和位置;具体数值随后给出。

形状含义
card与画幅边缘留有间距的圆角窗口,像放在底色上的物体
stratum发言者与一个或多个画幅边缘齐平,作为页面的一层,而非置于页面上的物体
circle等边窗口,采用 border-radius: 50%,头部居中其中
aperture带有挖空区域的不透明底色;实时发言者透过孔洞显示,孔洞位于头部上,因此其位置取决于测量得到的面部位置,而非布局网格
cutout弹出效果:房间退至全宽卡片中,发言者从卡片中抠出并凸显在卡片前;头部上方的留白用于放置内容;其测量和构建方式以 cutout 参考 为准
按画布选择座位位置

画布决定座位可以放在哪里。左侧或右侧栏属于横向布局;纵向布局的座位保持水平居中,并避开两侧边缘,其内容位于座位上方。视频素材 PIP 和挖空效果除外:它们的全宽卡片按 frame_speaker 测量,并由其引用项拥有。

画布适用的座位不要使用
纵向 9:16(1080x1920)card 低位居中,宽度约为画布的 78%,内容位于上方;card 中位居中,宽度相同,内容位于上方和下方;circle 低位居中;aperture 以头部为中心全宽 card 或 stratum 说话者窗口(挖空效果的卡片是唯一例外:其轮廓位于卡片上方,并按尺寸测量):对于纵向素材,宽度与画布相同的座位会以原始素材的完整比例绘制头部,因此特写头部需要占据画布的一半以上,否则会裁掉头顶和下巴;任何宽度的左侧或右侧栏:旁边的区域太窄,无法放置内容,而且头部看起来很小,因此纵向内容应放在座位上方或下方;宽度低于画布 30% 的角落圆形座位
方形 1:1(1080x1080)card 低位居中或高位居中;stratum 作为底部或顶部横带;circle 低位居中,或位于下方角落,宽度为画布的 30% 至 36%;aperture 居中侧栏;高度超过画面一半的堆叠座位
横向 16:9(1920x1080)card 作为左侧或右侧栏,宽度为画布的 30% 至 40%,内容位于其旁边;stratum 作为贴合三条边的侧栏;circle 位于下方角落,高度为画面的 22% 至 28%;aperture 对准头部;card 居中,内容分列两侧低位居中的卡片,且内容位于上方:横带会变成细长条;视觉内容在上、演讲者在下的堆叠布局会将头部裁进横带
座位下方的字幕位置

查看说话者实际占据的座位,而非源画面:测量座位中的头部,然后在座位和内容之外,为横带单独留出一个区域。全视频字幕不会缩进座位;如果座位无法在不裁掉头部的情况下留出横带,就应改用另一种构图(缩窄座位或更改布局层级)。下方像素行是设计最终确定的 1080x1920 和 1920x1080 分区;提示语会根据每行对应的画面高度百分比居中。

画布横带内容座位
纵向 9:16位于内容与座位之间,约为 y 920 至 1110,中心在 53% 处位于横带上方,约为 y 265 至 770位于横带下方,从约 y 1240 开始(card 约为 780x460)
横向 16:9底部横带,约为 y 800 至 890,中心在 78% 处,单行位于座位旁边,底部不低于 y 700侧栏,底部不低于 y 700
一个座位应有的特性
  • 只有一个可听见的说话者。 根轨道 0 的视频及其配对音频始终是规范说话者。可编辑的入座片段会在其合成画面中使用一个静音的 data-pip-src 视图;同时,不透明底色会遮住根画面。它绝不添加音频,也不添加第二个独立播放的源。这个归属视图会随片段移动和消失,编辑器会在剪辑中映射它。
  • 头部必须完整。 从头顶到下颌,并留有余地:座位若切掉额头或削掉下巴,就没完成它唯一的任务。头部无法完整放入时,应缩窄座位或加深座位;绝不能选择切掉哪一边。视图以 cover 比例填满座位,不能再放大:若对视图进行缩放,头部会比测量结果所示更大。
  • 按测量结果居中头部,而非凭猜测。 object-position 应使用该窗口和槽位对应的 frame_speaker 结果中的 object_position,并将其原样粘贴到显示说话者的视图上:它会将测量到的人脸居中,并让头顶、下颌和脸颊留在槽位内。50% 50% 是一种猜测,会切掉头部较高画面中的头顶;窄栏会切得更厉害,因此每种形状都要在调用中使用各自的槽位;对于剪辑媒体,每个说话者片段也都要使用各自的窗口。
  • 座位是地面上的一个对象。 对于视频资源画中画,资源会铺满说话者嵌入画面背后的地面,同时让重要内容保持可见。其他入座片段会在整个画面铺上不透明底色,并将该片段专属的说话者视图放入座位;开口会将该视图裁切到测量出的孔洞形状。在这些布局中,不得将任何内容藏在座位下方、与座位重叠或横跨座位来腾出空间;画面下方的内容应避开座位的整个宽度,而不只是其上边缘。
  • 独立的内容载荷应放在座位腾出的区域内。 内容载荷应在该区域内排版,而非以整个画面为基准。
  • 一个连续片段中,座位只出现一次。 相邻且共用同一取景的片段应保持座位位置不变:座位不会重新进入、重新安置或再次提示;只有内容载荷会更替。新的取景会在片段边界处出现,可以从全画面切入,也可以从前一个座位变形而来。
如何构建座位
  • 每个由视觉片段拥有的 seat 动画,都必须放在该片段暂停的子时间轴中。在 .speaker-pip-frame 中放入静音的 data-pip-src="public/source.mp4" 视频,让它的全局开始时间和时长与宿主对齐,并将媒体开始时间设为宿主锚点对应的源时间。代码片段的唯一来源是合成约定中的可编辑说话者 PIP。
  • 在同一时间区间内,一起动画化画框的边界框(left、top、width、height)、裁切方式(使用 object-fit: cover 的 object-position)和圆角。圆形应使用相等的边长及 borderRadius: "50%";开口会将同一个片段专属视图裁切到测量出的孔洞形状。不透明的合成底色会遮住未变动的根画面。
  • 绝不能将可独立编辑的宿主与 finecut-root 上基于绝对时间的说话者几何效果绑定。编辑器会将宿主及其子内容作为一个整体移动和删除,但不会发现或重写旧全局时间上的无关 GSAP 补间动画。

叠加层

画面由素材占据,单个内容载荷叠加其上。根说话者会在下方持续播放,画面铺满整个视口且保持清晰;片段只绘制内容载荷所需的部分:没有页面、没有遮罩,也没有源素材的副本。

叠加层形式

每种叠加层都属于以下其中一种形式。在计划中注明形式及其位置。

形式内容
annotation绘制的图形、简短标签,或放在人头净空区域内的图片
headline刚刚说出的短句,将其放大作为该片段的全部内容载荷;下方不显示字幕,否则字幕会重复这句话
各画布的叠加层位置

测得的头部位置决定叠加层可以放在哪里:在该窗口内,内容必须位于 head_in_slot 之外,并在周围留出充足空间。

画布适用的叠加层请勿使用
竖屏 9:16(1080x1920)headline 放在下三分之一处,或放在头部上方且头部框留有充足空间的位置;annotation 放在头部上方或下方的区域,宽度不限放在脸旁边的内容:侧边太窄,无法清晰阅读,因此竖屏叠加层应放在头部上方或下方
方形 1:1(1080x1080)headline 放在下三分之一处;annotation 放在头部旁边、头部框未占据的一侧,或放在头部下方同时在两侧放置内容;内容跨越头部框
横屏 16:9(1920x1080)headline 放在下三分之一处或空出的侧边;annotation 放在偏离中心的人脸所留出的空侧边在头部上方放置一条带状区域:空间太窄;内容跨越头部框
叠加层下方的字幕位置

头部、内容和字幕区域彼此避开。画面保持铺满整个画布;内容占用头部框之外的空白区域,字幕则占用另一条独立区域,因此内容可以动画,而字幕不会跟着移动。仅仅避开人脸还不够:字幕区域不能跨过内容的关键变化,内容移动时也不能进入字幕区域。如果只有一处空白区域,就缩小或移动内容,或改用座席布局或全屏覆盖;字幕绝不会逐字跟随人脸。

画布字幕区域内容
竖屏 9:16下三分之一处,约 y 1340 到 1530,中心位于 75%头部下方,约 y 860 到 1250
横屏 16:9底部区域,约 y 800 到 890,中心位于 78%,单行空出的侧边,底部不低于 y 620
叠加层的要求
  • 叠加层覆盖在清晰的画面上。 叠加层显示期间,构图不会暂停、缩放或重新取景源画面。
  • 头部保持清晰可见。 在 frame_speaker 调用中,将画布作为 slot,指定叠加层的窗口;所有文字、底板和图像都必须位于返回的 head_in_slot 之外;细连接线可以越过该区域,指向相应对象。在重新取景的画布上,该框保持不变,而根片段携带同一结果的 object_position。该框描述的是未经缩放的画面:如果叠加层窗口期间有缩放效果,应按该窗口内缩放的最大比例清除该框,将每条边沿远离缩放原点的方向按该比例推开;或者在叠加层开始前结束缩放。
  • 内容依次显示。 叠加层一次只显示一组内容;只有前一组内容退出后,下一组才会出现。
叠加层的构建方式
  • 叠加层是普通的视觉片段,其构图保持透明:组合根节点或任何全画幅包装器上都不设 background,内容放在一个定位包装器内,进入和退出动画则放在片段自身暂停的子时间线上。组合约定中的可编辑说话者画中画示例,去掉底板和说话者画面后,就是一个叠加层。
  • 不嵌入视频:不使用 data-pip-src 视图,也不复制源画面,因为下方的根说话者就是画面。根说话者的几何布局交由根时间线处理。
  • 叠加层窗口的字幕提示放在其字幕区域内(参见“叠加层下方的字幕位置”)。headline 是例外:其下不显示字幕,否则字幕会重复标题所呈现的短语。

全屏覆盖

画布决定整个画面。该片段在整个画布上绘制不透明底板,所有内容都放在底板上;没有人坐在其中,根说话者则继续在下方播放,只是看不见,声音仍然可听见。

全屏封面

每个全屏封面都属于以下一种形式。请在方案中注明形式。

形式内容
figure按全尺寸绘制的图表、示意图或机制
scene沉浸式 3D 对象或空间——例如 Three.js 场景或 CSS 3D 舞台——以全尺寸承载核心概念,镜头在其中或其周围移动
photo作为内容置于画面底层的真实图像;视频素材按上文“视频素材”所述放置,不作为封面
statement一行超大文字,以页面允许的最大字号呈现几个词
source-text对密集源材料进行裁切并放大,直到相关细节清晰可读
不同画布上的全屏封面布局

画布决定页面的布局方式。

画布适用的页面布局不要使用
纵向 9:16(1080x1920)一个居中的焦点元素,或上下排列的两个元素:上方为图表,下方为一行标签并排栏:每栏都太窄,无法阅读
正方形 1:1(1080x1080)一个居中的焦点元素,或分为两行窄于画面一半的栏;超过两行
横向 16:9(1920x1080)一个居中的焦点元素,或左右并排的两栏:图表与标签、前后对比纵向堆叠三个或更多行:每行都会变成一条细带
全屏封面上的字幕位置

先确定字幕带,再在留出的空间中编排内容:动画会在该空间内重新居中、缩放和移动;从入场到退场的整个过程中,字幕带都不能遮挡箭头末端、对比结果、数值或图例。检查切换时讲述者短暂出现的画面。只有在字幕带下方的底色是本构图指定的浅色底(浅色面板、需求中要求的浅色样式)时,才给其中的提示文字使用与底色形成对比的字体颜色(浅色底使用 #0a0c12);默认的黑色画布仍使用白色文字,因此深色文字只能按具体时刻单独决定,不能作为全屏封面的默认设置,也不能叠加在会在文字下方移动的录像或照片上。statement 会隐藏字幕;若 source-text 或 photo 的相关细节必须占据字幕带且无法上移,也同样不显示字幕。

画布字幕带内容
纵向 9:16大约从 y 1340 到 1530,居中于 75% 位置在字幕带上方重新居中,大约从 y 360 到 1060
横向 16:9底部字幕带,大约从 y 800 到 890,居中于 78% 位置,单行在字幕带上方,大约从 y 160 到 630
全屏封面的要求
  • 底色统一,完全自有。 构图在整个画布上绘制单一的不透明底色,所有内容都置于其上。图像应作为内容放在底色上,不能拉伸成底色本身。
  • 不放置讲述者画面。 不使用 data-pip-src 视图、不设置显示讲述者的窗口,也不复制源内容。抠像是唯一例外,它是一种带有自身参考文档的嵌入形式。
  • 下方的讲述者保持不动。 根讲述者在整个封面期间保持原有几何位置;缩放效果须在封面开始前结束。
全屏封面的构建方式
  • 全屏封面是一个普通的视觉时刻,其构图根元素绘制不透明底色(使用 position: absolute; inset: 0 和纯色 background),内容的入场和退场则置于该时刻自身已暂停的子时间线上。构图规范中可编辑讲述者 PIP示例去掉讲述者视图后,就是一个全屏封面。
  • 不嵌入讲述者视图。根讲述者及其音频继续以原有几何位置在下方播放;缩放效果须在全屏封面开始前结束。
  • 封面窗口中的字幕提示放在字幕带内;对于 statement,或相关细节必须占据字幕带的内容,不播放字幕。所有图像都通过 src 引用,以便交接检查能够看到。

说话人节拍

  • speaker 节拍上的缩放、滤镜或运动效果是一个效果承载点(参见合成约定);服务的引擎会将其应用于每个处于活动状态的 track-0 说话人片段(#stage > video[data-track-index="0"])。请在下一个就座时刻之前结束;效果绝不会落在就座片段内。

评论

支持 Markdown