关于 aip-dynamic-caption
此技能指导 AI Producer 项目制作可编辑的动态字幕,将转录时间点写入 HTML 字幕片段,并按剪辑时间线挂载。适用于需要逐段控制字幕外观、时间和可编辑性的剪辑流程。
主要功能
- 01按转录时间生成字幕提示
- 02字幕文字直接写入 HTML
- 03按剪辑片段锚点挂载字幕
- 04支持调整提示分组与字词
- 05规定字幕安全区与可读性
适用场景
- 01为定稿后的说话者剪辑生成字幕
- 02逐字显示或调整每条字幕长度
- 03按参考样式制作字幕外观
- 04剪辑变更后重新生成字幕片段
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ opus-pro/ ai-producer-plugin --skill aip-dynamic-caption安装后在 Claude Code 中输入/aip-dynamic-caption确认已加载。
附带文件agents/openai.yaml
详细介绍
AI Producer 项目的字幕
字幕是你编写的时刻,与其他动态图形相同:每段语音对应一个视觉时刻;每个时刻都是符合composition contract的一个构图,其提示是在该时刻自身暂停的时间线上显示和隐藏的静态文本元素。时刻中的静态文本,是编辑器允许用户选择、重输、改色和更改字体的内容,因此字幕显示的每个词都写在构图的 HTML 中,绝不会由其脚本生成。绝不要调用 build_captions,绝不要使用 narrator-captions id,也绝不要编写 compositions/narrator_captions.html 或 compositions/transcript-src.json:这些是服务自身的字幕层,本技能不会使用。
时间安排
说话人剪辑确定后,再编写字幕。在渲染引擎目录上运行 caption_cues.py:
python3 <loaded-aip-skill>/scripts/caption_cues.py <render-engine-root> --max-words 4
它会将 compositions/editing-script.json 与 index.html 中的剪辑同步,就像 preflight 的 --sync-editing-script 一样,因此该文件应包含在同一次上传中;并且会为每个字幕时刻打印一行:id、src、剪辑上的 start、duration、src_anchor(start 对应的源视频秒数)以及 cues。每个 cue 都包含 in、out,以及以该时刻起点为基准、单位为秒的 words,格式为 [text, in, out]。所有时间都必须取自此脚本,绝不能自行根据 get_transcript 进行计算。一个时刻绝不会跨越说话人剪辑、句末或长停顿,因此用户之后在编辑器中剪切两个时刻之间的内容时,每个时刻都会连同其源锚点整体移动。在一个时刻内剪切会使后面的词提前;若剪掉首词,则整个时刻会隐藏,因为编辑器会隐藏锚点被剪掉的时刻;无论哪种情况,只要针对新剪辑重新编写,时刻就会恢复正常。--max-words 表示一个提示一次显示多少个词:默认是 4;逐词显示时用 1;对于转录中的每个词只有一两个字符的语音(例如中文或日语),用 8 到 12。你可以按词的时间,在词边界处合并两个提示或拆分一个提示,也可以更正词的拼写、大小写或标点;但绝不能改变说话内容。
将每行作为一个时刻宿主挂载在根节点内所有其他时刻之后,并且全部放在其他时刻都不使用的同一轨道上,这样字幕就会显示在所有时刻之上:
<div class="visual-host clip" data-composition-id="captions-01" data-title="Captions 1"
data-composition-src="compositions/captions-01.html" data-start="<start>" data-duration="<duration>"
data-src-anchor="<src_anchor>" data-track-index="<n>" data-width="W" data-height="H"></div>
在 index.html 中发布字幕时刻及其宿主,并一并发布同步后的 EditingScript 和字体文件。一次提交最多包含 200 个文件,所有内联 content 总计最多为 256 KiB,因此较长视频的字幕应按时间线顺序分多次提交:每次只挂载其自身或更早提交中已包含文件的字幕宿主,只有最后一次提交才会结束创作。
字幕时刻已挂载时,EditingScript 同步会拒绝剪辑更改(editing_script_mounted_captions_require_rebake),因为字幕时序属于旧剪辑。要重新剪辑带字幕的项目,请从 index.html 中移除字幕宿主,并在下一次提交中删除其文件;完成剪辑后,再次运行脚本并重新编写字幕。若服务先前已为项目生成字幕,则 narrator-captions 宿主会保留这些字幕,直到用户要求更改字幕或剪辑;届时请以相同方式替换该字幕层。
一个字幕时刻
<template>
<div data-composition-id="captions-01" data-width="1080" data-height="1920">
<style>
@font-face { font-family: "Inter"; font-weight: 700; src: url("public/fonts/Inter-700.woff2") format("woff2"); }
[data-composition-id="captions-01"] .cue {
position: absolute; left: 8%; right: 12%; top: 70%; transform: translateY(-50%);
text-align: center; font: 700 64px/1.15 "Inter"; color: #ffffff;
text-shadow: 0 3px 12px rgba(0, 0, 0, 0.6); visibility: hidden;
}
</style>
<div class="cue" data-in="0" data-out="0.82">What do you like</div>
<div class="cue" data-in="0.82" data-out="1.9">about using Opus</div>
<script>
const root = document.querySelector('[data-composition-id="captions-01"]');
const tl = gsap.timeline({ paused: true });
root.querySelectorAll(".cue").forEach((cue) => {
tl.set(cue, { visibility: "visible" }, Number(cue.dataset.in));
tl.set(cue, { visibility: "hidden" }, Number(cue.dataset.out));
});
window.__timelines["captions-01"] = tl;
</script>
</div>
</template>
- 每条字幕对应一个 cue 元素,文本写在 HTML 中,
data-in和data-out取自脚本对应行。时间轴会读取这些值,因此调整 cue 的时间不会影响其文本;cue 的入场或退场动画分别从data-in开始或在data-out结束。若某种样式逐字处理,则在 cue 内将每个词分别包在一个 span 中,并为该词设置对应时间。 - 屏幕上一次只显示一条字幕:上一条字幕退场时,下一条字幕随即出现。
- 每个字幕文件最多 64 KiB,独立对应一个时刻。在每个字幕文件中重复写入
@font-face和 cue 规则,使每个时刻都能独立渲染。 - 字幕时刻不是节拍:它不使用音效,也不计入精剪中的视觉时刻。
默认样式
若没有参考素材,也没有用户对样式的描述,则所有字幕都采用相同的简洁样式:Inter Bold、白色、柔和的深色阴影、居中,字号约为画布短边的 6%(1080 像素宽的画布上为 64 px),最多两行,不突出显示任何词。在竖屏画布上,字幕带位于画面高度 70% 处;在横屏或正方形画布上,位于 78% 处,且仅在说话者占据画面时如此;在视觉时刻下,字幕应按构图技能针对该时刻布局所指定的位置放置,并在每条于此处播放的 cue 上设置。
从 Google Fonts 或其 Fontsource 镜像下载字体,并将其放在 public/fonts/ 下,与第一个字幕文件一起上传。准备好字幕字符所需的所有字体文件。如果脚本使用的语言是 Inter 不支持的语言,例如中文、日文、韩文、阿拉伯文或印地语,则应改用对应脚本的 Noto Sans 字体系列。切勿指定未准备好的字体:导出会在装有自身字体的机器上渲染,未准备的字体名称会被替换成其他字体。
使用参考素材时
如果用户的剪辑仿照某个参考素材,则由参考样式技能决定字幕样式、同时显示哪些 cue 以及如何排布;它会完全取代默认样式。本技能中的时间安排、挂载方式和易读性要求仍然适用。
确保字幕易读的要点
以下要求适用于默认样式、参考素材样式和用户描述的样式:
- 每个词在整个显示期间都必须完整位于画面的安全区域内,包括入场或强调动画中放大到最大尺寸时:安全区域由美学规则为画布设定,并须避开竖屏画面右侧的平台按钮和底部的字幕栏。
- cue 应在文本框内换行,而不是缩小字号;若 cue 会占到第三行,应拆分 cue,而不是缩小文字。
- 任何 cue 都不得在
headline叠加层或statement全屏遮罩下播放,因为这些元素已经显示了该短语;也不得在其他直接呈现口述内容的图形下播放,例如使用说话者原话的标题、带文字的徽标或引语卡片(美学规则为这些元素单独安排了节拍),也不得在细节必须占据字幕带的全屏遮罩下播放。删除这些 cue;若所有 cue 都落在这些时段,则删除整个时刻。