mcpField
A
aip-dynamic-caption

aip-dynamic-caption

github.com/opus-pro创意与媒体7126 次安装4 天前更新
代码仓库

关于 aip-dynamic-caption

此技能指导 AI Producer 项目制作可编辑的动态字幕,将转录时间点写入 HTML 字幕片段,并按剪辑时间线挂载。适用于需要逐段控制字幕外观、时间和可编辑性的剪辑流程。

主要功能

  1. 01按转录时间生成字幕提示
  2. 02字幕文字直接写入 HTML
  3. 03按剪辑片段锚点挂载字幕
  4. 04支持调整提示分组与字词
  5. 05规定字幕安全区与可读性

适用场景

  1. 01为定稿后的说话者剪辑生成字幕
  2. 02逐字显示或调整每条字幕长度
  3. 03按参考样式制作字幕外观
  4. 04剪辑变更后重新生成字幕片段

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/opus-pro/ai-producer-plugin --skill aip-dynamic-caption

安装后在 Claude Code 中输入/aip-dynamic-caption确认已加载。

附带文件agents/openai.yaml

详细介绍

AI Producer 项目的字幕

字幕是你编写的时刻,与其他动态图形相同:每段语音对应一个视觉时刻;每个时刻都是符合composition contract的一个构图,其提示是在该时刻自身暂停的时间线上显示和隐藏的静态文本元素。时刻中的静态文本,是编辑器允许用户选择、重输、改色和更改字体的内容,因此字幕显示的每个词都写在构图的 HTML 中,绝不会由其脚本生成。绝不要调用 build_captions,绝不要使用 narrator-captions id,也绝不要编写 compositions/narrator_captions.html 或 compositions/transcript-src.json:这些是服务自身的字幕层,本技能不会使用。

时间安排

说话人剪辑确定后,再编写字幕。在渲染引擎目录上运行 caption_cues.py:

python3 <loaded-aip-skill>/scripts/caption_cues.py <render-engine-root> --max-words 4

它会将 compositions/editing-script.json 与 index.html 中的剪辑同步,就像 preflight 的 --sync-editing-script 一样,因此该文件应包含在同一次上传中;并且会为每个字幕时刻打印一行:id、src、剪辑上的 start、duration、src_anchor(start 对应的源视频秒数)以及 cues。每个 cue 都包含 in、out,以及以该时刻起点为基准、单位为秒的 words,格式为 [text, in, out]。所有时间都必须取自此脚本,绝不能自行根据 get_transcript 进行计算。一个时刻绝不会跨越说话人剪辑、句末或长停顿,因此用户之后在编辑器中剪切两个时刻之间的内容时,每个时刻都会连同其源锚点整体移动。在一个时刻内剪切会使后面的词提前;若剪掉首词,则整个时刻会隐藏,因为编辑器会隐藏锚点被剪掉的时刻;无论哪种情况,只要针对新剪辑重新编写,时刻就会恢复正常。--max-words 表示一个提示一次显示多少个词:默认是 4;逐词显示时用 1;对于转录中的每个词只有一两个字符的语音(例如中文或日语),用 8 到 12。你可以按词的时间,在词边界处合并两个提示或拆分一个提示,也可以更正词的拼写、大小写或标点;但绝不能改变说话内容。

将每行作为一个时刻宿主挂载在根节点内所有其他时刻之后,并且全部放在其他时刻都不使用的同一轨道上,这样字幕就会显示在所有时刻之上:

<div class="visual-host clip" data-composition-id="captions-01" data-title="Captions 1"
  data-composition-src="compositions/captions-01.html" data-start="<start>" data-duration="<duration>"
  data-src-anchor="<src_anchor>" data-track-index="<n>" data-width="W" data-height="H"></div>

在 index.html 中发布字幕时刻及其宿主,并一并发布同步后的 EditingScript 和字体文件。一次提交最多包含 200 个文件,所有内联 content 总计最多为 256 KiB,因此较长视频的字幕应按时间线顺序分多次提交:每次只挂载其自身或更早提交中已包含文件的字幕宿主,只有最后一次提交才会结束创作。

字幕时刻已挂载时,EditingScript 同步会拒绝剪辑更改(editing_script_mounted_captions_require_rebake),因为字幕时序属于旧剪辑。要重新剪辑带字幕的项目,请从 index.html 中移除字幕宿主,并在下一次提交中删除其文件;完成剪辑后,再次运行脚本并重新编写字幕。若服务先前已为项目生成字幕,则 narrator-captions 宿主会保留这些字幕,直到用户要求更改字幕或剪辑;届时请以相同方式替换该字幕层。

一个字幕时刻

<template>
  <div data-composition-id="captions-01" data-width="1080" data-height="1920">
    <style>
      @font-face { font-family: "Inter"; font-weight: 700; src: url("public/fonts/Inter-700.woff2") format("woff2"); }
      [data-composition-id="captions-01"] .cue {
        position: absolute; left: 8%; right: 12%; top: 70%; transform: translateY(-50%);
        text-align: center; font: 700 64px/1.15 "Inter"; color: #ffffff;
        text-shadow: 0 3px 12px rgba(0, 0, 0, 0.6); visibility: hidden;
      }
    </style>
    <div class="cue" data-in="0" data-out="0.82">What do you like</div>
    <div class="cue" data-in="0.82" data-out="1.9">about using Opus</div>
    <script>
      const root = document.querySelector('[data-composition-id="captions-01"]');
      const tl = gsap.timeline({ paused: true });
      root.querySelectorAll(".cue").forEach((cue) => {
        tl.set(cue, { visibility: "visible" }, Number(cue.dataset.in));
        tl.set(cue, { visibility: "hidden" }, Number(cue.dataset.out));
      });
      window.__timelines["captions-01"] = tl;
    </script>
  </div>
</template>
  • 每条字幕对应一个 cue 元素,文本写在 HTML 中,data-in 和 data-out 取自脚本对应行。时间轴会读取这些值,因此调整 cue 的时间不会影响其文本;cue 的入场或退场动画分别从 data-in 开始或在 data-out 结束。若某种样式逐字处理,则在 cue 内将每个词分别包在一个 span 中,并为该词设置对应时间。
  • 屏幕上一次只显示一条字幕:上一条字幕退场时,下一条字幕随即出现。
  • 每个字幕文件最多 64 KiB,独立对应一个时刻。在每个字幕文件中重复写入 @font-face 和 cue 规则,使每个时刻都能独立渲染。
  • 字幕时刻不是节拍:它不使用音效,也不计入精剪中的视觉时刻。

默认样式

若没有参考素材,也没有用户对样式的描述,则所有字幕都采用相同的简洁样式:Inter Bold、白色、柔和的深色阴影、居中,字号约为画布短边的 6%(1080 像素宽的画布上为 64 px),最多两行,不突出显示任何词。在竖屏画布上,字幕带位于画面高度 70% 处;在横屏或正方形画布上,位于 78% 处,且仅在说话者占据画面时如此;在视觉时刻下,字幕应按构图技能针对该时刻布局所指定的位置放置,并在每条于此处播放的 cue 上设置。

从 Google Fonts 或其 Fontsource 镜像下载字体,并将其放在 public/fonts/ 下,与第一个字幕文件一起上传。准备好字幕字符所需的所有字体文件。如果脚本使用的语言是 Inter 不支持的语言,例如中文、日文、韩文、阿拉伯文或印地语,则应改用对应脚本的 Noto Sans 字体系列。切勿指定未准备好的字体:导出会在装有自身字体的机器上渲染,未准备的字体名称会被替换成其他字体。

使用参考素材时

如果用户的剪辑仿照某个参考素材,则由参考样式技能决定字幕样式、同时显示哪些 cue 以及如何排布;它会完全取代默认样式。本技能中的时间安排、挂载方式和易读性要求仍然适用。

确保字幕易读的要点

以下要求适用于默认样式、参考素材样式和用户描述的样式:

  • 每个词在整个显示期间都必须完整位于画面的安全区域内,包括入场或强调动画中放大到最大尺寸时:安全区域由美学规则为画布设定,并须避开竖屏画面右侧的平台按钮和底部的字幕栏。
  • cue 应在文本框内换行,而不是缩小字号;若 cue 会占到第三行,应拆分 cue,而不是缩小文字。
  • 任何 cue 都不得在 headline 叠加层或 statement 全屏遮罩下播放,因为这些元素已经显示了该短语;也不得在其他直接呈现口述内容的图形下播放,例如使用说话者原话的标题、带文字的徽标或引语卡片(美学规则为这些元素单独安排了节拍),也不得在细节必须占据字幕带的全屏遮罩下播放。删除这些 cue;若所有 cue 都落在这些时段,则删除整个时刻。

评论

支持 Markdown