mcpField
A
aip-dynamic-caption

aip-dynamic-caption

github.com/opus-proクリエイティブ・メディア7126 回インストール4 日前に更新
リポジトリ

aip-dynamic-caption について

AI Producerのプロジェクトで、編集可能な字幕を作成するスキルです。書き起こしの時間情報をHTMLの字幕モーメントに反映し、編集タイムラインに配置します。

主な機能

  1. 01書き起こしから字幕タイミングを生成
  2. 02字幕テキストをHTMLに記述
  3. 03編集区間に字幕モーメントを固定
  4. 04単語境界で字幕の分割を調整
  5. 05セーフエリアと可読性のルール

活用シーン

  1. 01話者カット確定後の字幕作成
  2. 02一語ずつ表示する字幕の制作
  3. 03参照映像に合わせた字幕スタイル
  4. 04再編集後の字幕モーメント再生成

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/opus-pro/ai-producer-plugin --skill aip-dynamic-caption

インストール後、Claude Code で/aip-dynamic-captionを入力して読み込まれたか確認します。

同梱ファイルagents/openai.yaml

詳細

AI Producer プロジェクトの字幕

字幕は、ほかのモーショングラフィックスと同じように、ひとまとまりの発話につき視覚的な瞬間を1つずつ作成します。それぞれの瞬間は、コンポジションの契約に準拠するコンポジションであり、その合図は、瞬間ごとの一時停止タイムライン上で表示・非表示になる静的なテキスト要素です。瞬間内の静的テキストは、エディターでユーザーが選択、入力し直し、色やフォントを変更できるものです。そのため、字幕に表示するすべての単語はコンポジションのHTMLに記述し、スクリプトで生成してはいけません。build_captionsは決して呼び出さず、narrator-captions IDも使用せず、compositions/narrator_captions.htmlやcompositions/transcript-src.jsonも決して作成しないでください。これらはサービス独自の字幕レイヤーであり、このスキルでは使用しません。

タイミング

話者のカットが確定したら、字幕を作成します。レンダーエンジンのディレクトリに対してcaption_cues.pyを実行します。

python3 <loaded-aip-skill>/scripts/caption_cues.py <render-engine-root> --max-words 4

このスクリプトは、preflightの--sync-editing-scriptと同様に、compositions/editing-script.jsonをindex.html内のカットと同期するため、このファイルも同じアップロードに含めます。また、字幕の瞬間ごとに1行を出力します。各行には、id、src、カット上のstart、duration、src_anchor(start時点のソース秒数)、およびin、outと、瞬間の開始時点からの秒数で表されたwords([text, in, out])を含むcuesが記載されます。タイミングはすべてこの出力から取得してください。get_transcriptを使って独自に計算してはいけません。1つの瞬間が話者のカット、文末、または長い間をまたぐことはありません。そのため、ユーザーが後からエディターで2つの瞬間の間にカットを入れても、それぞれの瞬間はソースアンカーごとそのまま移動します。瞬間の途中でカットすると後半の単語が前にずれ、最初の単語が削除されるカットでは瞬間全体が非表示になります。これは、エディターがアンカーを切り離された瞬間を非表示にするためです。いずれの場合も、新しいカットに合わせて作り直せば、瞬間は再び正しくなります。--max-wordsは、キューに一度に表示する単語数です。既定値は4です。単語を1つずつ表示する演出では1を指定し、中国語や日本語のように文字数が1、2文字の単語が多い音声では8から12を指定します。単語の時間を使い、単語の境界で2つのキューを結合したり、1つのキューを分割したりできます。また、発話内容を変えない範囲で、単語のつづり、大文字・小文字、句読点を修正できます。

各行をモーメントホストとして、ルート内の他のすべてのモーメントの後に、他のモーメントが使用していない1つのトラック上に配置します。こうすることで、字幕がすべてのモーメントの上に描画されます。

<div class="visual-host clip" data-composition-id="captions-01" data-title="Captions 1"
  data-composition-src="compositions/captions-01.html" data-start="<start>" data-duration="<duration>"
  data-src-anchor="<src_anchor>" data-track-index="<n>" data-width="W" data-height="H"></div>

字幕のモーメントは、ホストとともにindex.html、同期済みのEditingScript、フォントファイルに含めて公開します。1回のコミットで含められるファイルは最大200個、インラインのcontentは合計で最大256 KiBです。そのため、長い動画の字幕はタイムライン順に複数回のコミットに分けて送信します。各コミットでは、そのコミットまたはそれ以前のコミットでファイルが送信済みの字幕ホストだけをマウントし、最後のコミットでのみオーサリングを終了します。

字幕のモーメントがマウントされている間、EditingScriptの同期ではカットの変更が拒否されます(editing_script_mounted_captions_require_rebake)。字幕のタイミングが以前のカットに基づいているためです。字幕付きプロジェクトのカットを変更するには、index.htmlから字幕ホストを取り除き、次のコミットからそのファイルを除外してから、カットを変更し、スクリプトを再実行して字幕を作り直します。サービスが以前に字幕を生成したプロジェクトでは、narrator-captionsホストを、ユーザーが字幕またはカットの変更を依頼するまでそのまま保持します。その際は、同じ方法でそのレイヤーを置き換えます。

キャプションのモーメント

<template>
  <div data-composition-id="captions-01" data-width="1080" data-height="1920">
    <style>
      @font-face { font-family: "Inter"; font-weight: 700; src: url("public/fonts/Inter-700.woff2") format("woff2"); }
      [data-composition-id="captions-01"] .cue {
        position: absolute; left: 8%; right: 12%; top: 70%; transform: translateY(-50%);
        text-align: center; font: 700 64px/1.15 "Inter"; color: #ffffff;
        text-shadow: 0 3px 12px rgba(0, 0, 0, 0.6); visibility: hidden;
      }
    </style>
    <div class="cue" data-in="0" data-out="0.82">What do you like</div>
    <div class="cue" data-in="0.82" data-out="1.9">about using Opus</div>
    <script>
      const root = document.querySelector('[data-composition-id="captions-01"]');
      const tl = gsap.timeline({ paused: true });
      root.querySelectorAll(".cue").forEach((cue) => {
        tl.set(cue, { visibility: "visible" }, Number(cue.dataset.in));
        tl.set(cue, { visibility: "hidden" }, Number(cue.dataset.out));
      });
      window.__timelines["captions-01"] = tl;
    </script>
  </div>
</template>
  • 各キューにつきキュー要素は1つとし、テキストは HTML に、data-in と data-out はスクリプトの行から設定します。タイムラインがこれらを読み取るため、キューのタイミングを変更してもテキストには触れず、キューの開始または終了のトゥイーンは data-in から始まるか、data-out で終わります。単語ごとに見せるスタイルでは、各単語を専用の span で囲み、その単語の時間を設定してキュー内に配置します。
  • 画面に表示するキューは常に1つです。前のキューが消えると、次のキューが表示されます。
  • 各キャプションファイルは 64 KiB 以下とし、それぞれのモーメント専用にします。各モーメントが単独でレンダリングされるよう、@font-face とキューのルールはキャプションファイルごとに繰り返します。
  • キャプションのモーメントはビートではありません。効果音は付けず、ファインカットのビジュアルモーメント数にも含めません。

デフォルトのスタイル

参照やユーザーの指定がない場合、すべてのキャプションは同じシンプルなスタイルにします。Inter Bold、白、柔らかな暗い影付き、中央揃えで、キャンバスの短辺の約6%(幅1080のキャンバスなら64 px)とし、最大2行、強調する単語はなしです。縦長キャンバスでは話者がフレームを占めている間、キャプションの帯をフレーム高の70%の位置に、横長または正方形のキャンバスでは78%の位置に配置します。ビジュアルモーメントの下では、フレーミングスキルがそのモーメントのレイアウトに合わせて指定する位置に配置し、その場面で再生される各キューに設定します。

Google Fonts またはその Fontsource ミラーからフォントをダウンロードし、最初のキャプションファイルと同じアップロードに含めて public/fonts/ に配置します。キャプションで使う文字に必要なファイルはすべて配置してください。Inter が対応していない台本の音声(中国語、日本語、韓国語、アラビア語、ヒンディー語など)には、その文字体系に対応する Noto Sans ファミリーを使用します。配置していないフォント名は決して指定しないでください。エクスポートは独自のフォントを備えたマシンでレンダリングされるため、配置されていないフォント名は別の書体としてレンダリングされます。

参照がある場合

ユーザーの編集が参照を模倣する場合、参照スタイルスキルがキャプションのスタイル、同時に表示するキュー、そのレイアウトを決定し、デフォルトのスタイルを全面的に置き換えます。このスキルで定めるタイミング、配置、可読性の要件は引き続き適用されます。

キャプションの可読性を保つ条件

以下は、デフォルトのスタイル、参照、ユーザー指定のいずれにも適用されます。

  • すべての単語は、画面に表示されている間ずっと、フレームのセーフエリア内に完全に収めます。セーフエリアはキャンバスに対して美的ルールで定められており、縦長キャンバスでは右端のプラットフォームボタンと下部のキャプションバーを避けます。表示中のいずれかの時点で、開始時または強調時に最大サイズになっても収めてください。
  • キューは縮小せずにボックス内で折り返します。3行目が必要になるキューは、文字を小さくするのではなく分割します。
  • headline オーバーレイや statement の全面表示の下では、キューを再生しません。これらはすでにフレーズを表示しているためです。また、話者の言葉そのものを示すタイトルなど、発話内容を表示するほかのグラフィックの下、または美的ルールでそれだけのビートが割り当てられているテキスト入りロゴや引用カードの下、あるいは細部が帯を占める必要のある全面表示の下でも再生しません。該当するキューを削除し、すべてのキューが該当する場合はモーメント全体を削除します。

コメント