mcpField
A
aip-framing

aip-framing

github.com/opus-proクリエイティブ・メディア7126 回インストール4 日前に更新
リポジトリ

aip-framing について

AI Producerプロジェクトで、各ビートを話者、映像素材、キャンバスのどれを中心に構成するか決めるスキルです。キャンバス、文字起こし、映像に基づいてレイアウトと形状を選びます。

主な機能

  1. 01各ビートの構図レジスター選択
  2. 02シート、オーバーレイ、全面表示の形式選択
  3. 03話者の位置と映り込みの測定
  4. 04レイアウトごとの字幕帯設定
  5. 05縦長、正方形、横長キャンバスへの対応

活用シーン

  1. 01異なる画面比率での話者レイアウト設計
  2. 02測定した話者位置を避けたテキスト配置
  3. 03映像、オーバーレイ、字幕のレイアウト選択

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/opus-pro/ai-producer-plugin --skill aip-framing

インストール後、Claude Code で/aip-framingを入力して読み込まれたか確認します。

同梱ファイルagents/openai.yamlreferences/cutout.md

詳細

AI Producer プロジェクトのフレーミング

フレーミングでは、各ビートのフレームを誰が決めるか、つまり話者、映像、キャンバスのいずれが所有するかを決めます。キャンバス、トランスクリプト、映像をもとに各ビートにつき1つの判断を行います。それはあなたが決めるものです。色、角、影、書体などの見た目はビジュアルスタイルの担当です。このページでは各レイアウトの形と、維持すべきジオメトリを定めます。コンポジション契約では、エディターとエクスポートが読み取る内容を定めます。

テキストを含む形式を選ぶ前に、ユーザーのブリーフとAI Producer のテキストルールを適用してください。以下の形式で説明するのはジオメトリです。ラベル、見出し、ステートメントの例は、テキストを追加してよいことを意味するものではありません。

決めること

  1. まずキャンバスです。 brief のプラットフォームから読み取ります。Reels、TikTok、Shorts では 1080x1920、正方形のフィード投稿では 1080x1080、それ以外では通常 1920x1080 のソースのアスペクト比を使います。キャンバスによって、各レイアウトで使える形式と位置が決まります(下の表を参照)。あるキャンバス向けに描画したレイアウトを、別のキャンバスで使い回すことはありません。
  2. ビートごとのレジスターです。 下の表にある4種類から選びます。その章で、使える形式、キャンバスが許す位置、維持する要素、構築方法が決まります。
  3. 瞬間ごとの形式です。 シート、オーバーレイ、フルカバーには、それぞれ下の章に短い形式の一覧があります。プランにはレジスターと形式を記載します。
  4. 配置する前に計測します。 シート、オーバーレイ、切り抜き、またはリフレームに使うすべてのウィンドウについて、制限の範囲内でできるだけ少ない回数で frame_speaker を呼び出します。各ウィンドウのカット上の start と end、slug、matte(切り抜きの場合のみ true)、および話者が占めるスロット(シートの rect、円の左右両方、アパーチャの穴、またはオーバーレイ、フルフレームのリフレーム、切り抜きの場合はキャンバス)を指定します。get_task でタスクを読み取ります。その result.windows 内の各ウィンドウには、presence(seat_ok が false の場合はシートまたはオーバーレイを、matte_ok が false の場合は切り抜きをスキップします)、ソース内の比率で示された face と head、およびスロットの object_position(その css をシートの data-pip-src ビュー、またはフルフレームのリフレームではルートクリップに貼り付けます)、head_in_slot、fits が含まれます。fits.height が false の場合、スロットはその高さで収まるソースのアスペクト比より横幅が広いため、object-fit: cover によってソースはスロットの幅に合わせて拡大され、頭部はその幅で描画されます。同じ高さのままスロットを狭めると頭部もそれに合わせて小さくなります。または、少なくとも fits.min_slot_height まで高さを確保してください。配置する前に、変更後のスロットを計測します。min_slot_height が下がらなかった場合、スロットは高さに制約されているため、奥行きを増やすことだけが有効です。また、fits.width が false になるまでスロットを狭めた場合は、狭めすぎています。クロップを深くする方法は決して使わないでください。キャンバススロットの場合、head_in_slot はキャンバス上の頭部のボックスであり、オーバーレイが空けておく領域です。切り抜きウィンドウでは、さらに多くの項目を受け取り、返します。それらの項目については切り抜きリファレンスを参照してください。この呼び出しは無料で、一度に最大8ウィンドウまで指定でき、matte ウィンドウの合計は1回あたり最大60秒です。プランにそれ以上のウィンドウがある場合は、複数回に分け、各回で slug が重複しないようにして、それぞれのタスクを読み取ります。
  5. ウィンドウです。 話者を表示するレジスターを使えるのは、話者がカメラに映っているウィンドウだけです。ソースが、クリエイターが見せることを選んだものへカットするときは、覆い隠さず、そのまま再生します。
  6. 瞬間ごとの字幕バンドです。 ビジュアルの瞬間が続く間、字幕は表示したままにします。瞬間のほうが字幕バンドに合わせ、逆にはしません。各瞬間のバンドの位置は、下のレイアウト章の「字幕の位置」に従って決め、その瞬間に再生される字幕キューをそこに配置します。動的字幕スキルに従い、バンドの下地がコンポジションで明るく塗られている場合に限り、濃い文字色を使います。字幕を表示しないのは、headline オーバーレイ、または statement フルカバー(発話を大きく描画するもの)、バンド内に関連する詳細を配置する必要があり移動できない source-text または photo フルカバー、あるいは brief で無音を指定された区間だけです。各キューはそれぞれ独自の位置を持つため、1つの動画で PIP とフルカバーを同時に表示できます。

レジスター

レジスター内容
speaker全フレームに表示されるルートスピーカー。必要に応じて、ズームやフィルター効果のホストになります
seat不透明な背景上で、スピーカーを指定した位置に指定した形状で配置し、シートが残す帯状の領域にペイロードを描画します。形状と位置は各章に記載されています
overlay映像は全画面に鮮明なまま表示され、ペイロードグループが一度に1つずつ、測定した頭部が空ける領域に重ねて表示されます
full-coverキャンバスがフレームを占有します。ページ全体に広がる1つの不透明な背景にペイロードを載せ、スピーカーは覆われますが、音声は聞こえます

動画アセット

スピーチで画面に表示する動画アセットは、2種類のレイアウトのいずれかに配置します。どちらもシートであり、シートが保持するものはすべて保持します。

  • PIP:アセットが背景となり、スピーカーはアセットの重要な被写体、動き、テキストに重ならない位置に、小さなインセットとして配置されます。
  • 上下分割:アセットを上部に配置し、その下にスピーカーを低めの中央位置にある card として配置します。アセットは全幅にしてもかまいませんが、カードには左右のマージンを残します。縦向きの映像でスピーカーパネルを全幅にすると、頭部が元映像と同じスケールで描画され、クローズアップが切り取られるためです。
  • アセットはアスペクト比と重要なコンテンツを維持し、それに合わせてパネルの比率とインセットの位置を調整します。
  • キャプション帯は、縦向きシートの下に配置する場合と同様に(「シート下でのキャプションの配置」)、アセットとスピーカーパネルの間に置きます。パネルは帯の下から始まります。

3つのレイアウト

以下では、シート、オーバーレイ、フルカバーについて、内容、形状、各キャンバスでの配置位置、保持する要素、構築方法を同じ順序で説明します。speaker のビートにはこれらは不要です。全フレームに表示されるルートスピーカーであり、ズームやフィルターはそのエフェクトホストです。

Seat

不透明な背景上で、スピーカーを指定した位置に指定した形状で配置し、シートが残す帯状の領域にペイロードを描画します。シートのフレーミングごとに、形状、位置、基準位置を一度だけ指定します。同じフレーミングを共有するビートでは、その指定を維持し、別の場面では異なるフレーミングを指定できます。長い行や大きな人物に合わせるため、実行中に矩形を再計算することはありません。ペイロードが帯状領域に収まらない場合は、シートの位置をずらすのではなく、別のフレーミングが必要です。

シートの形状

各シートは、キャンバスで許可される位置に、以下のいずれかの形状で配置します。プランには形状と位置を記載し、数値はその後に続けます。

形状内容
cardフレームの端から離れた角丸のウィンドウ。背景に置かれたオブジェクトです
stratumスピーカーをフレームの1つ以上の端にぴったり合わせた形。ページ上のオブジェクトではなく、ページのレイヤーです
circle各辺の長さが等しいウィンドウで、border-radius: 50% を指定し、頭部を中央に配置します
aperture穴をくり抜いた不透明な背景です。ライブ映像のスピーカーはその穴から見え、穴は頭部に重なるため、位置はレイアウトグリッドではなく、測定した顔の位置から決まります
cutoutポップ表現です。部屋は全幅のカードへと後退し、そこから切り抜かれたスピーカーがカードより手前に立ちます。頭部の上の余白にペイロードを配置します。測定方法と構築方法はcutout リファレンスに記載されています
キャンバス別のシート配置

キャンバスによって、シートを配置できる場所が決まります。左または右の列は横長レイアウトです。縦長レイアウトのシートは、水平方向の中央に配置して左右両端から離し、ペイロードはその上に配置します。ただし、動画アセットの PIP とカットアウトは例外です。これらの全幅カードは frame_speaker によって測定され、参照元が所有します。

キャンバス配置できるシート使用しない配置
縦長 9:16(1080x1920)下部中央に配置する card(幅は約 78%、ペイロードは上)、中段中央に配置する card(同じ幅で、ペイロードは上と下)、下部中央に配置する circle、頭部を中心に配置する aperture全幅の card または stratum のスピーカーウィンドウ(例外はカットアウトのカードです。シルエットがカードの上に出て、そのサイズが測定されます)。縦長の映像では、キャンバス幅いっぱいのシートを使うと、頭部がソースと同じスケールで描画されます。そのため、クローズアップの頭部はキャンバスの半分を超える幅が必要になり、そうでなければ頭頂部やあごが切れます。幅にかかわらず、左または右の列も使用しません。横の帯がペイロードを配置するには狭すぎて頭部も小さく見えるため、縦長のペイロードはシートの上または下に配置します。幅が 30% 未満のコーナーサークル
正方形 1:1(1080x1080)下部中央または上部中央に配置する card、下または上の帯として配置する stratum、下部中央または下隅に幅 30%~36% で配置する circle、中央に配置する apertureサイド列。フレームの半分を超える高さに重ねたシート
横長 16:9(1920x1080)左または右の列に幅 30%~40% で配置し、横にペイロードを置く card、3 辺にぴったり合わせたサイド列の stratum、下隅に高さ 22%~28% で配置する circle、頭部に配置する aperture、中央に配置してペイロードを左右に分割する card下部中央に配置し、ペイロードを上に置くカード。帯が細すぎます。ビジュアルを上、プレゼンターを下に重ねて頭部が帯状に切れる配置
シートの下にキャプションを配置する場所

ソースフレームではなく、スピーカーが実際に収まるシートを見ます。シート内の頭部の大きさを測り、帯にはシートとペイロードの外側に独自の領域を確保します。動画全体のキャプションがシート内に縮小されることはありません。また、頭部を損なわずに帯を確保できないシートには、別のフレーミングを使います(幅を狭めるか、レジスターを変更します)。以下のピクセル行は、デザインで採用した 1080x1920 と 1920x1080 のゾーニングです。各キューは、フレームの高さに対する各行の割合を中心に配置します。

キャンバス帯ペイロードシート
縦長 9:16ペイロードとシートの間、y 約 920~1110、中央は 53%帯の上、y 約 265~770帯の下、y 約 1240 から(card は約 780x460)
横長 16:9下部の帯、y 約 800~890、中央は 78%、1 行シートの横、y 700 より上で終わるサイド列、y 700 より上で終わる
シートが保つもの
  • 音声を出すスピーカーは1人です。 ルートのトラック0の映像と、それにペアリングされた音声が正規のスピーカーとして維持されます。編集可能な着席シーンでは、構成内にミュートされた data-pip-src ビューを1つ使い、不透明な背景でルート映像を隠します。音声や、独立して再生される2つ目のソースが追加されることはありません。この所有ビューはシーンと一緒に移動し、シーンと一緒に消えます。エディターはカットをまたいでこれを対応付けます。
  • 頭全体を収めます。 頭頂部から顎まで、余裕を持って収めます。額を切ったり顎を削ったりするシートは、唯一の役目を果たせていません。頭が収まらない場合は、シートの幅を狭めるか、奥行きを深くします。どちらかの端を切り落とすことはありません。ビューはカバー倍率でシートを満たし、それ以上拡大しません。ビューにスケールを設定すると、計測時より頭が大きく表示されます。
  • 推測ではなく、計測に基づいて頭を中央に配置します。 object-position には、そのウィンドウとスロットについての frame_speaker 結果の object_position をそのまま貼り付け、スピーカーを表示するビューに設定します。これにより計測された顔が中央に配置され、頭頂部、顎、頬がスロット内に収まります。50% 50% は、フレーム上部に寄った頭の頭頂部を切り取る推測値です。幅の狭いカラムではさらに大きく切り取られるため、呼び出し時に形状ごとに専用のスロットを設け、カットされたメディアではスピーカーのクリップごとに専用のウィンドウを設けます。
  • シートは背景上のオブジェクトです。 ビデオアセットのPIPでは、スピーカーの小窓の背後にある背景をアセットで満たし、重要なコンテンツが見える状態を保ちます。それ以外の着席シーンでは、フレーム全体に不透明な背景を描き、シーンが所有するスピーカービューをシートに配置します。開口部でそのビューを計測した穴の形に切り抜きます。こうしたレイアウトでは、スペースを確保するためにシートの下に潜り込ませたり、シートに重ねたり、シートをまたがせたりしません。バンドの下部に置くコンテンツは、シートの上端だけでなく幅も避けます。
  • 別個のペイロードを、シートが空けたバンド内に配置します。 ペイロードはフレーム全体ではなく、そのバンド内に構成します。
  • シートが表示されるのは、ビートの連続中に1回だけです。 同じフレーミングを共有する隣接ビートでは、シートの位置を保ちます。再登場したり、再び位置を落ち着かせたり、再度存在を知らせたりすることはありません。切り替わるのはペイロードだけです。新しいフレーミングはビート境界で登場し、フルフレームから切り替わるか、前のシートから変形します。
シートの構築方法
  • ビジュアルシーンが所有する seat の動きはすべて、そのシーンの一時停止中の子タイムライン内に置きます。.speaker-pip-frame にミュートされた data-pip-src="public/source.mp4" の動画を配置し、グローバルな開始時間と再生時間をホストに合わせ、メディアの開始時間をホストのアンカー時点におけるソースの時間に設定します。スニペットの唯一の参照元は、構成契約の編集可能なスピーカーPIPです。
  • 同じ時間区間で、フレームのボックス(left、top、width、height)、クロップ(object-fit: cover と組み合わせた object-position)、角丸をまとめてアニメーションさせます。円形にする場合は縦横を同じにし、borderRadius: "50%" を指定します。開口部では、同じシーンが所有するビューを計測した穴の形に切り抜きます。不透明な構成の背景で、変更されていないルート映像を隠します。
  • 独立して編集可能なホストを、finecut-root 上の絶対時間に基づくスピーカーのジオメトリと結び付けてはいけません。エディターはホストとその子コンテンツを1つの単位として移動・削除しますが、以前のグローバル時間にある無関係なGSAPトゥイーンを検出したり、書き換えたりはしません。

オーバーレイ

フレームを占めるのは映像で、その上にペイロードを1つ配置します。ルートのスピーカーはその下でフルブリードかつ鮮明なまま再生され、シーンにはペイロードに必要なものだけを描画します。ページも、画面全体を覆う効果も、ソースのコピーも使いません。

オーバーレイの形式

オーバーレイは、次のいずれかの形式です。プランでは形式名と配置場所を指定します。

形式内容
annotation頭にかからない領域に配置する図形、短いラベル、または画像
headline直前に話されたフレーズを、ビートのペイロード全体として大きく描画するもの。その下ではキャプションを表示しません。表示すると同じセリフが繰り返されてしまうためです。
キャンバスごとのオーバーレイ位置

測定した頭部の位置によって、オーバーレイを配置できる場所が決まります。そのウィンドウでは、ペイロードを head_in_slot の外に置き、周囲に十分な余白を確保します。

キャンバス配置できるオーバーレイ使用しないもの
ポートレート 9:16 (1080x1920)下部3分の1の headline、または頭部のボックスに十分な頭上の余白がある場合は頭部の上の headline。annotation は頭部の上または下の帯に、全幅で配置顔の横に置くもの。横の余白は狭すぎて読めないため、ポートレートのオーバーレイは頭部の上か下に配置します
スクエア 1:1 (1080x1080)下部3分の1の headline。annotation は頭部のボックスが空けている側の余白、または頭部の下に配置両側の余白に同時にペイロードを配置すること。頭部のボックスに重なるペイロード
ランドスケープ 16:9 (1920x1080)下部3分の1、または空いている側の余白の headline。画面中央からずれた顔が空けている側の余白に、頭部の横の annotation を配置頭部の上の帯。細すぎます。頭部のボックスに重なるペイロード
オーバーレイの下にキャプションを配置する場所

頭部、ペイロード、帯が互いに重ならないようにします。映像は画面いっぱいに表示したままにし、ペイロードは頭部のボックスの外にある空き領域に、帯は別の帯状領域に配置します。こうすることで、キャプションがペイロードのアニメーションに追従せずに済みます。顔を避けるだけでは不十分です。帯がペイロードの重要な変化に重ならないようにし、移動するペイロードが帯に入り込まないようにします。空き領域が1つしかない場合は、ペイロードを縮小または移動するか、シートまたは全面背景に切り替えます。キャプションが顔の言葉を一語ずつ追うことはありません。

キャンバス帯ペイロード
ポートレート 9:16下部3分の1。およそ y 1340 から 1530、中心は 75%頭部の下。およそ y 860 から 1250
ランドスケープ 16:9下部の帯。およそ y 800 から 890、中心は 78%、1行空いている側の余白。y 620 より上で終わる
オーバーレイの要件
  • オーバーレイは鮮明な映像に重ねます。 オーバーレイの下にあるソース映像の構図を、一時停止、拡大縮小、または再フレーミングすることはありません。
  • 頭部が隠れないようにします。 frame_speaker の呼び出しでオーバーレイのウィンドウを指定し、キャンバスを slot として設定します。すべてのテキスト、プレート、画像を、返された head_in_slot の外に配置します。細いコネクター線は、指し示す対象に向けてボックスを越えてもかまいません。再フレーミングされたキャンバスでは、ボックスはそのまま維持され、ルートクリップには同じ結果の object_position が適用されます。このボックスはズームしていないフレームを表します。オーバーレイのウィンドウ中にズーム効果を適用する場合は、そのウィンドウ内でズームが最大になるときのボックスの位置を基準に、各辺をズームの原点からその倍率分だけ遠ざけてボックスをクリアするか、オーバーレイの開始前にズームを終了します。
  • ペイロードは順番に表示します。 オーバーレイに表示できるペイロードグループは一度に1つだけです。次のペイロードは、前のペイロードが退くときにだけ表示します。
オーバーレイの構成方法
  • オーバーレイは、構図を透明に保つ通常のビジュアルモーメントです。コンポジションのルートやフレーム全体を覆うラッパーに background を設定せず、ペイロードは配置済みのラッパー1つの中に置き、出入りはモーメント自身の一時停止された子タイムラインで行います。コンポジションの契約にある編集可能なスピーカー PIPの例から、背景とスピーカービューを除いたものがオーバーレイです。
  • 動画は埋め込みません。data-pip-src ビューもソースのコピーも使用しません。下にあるルートスピーカーが映像になるためです。ルートスピーカーのジオメトリはルートタイムラインに任せます。
  • オーバーレイのウィンドウにあるキャプションキューは、その帯に配置します(「オーバーレイの下にキャプションを配置する場所」を参照)。例外は headline です。見出しが表示するフレーズをキャプションが繰り返してしまうため、その下ではキャプションを再生しません。

全面背景

フレームはキャンバスが担います。モーメントはキャンバス全体に不透明な背景を1つ描画し、その上にすべてを配置します。誰も座らず、ルートスピーカーは見えないまま、その下で再生を続け、音声も聞こえます。

全面カバーの形式

全面カバーは、次のいずれかの形式です。プランでは形式名を指定してください。

形式内容
figure全面サイズで描かれた図、チャート、または仕組み
sceneアイデアそのものを全面サイズで表現する、没入感のある3Dオブジェクトまたは空間。Three.js のシーンや CSS 3D ステージなどが該当し、カメラはその中や周囲を移動します
photoコンテンツとして地面の上に配置された実写画像。動画アセットは上記の Video assets の説明どおりに配置し、カバーにはしません
statementページで許される最大サイズで表示する、特大の一行または数語
source-text関連する細部が読めるまで拡大した、情報量の多いソース素材の切り抜き
キャンバスごとの全面カバーの配置

ページのレイアウトはキャンバスによって決まります。

キャンバス適したページ構成使用しないもの
portrait 9:16 (1080x1920)中央に配置した焦点要素を1つ、または縦に積み重ねた2つの要素:上に図、その下に一行のラベル横並びの列:幅が狭すぎて読めません
square 1:1 (1080x1080)中央に配置した焦点要素を1つ、または2行の積み重ねフレームの半分より狭い列、3行以上
landscape 16:9 (1920x1080)中央に配置した焦点要素を1つ、または横並びの2列:図とラベル、あるいはビフォーとアフター3行以上の縦積み:各行が細長い帯になります
全面カバーでのキャプションの配置

まず帯の位置を決めてから、残りのスペースに表示内容を組み立てます。アニメーションはそのスペース内で再配置、拡大縮小、移動し、帯は表示中も終了中も、矢印の先端、比較結果、値、凡例に重なってはいけません。切り替え時に話者が一瞬映るフレームも確認してください。帯の下の地面がこの構成で明るく塗られている場合(淡いパネルや、ブリーフで指定された明るいスタイル)に限り、そこでのキューには地面とコントラストのある文字色(淡い地面なら #0a0c12)を指定します。標準の黒いキャンバスでは白文字を維持するため、暗い文字色はその瞬間に限った指定とし、全面カバー全体の標準にはしません。また、言葉の背後で動く映像や写真の上では使いません。statement ではキャプションを非表示にします。また、関連する細部を帯の位置に置く必要があり、上に移動できない source-text や photo でも非表示にします。

キャンバス帯表示内容
portrait 9:16およそ y 1340~1530、75% の位置を中心に配置帯の上に再配置、およそ y 360~1060
landscape 16:9下部の帯、およそ y 800~890、78% の位置を中心に、1行帯の上、およそ y 160~630
全面カバーで維持するもの
  • 地面は1つで、全体を覆います。 構成では不透明な地面をキャンバス全体に描画し、その上にすべてを配置します。画像はコンテンツとして地面の上に配置し、地面そのものとして引き伸ばしません。
  • 誰も配置しません。 data-pip-src のビュー、話者を映すウィンドウ、ソースのコピーはいずれも使いません。切り抜きだけが例外で、独自のリファレンスを持つシート形式です。
  • 背後の話者は動かしません。 ルート話者のジオメトリはカバー全体を通して維持します。ズーム効果はカバー開始前に終了させます。
全面カバーの構築方法
  • 全面カバーは、通常のビジュアルモーメントです。その構成ルートが不透明な地面(単色の background を設定した position: absolute; inset: 0)を描画し、表示内容の開始と終了は、そのモーメント独自の一時停止可能な子タイムラインで制御します。話者ビューを除いた、構成コントラクトの編集可能な話者 PIP の例が全面カバーに該当します。
  • 話者ビューは埋め込みません。ルート話者とその音声は、通常のジオメトリのまま背後で再生し続けます。ズーム効果は全面カバーの開始前に終了させます。
  • カバー区間のキャプションキューは帯に配置します。statement の場合、または表示内容の関連する細部を帯に置く必要がある場合は、キャプションを表示しません。画像はすべて src を通じて参照し、引き継ぎ時の確認で検出できるようにします。

話者ビート

  • speaker ビート上のズーム、フィルター、またはモーションはエフェクトの適用先です(コンポジション契約を参照)。サービスのエンジンが、アクティブなトラック 0 の話者クリップ(#stage > video[data-track-index="0"])すべてに適用します。次に着席する場面が始まる前に終了させてください。エフェクトが着席中に適用されることはありません。

コメント