scenario-gemini-omni

Scenario Gemini Omni Video

概要

Scenario の Google 製動画モデルファミリーである Gemini Omni は、複数のモードを1つのモデルにまとめるのではなく、カタログ内のメンバーに分けています。テキストと最初のフレームから生成するモデル（執筆時点で、公開アリーナ投票のテキストから動画への部門で1位）、被写体の一貫性を保つ参照画像から動画へのモデル、既存の映像を別のスタイルにする編集モデル、そして新しい 1.1 Flash 系統には、映像の末尾に映像を追加する延長モデルがあります。どのメンバーも、同じ処理で音声を生成します。search を使ってモードに応じた系統とメンバーを選びます。順位ではなく、ID と説明を確認してください（執筆時点で、新しい 1.1 のメンバーは元の系統より下位でした）。そのうえで、model_schema_get を仕様として扱ってください。Gemini の画像モデルは scenario-gemini-image スキルの対象です。Gemini TTS は音声の対象です。

接続方法と基本的な流れについては scenario スキルを、モデルに依存しない動画関連の作業については scenario-video スキルを参照してください。ここで挙げた兄弟スキルが利用可能なスキルにない場合は、ユーザーにインストールを依頼してください（npx skills add scenario-labs/skills --skill <name>）。無人で処理する場合は、ツールスキーマに従って進め、不足しているスキルについて明示してください。

クイックリファレンス

執筆時点では、Flash と 1.1 Flash の2系統があり、各モードに1つずつメンバーがあります（名前は最新のスキーマに基づいています）。

メンバー	モード	入力
Gemini Omni	テキストまたは最初のフレーム	prompt と／または image、さらに任意で referenceImages（最大7枚）。1.1 では image と併せて任意の lastFrameImage を指定可能
Reference-to-Video	被写体の一貫性	referenceImages が必須（1～7枚）、prompt は任意。1.1 では、3秒以下の referenceVideo で画像を置き換えるか、最大5枚の画像と組み合わせ可能
Edit	映像のスタイル変更	video と変更内容を指定する prompt の両方が必須。任意で referenceImages（1～5枚）も指定可能
Extend（1.1 のみ）	映像の続きを生成	video が必須、prompt は任意

執筆時点では、どちらの生成モデルも duration は3～10秒（デフォルトは8秒）、aspectRatio は 16:9 または 9:16 でした。Edit にはどちらの設定もなく、長さと縦横比は元の映像に従います。Extend も縦横比は元の映像を引き継ぐため（aspectRatio はありません）が、元の映像の後に追加する映像の長さとして duration を3～10秒（デフォルトは6秒）で指定します。そのため、8秒の映像に6秒を追加すると、全体で約14秒になります。元の Flash メンバーは720pのみを出力します。1.1 Flash 系統では、すべてのメンバーに resolution が追加されています。360p は高速なドラフト用、720p はデフォルト、1080p と 4k はアップスケールです。解像度を変えても料金は変わりません（執筆時点では、360p と1080pの生成料金は同じで、Extend も同様でした）。そのため、低コストでドラフトを作るには、解像度を下げるのではなく duration を短くしてください。このファミリーには、どのモデルにもシードとネガティブプロンプトがありません。料金は duration、最初のフレームとして指定する image、Reference-to-Video の参照画像、Edit と Extend の元映像によって変わります。執筆時点では、Edit はこのファミリーで料金の幅が最も大きく、処理時間も約2倍かかっていました。そのため、長い映像を編集する前に dry_run を実行してください。

音声は切り替えるのではなく、プロンプトで指定します

どのメンバーにも音声パラメーターはありません。すべての映像に、生成されたセリフ、環境音、効果音が含まれ、指定方法はプロンプトのみです。生成モデルでは、「パチパチと燃えるキャンプファイヤー、遠くで鳴くフクロウ」のように、聞かせたい音を具体的に示す音声の指示をプロンプトの末尾に加え、話し言葉は引用符で囲んでください。指示を省略すると、モデルが音声を選びます。Edit では音声をプロンプトで指定しないでください。新しい映像の見た目に合わせて、自動的に音声が再生成されます。

画像からアイデンティティを、言葉から変化を

Reference-to-Video では、被写体の見た目は referenceImages から取得されるため、プロンプトで改めて説明すると画像と競合します。被写体は「キャラクター」や「製品」と呼び、動作、設定、カメラ、音に言葉を使いましょう。同じ被写体を複数の角度から見せると一貫性が高まり、異なる被写体をひとつのシーンに登場させることもできます。また、プロンプトがなくても被写体は登場します。ここには最初のフレームを固定する機能はありません。クリップを正確な構図で始める必要がある場合は、その静止画をベースメンバーの image として渡します。これには参照画像も併せて指定でき、1.1 では補間先となる lastFrameImage も受け付けます（最初のフレームが必要です）。

Edit はその逆です。動き、カメラの移動経路、タイミングは元の video に固定され、変わるのは見た目だけです。プロンプトの冒頭で変更内容を示し（「冬にする」「赤い車をビンテージの青い Beetle に差し替える」など）、対象を具体的に指定します。また、新たな振り付け、カット、カメラの移動は決して求めないでください。そうした指示は反映されません。

実例：一貫したキャラクターが登場するマスコットの短編

1. target="models"、query="gemini omni"、public=true を指定して search を実行します。モードに合ったメンバーを選びます。ここでは model_google-omni-flash-r2v を選択します（執筆時点で利用可能な結果です。セッションごとに再検索してください）。
2. その ID を指定して model_schema_get を実行し、何よりも先に必須フィールド、上限、デフォルト値を確認します。
3. マスコットを複数の角度から撮影した画像を 2〜3 枚 upload_asset に渡し、アセット ID を取得します（scenario スキルを参照）。
4. model_id にその ID を指定し、dry_run=true と parameters={"prompt": "The character skips across a rain-slick plaza, catches a falling leaf, and holds it up in triumph. Overcast soft light, low tracking shot. Audio: light rain, footsteps on wet stone, one bright chirp.", "referenceImages": ["asset_a", "asset_b"], "duration": 8, "aspectRatio": "16:9"} を指定して model_run を実行します。 参照画像と尺はコストに影響するため、どちらかを変更した後は再見積もりしてください。
5. wait=false を指定して model_run を再実行し、返されたジョブ ID を使って jobs_wait を実行します。タイムアウトした場合は pending_job_ids を指定して再度呼び出します。model_run は二度実行しないでください。
6. 出力に asset_display を実行し、音声も含めて確認します。音声も成果物の一部です。

よくある間違い

• プロンプトで参照画像の被写体の見た目を説明すること：アイデンティティは画像から取得されるため、「キャラクター」を中心に動作や設定を記述します。
• Edit に新しい動き、カット、タイミングの変更を求めること：元の動画に固定されるため、見た目の変更だけをプロンプトに記述します。
• Edit に duration や aspectRatio を渡したり、Extend に aspectRatio を渡したりすること：これらは各スキーマに含まれていません。出力は元のクリップに従います。
• 音声の切り替え設定を探すこと：そのような設定はありません。プロンプトで音を指定するか、モデルの選択を受け入れてください。
• 最初のフレームの image を静止したシーンとして言い直すこと：そこから続く動きを説明してください。
• 複数のシーンからなる物語をひとつの実行に詰め込むこと：3〜10 秒ではひとつの連続した場面を描きます。10 秒を超えて場面を続ける場合は Extend を使うか、scenario-video-assembly スキルでショットをつなげてください。