video-to-audio-foley について
無音映像にフォーリー音響を加える映像制作者向けの制作スキルです。シーン分割やプロンプト作成、重要な効果音の手動同期、映像との照合を案内し、自動生成を最終ミックスではなく初稿として扱います。
主な機能
- 01自動動画音声生成の適用範囲を判断
- 02音響シーンごとに映像を分割
- 03プロンプトとイベント表を作成
- 04重要な効果音を手動同期して重ねる
- 05映像との意味・タイミングの一致を確認
活用シーン
- 01アニメやゲーム映像のフォーリー初稿を作成
- 02SNS動画や広告に環境音を追加
- 03重要な衝撃音を手動で同期
- 04生成音を映像内のイベントと照合
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/ / github.com/ calesthio/ generative-media-skills --skill video-to-audio-foleyインストール後、Claude Code で/video-to-audio-foleyを入力して読み込まれたか確認します。
同梱ファイルEVAL.md
詳細
動画から Foley を生成
このスキルを使うと、無音の生成動画、アニメーション、ゲーム、広告、ソーシャル動画、または編集可能な動画クリップに、説得力のある効果音のベッドを追加できます。動画から音声を生成する(V2A)機能は、完成したミックスではなく、制作を効率化する手段として扱ってください。自動化する作業と手動でタイミングを合わせる作業を判断し、モデルへのプロンプトとセグメント分割を行い、同期を維持して、映像に照らして結果を検証することが重要です。
適用範囲
次の場合は、自動 V2A を使用します。
- 動画が利用可能なモデルで処理できる長さであるか、一貫性のあるビートごとに分割できる場合。
- 目的が、説得力のある初稿の Foley ベッド、ソーシャル動画、アニマティック、広告の仮音声トラック、ゲームのプロトタイプ、または雰囲気づくりである場合。
- 水、足音、乗り物、衝撃、機械、群衆、布、動物、天候、UI の操作、または小道具の扱いなど、目に見える動作から音の原因を明確に推測できる場合。
- ユーザーが反復と編集による修正を受け入れられる場合。
次の場合は、自動 V2A だけに頼らないでください。
- リズムゲーム、ハードカットのある予告編、コミカルな衝突、武器の衝撃、またはクリック音一つ一つが重要な製品デモなど、フレーム単位の正確な同期が不可欠な場合。
- 再利用可能なゲームアセットや分離されたステムとして、クリーンな音声を納品する必要がある場合。
- 元の動画に、個人情報に関わる人物、未公開製品の映像、クライアントの機密情報、またはホスト型プロバイダーへのアップロードが許可されていない著作権保護対象の音声が含まれている場合。
- 実在する人物だと特定できる声、著作権で保護されたサウンドロゴ、有名な映画やゲームのサウンド、または保護対象の音楽キューが必要な場合。
- ユーザーが必要としているのが Foley/効果音ではなく、最終的な台詞、リップシンク、ナレーション、ミックスのマスタリング、または作曲である場合。
ユーザーが「この動画に音を付けて」と依頼した場合は、まず次のどれを希望しているか確認してください。
- 動画に付ける、ミックス済みの単一音声トラック。
- 分離された環境音/Foley/衝撃音/小道具/音楽の各ステム。
- ゲームやライブラリ向けの、単独で再利用できるサウンドアセット。
- 生成メディアではなく、プロンプト/ワークフローのみ。
ドキュメントで確認できる事項と経験則
以下の事実は、現行のプロジェクト/ツールレジストリに別の記載がない限り、2026-07-10 時点でソースを確認済みです。プロバイダーのエンドポイント、モデル ID、料金、ライセンス、時間制限、出力形式、商用利用条件は変わりやすいため、有料の呼び出しを行う前や、成果物を約束する前に最新のドキュメントを再確認してください。
ドキュメントで確認できる事実:
- Google DeepMind は、動画のピクセル情報と自然言語のプロンプトを組み合わせて、効果音、セリフ、楽曲風の音声を含む、同期したサウンドトラックを生成する研究として V2A を紹介しています。現在のツールで確認できない限り、公開 API を利用できるとは想定しないでください。
- fal
fal-ai/controlfoleyは、テキストプロンプトで調整する同期した効果音を生成する、ホスト型の動画から音声を生成するモデルとしてドキュメント化されています。API はvideo_url、任意のprompt、negative_prompt、任意の 2-4 秒のreference_audio_url、duration、推論制御、seed を受け付け、音声付き動画と 44.1 kHz モノラル WAV 音声ファイルを返します。 - fal
fal-ai/thinksound/audioは、任意のテキストプロンプトを使って動画からリアルな音声を生成する、ホスト型の V2A エンドポイントとしてドキュメント化されています。プロンプトが指定されない場合、動画からプロンプトが抽出されることがあります。スキーマにはvideo_url、prompt、seed、num_inference_steps、cfg_scaleが含まれ、音声ファイルと使用したプロンプトを返します。 - MMAudio は、動画やテキストから同期した音声を生成する、CVPR 2025 のオープンソースモデル/リポジトリです。README によると、デフォルトの出力時間/学習時間は 8 秒で、大きく外れると品質が低下することがあります。デフォルトの CLI モデルは
large_44k_v2で、著者らは Ubuntu でテストしています。 - FoleyCrafter は、セマンティックアダプターと時間コントローラーを備えたテキストから音声を生成するベースモデルを使用する、オープンソースの動画から音声を生成するフレームワークです。リポジトリの例では、テキストプロンプトとネガティブプロンプトによる制御に対応しています。
- HunyuanVideo-Foley は、Tencent のオープンソースのテキスト・動画から音声を生成するフレームワークです。リポジトリでは、
infer.pyを使った単一動画およびバッチ推論、音声の説明プロンプト、XL/XXL モデルサイズについて説明されています。商用利用の前に、最新のライセンスとモデル利用条件を確認してください。 - ElevenLabs Sound Effects は、動画を条件とする V2A ではなく、テキストから音声を生成するツールです。手作業で重ねるフォーリー音や環境音のループに役立ちます。ドキュメントでは、0.1〜30 秒の長さの制御、途切れのない環境音のループ、プロンプトの影響度制御について説明されています。
- FoleyBench では、V2A のフォーリー品質を、目に見える出来事との意味的な整合性と、出来事のタイミングとの時間的な整合性の両面から評価しています。QA では両方の観点を使ってください。
制作上の経験則:
- 連続した環境音やリスクの低い動きには、まず広範囲を対象とする V2A パスを 1 回適用し、その後、重要な突発音に手作業でテキストから SFX を生成した音やライブラリの効果音を重ねてください。
- クリップは任意の均等な長さではなく、音響上のシーンごとに分割してください。地下鉄のホームからキッチンへの切り替わりは、モデルが全体の長さを受け付ける場合でも、2 回に分けて生成してください。
- モデルが明示的なタイムコードを受け付けない場合は、編集工程でタイミングを調整してください。候補を生成し、DAW/NLE で突発音の位置を合わせ、トリミング、クロスフェード、レイヤー化を行います。
- 良いプロンプトでは、音響の雰囲気、素材、視点、密度、除外対象を説明します。目に見える物のリストだけでは不十分です。
- ソーシャル動画では、通常、最大限のリアリティより「もっともらしく、注意をそらさないこと」が重視されます。ゲームアセットや主要な広告では、ワンクリックの手軽さよりも、分離性、再現性、法的な管理が重要です。
ソース動画の準備
生成する前に:
- ソース動画を複製し、元のファイルを保持します。
- ユーザーが映像をアップロード・処理する権利、および合成音声を映像とともに公開する権利を有していることを確認します。
- 既存の音声を参照用として意図的に使用し、プロバイダーがそれを許可している場合を除き、音声を削除またはミュートします。
- 自然な音響単位(1つの動作、1つの場所、1つのカメラの動き、または1つの環境音の範囲)に合わせてトリミングします。
- 可能であれば、クロスフェードで音の立ち上がりや余韻が切れないよう、6~12フレームのハンドルを残します。
- フレームレートが安定し、動きが見え、タイミングが変わる焼き込みUIがなく、音声の予定尺と同じ長さの、確認用のクリーンなファイルを書き出します。
- フレームレート、タイムコードの開始位置、尺、対象プラットフォーム、希望する納品形式を記録します。
- 公開URLを必要とするホスティング型プロバイダーを利用する場合は、承認済みの映像のみをアップロードします。個人情報、透かし入りのクライアントコンテンツ、未発売製品、機密性の高い場所は避けます。
モデルが安定して処理できる尺より長いクリップは、シーンや動作ごとに分割し、重なりを計画します。
- 環境音や群衆音では、0.25~0.5秒の重なり。
- トランジェントを合わせる必要がある強い衝撃音の前後では、2~6フレーム。
- 音響空間を急に変えるカットの場合は、重なりを設けません。
プロンプトを作成する前に映像を確認する
モデルが映像を分析できる場合も、スポットリストを作成します。スポットリストは、映像、生成、編集、品質確認の間で共有する仕様です。
最低限、次の項目を記載します。
- 開始/終了タイムコード。
- 画面内に見える原因、または画面外にあると推測される原因。
- 音の役割:環境音、足音、衣擦れ、小道具、衝撃音、車両、生き物、UI、ヒュッ、ルームトーン、群衆、機械、水、天候、短い音楽。
- 同期の優先度:主要、補助、背景、任意。
- 音響上の視点:近接マイク、カメラ視点、遠方、こもった音、水中、室内の反響、屋外の開けた空間、携帯電話のスピーカー、ヘルメットカメラ。
- 制作方法:V2A パス、テキストから効果音を生成、ライブラリ、手動でのフォーリー録音、無音。
- 権利、表現上の配慮、除外事項に関するメモ。
スポットリストの例:
| タイムコード | 映像上の出来事 | 音の役割 | 優先度 | 方法 |
|---|---|---|---|---|
| 00:00.000-00:08.000 | 濡れた路地、ネオンサイン、小雨 | 雨のベッド音、街のざわめき | 補助 | V2A またはループ環境音 |
| 00:01.420 | ブーツが水たまりに入る | 水しぶき、革のきしみ | 主要 | 効果音を生成+手動で同期 |
| 00:03.100-00:05.700 | 歩きながらコートが揺れる | 衣擦れ | 背景 | 自然な音なら V2A、そうでなければ控えめなライブラリ音/録音した布の音 |
| 00:06.040 | 金属製のドアが勢いよく閉まる | 衝撃音、余韻の残響 | 主要 | 効果音を個別に用意し、トランジェントを合わせる |
意図的に無音にする箇所も明記します。画面内の動きすべてに音が必要なわけではありません。フォーリーを過剰に加えると、AI クリップは不自然に感じられます。
プロンプトの組み立て
次の要素を組み合わせてプロンプトを作成します。
- シーンのベッド音:場所、部屋の広さ、天候、群衆、機械音、距離。
- 主要な動作:視聴者に気づいてほしい1~4個の出来事。
- 素材と動作の仕組み:ゴムがコンクリートに当たる音、ガラスの触れ合う音、革のきしみ、金属の擦れる音、プラスチックのボタン、濡れた砂利。
- 視点とミックスの密度:カメラ視点、近くてドライ、遠くて残響がある、控えめな背景音、音楽なし。
- 除外事項:ナレーション、会話、メロディー、無関係な動物、風の轟音、追加の爆発音、群衆の拍手、著作権で保護されたモチーフを避ける。
- タイミングに関する指示は、プロバイダー/モデル/ツールが対応している、または有効な場合に限ります。そうでない場合は短いセグメントを使い、編集時に手動で同期します。
有効な表現:
- 「カメラ視点のプロダクション音声」
- 「自然で控えめなフォーリー。大げさな漫画風の音ではない」
- 「近接したドライな小道具の扱い音と、小さな室内の反響」
- 「まばらな足音の下に続く、低い街の環境音」
- 「カット位置で単発の硬い陶器の衝撃音。音楽なし、声なし」
- 「画面外の余計な出来事を避ける」
避ける表現:
- 実際の音響上の出来事を指定せず、「映画のようにする」とだけ指示すること。
- プロンプトだけで「完璧に同期」すると約束すること。
- 1回の生成に、あらゆる細かな動きを詰め込むこと。
- 著作権で保護された音の模倣、有名人の声、ブランドのサウンドロゴを求めること。
- フォーリーが目的なのに、モデルに音楽を追加させること。
プロバイダーとモデルの選定
選定する前に、現在のツールレジストリ、プロバイダーのドキュメント、ライセンス、料金、入力スキーマ、安全に関する条件を必ず確認してください。そのうえで、本番環境の要件に基づいて選びます。
| 要件 | 適した選択肢 | 注意点 |
|---|---|---|
| テキストとネガティブプロンプトを制御できるホステッド V2A | fal ControlFoley または現行の同等モデル | アップロード/URL が必要です。API の詳細や商用利用に関する表示は変更される可能性があります。参照音声の使用許可を確認してください。 |
| 動画からプロンプトを推測できるホステッド V2A | fal ThinkSound または現行の同等モデル | 生成されたプロンプトが意図を誤って解釈する可能性があります。ブランド関連の制作では、プロンプトを確認して必要に応じて修正してください。 |
| ローカル/オープンソースでの再現性 | MMAudio、FoleyCrafter、HunyuanVideo-Foley、ThinkSound local、または現行のオープンモデル | GPU/OS の要件、モデルライセンス、チェックポイントの出所、想定される長さを確認してください。 |
| 優先度の高いトランジェントまたは単独のプロップ音 | テキストからの効果音生成、録音したフォーリー、またはライセンス取得済みのライブラリ音源 | 手作業での配置と同期が必要です。クリーンなステムを作るには、V2A より適している場合があります。 |
| 連続するアンビエンスのループ | テキストからのループ効果音生成ツール、ライブラリのアンビエンス音源、または V2A のベッド | シームレスにループできることを確認し、耳につく繰り返しや音量の揺れを避けてください。 |
| ネイティブ音声付きの動画生成 | 音声と映像を生成するモデル | 既存の編集映像にフォーリーを追加するのとは異なります。ポストプロダクションでの制御が難しく、ピクチャーロックも維持しにくくなります。 |
判断基準:必要な同期精度と制御性を満たす、最もシンプルなツールを選んでください。シンプルなテキストからの足音生成とタイムラインの微調整で、V2A の一連の処理より良い結果が得られるなら、シンプルな方法を使いましょう。
推奨ワークフロー
-
納品物を定義します。
- 最終的な音声付き動画のみ、音声 WAV、ステム、効果音パック、プロジェクトファイル、またはこれらすべて。
- 対象プラットフォームのラウドネス/フォーマット。
- 音楽、台詞、ナレーションがすでにあるかどうか。
-
動画を準備してセグメントに分割します。
- 音声のない作業用コピーを作成します。
- 音響的なシーンごとにトリミングします。
- 正確な長さとフレームレートを記録します。
- ホステッドサービスへのアップロードが許可されるか判断します。
-
スポットリストを作成します。
- まず主要なトランジェントを特定します。
- アンビエンスとフォーリーを分けて記録します。
- 映ってはいないものの、音があると想定される対象を記します。
- 無音のままにする箇所を明示します。
-
最初の V2A ベッドを生成します。
- セグメントごとにシーン単位のプロンプトを1つ使います。
- 利用できる場合はシードとパラメーターを設定します。
- 意図していない限り、音楽なし/音声なしを指定します。
- 加工していない出力をそのまま保存します。
-
映像に合わせて確認します。
- 動画と一緒に音声をミュート/ミュート解除します。
- ずれ、音源の誤り、イベントの過剰な発生、主要なヒットの欠落に印を付けます。
- 再生成、さらなるセグメント分割、または手動の効果音への置き換えを判断します。
-
精度の高いサウンドを重ねます。
- 主要なイベント用に、単発のヒット音/フォーリーを生成または調達します。
- フレームまたは波形のレベルでトランジェントを合わせます。
- フェード、EQ、リバーブ、ピッチ、音量のオートメーションで調整します。
-
ミックスを作成します。
- 手動で加えた主要な音が明瞭に聞こえるよう、V2A のアンビエンスを十分に低く保ちます。
- 台詞/ナレーションの下ではアンビエンスをダッキングします。
- セグメントの接合部にはクロスフェードを使います。
- クリッピングや、低周波数の制御されていない蓄積を避けます。
-
品質を確認してパッケージ化します。
- 指定に従って、プレビュー動画と分離した音声/ステムを書き出します。
- 元の動画、スポットリスト、プロンプト、シード、モデル ID、プロバイダー、生成日、ライセンスに関する注記、未加工の生成物を保管します。
- 手動で行った編集と、採用しなかった生成結果を記録します。
同期と編集のガイダンス
大きなインパクト音は、プロンプトではなくトランジェントに合わせて同期します。ヒット音は、映像で接触するフレーム、または編集上、接触を示すフレームに合わせます。音の立ち上がりが遅れる場合は、別テイクからより早いアタックを切り出すか、接触フレームに小さなクリック音やドンという音を重ねます。
足音は、脚が小さく映っている場合や、脚が隠れている場合、すべての足に合わせようとしないでください。最初にはっきり見える一歩に合わせて歩調を決めたら、あとは環境音と衣擦れで動きを表現します。モデルが足音を多く生成しすぎる場合は、より短いセグメントを使うか、手動で足音を差し替えます。
衣擦れは、静かで近くに聞こえるようにします。極端なクローズアップや、アニメーションで誇張している場合を除き、大きな衣擦れは素人っぽく聞こえます。
小道具の場合は、素材と動作を指定します。「木製の机に置かれる陶器のマグカップ」「2回カチッと鳴るプラスチック製のラッチ」「手の中でくしゃっと鳴る紙の封筒」のように指定します。一般的な「物の音」というプロンプトでは、ぼんやりした音になります。
乗り物や機械では、持続するエンジン音や環境音と、点火、ブレーキのきしみ、ギアチェンジ、ドアを閉める音、通過音、停止などの個別のイベントを分けます。
UI や製品のデモでは、生成したフォーリーは通常リスクがあります。デザインしたクリック音、タップ音、ヒュッという音、インターフェースの細かな効果音を個別の素材として使い、ブランドのテイストや正確なタイミングに合わせます。
アニメーションでは、生成前に音の世界観を決めます。様式化されたカートゥーンにリアルなフォーリーの音のベッドを重ねると違和感が生じることがあります。また、フラットなモーショングラフィックスに超リアルな製品音を合わせると、高級感が出ることもあります。
権利、同意、安全性
アップロードまたは公開する前に、次のことを確認します。
- 元動画の権利、出演者の同意書、クライアントの許可、および場所や製品に関する制限を確認します。
- プロバイダーの現在の商用利用条件とデータ保持条件を確認します。
- ユーザーが使用許諾を証明しない限り、参照音声は著作権で保護されているものとして扱います。
- 同意なく、実在する人物の声をクローン、模倣、合成しないでください。
- 有名なサウンド商標、ソニックロゴ、ゲームの武器音、映画のクリーチャーの鳴き声、識別可能な音楽のフレーズを再現しないでください。
- ニュース、法律、医療、セキュリティ、証拠映像には、再現または演出であることを明記しない限り、誤解を招く音を加えないでください。
- 後工程の編集者が、何が合成、生成、ライセンス取得、録音、またはクライアント提供のものか分かるよう、来歴を保持します。
実際の映像の事実上の意味を変える音を追加するようユーザーが求めた場合は、リスクを伝え、ラベル付けする、対応を控える、または明らかにフィクションとして編集することを提案します。
QA チェックリスト
意味の適合性:
- 聞こえる音源は、映像で見えるもの、または意図的に示唆されているものとして妥当ですか?
- モデルは動物、声、群衆、音楽、機械、天候を幻覚していませんか?
- 素材の手がかりは信じられるものですか?金属、ガラス、布、水、木、ゴム、肌、プラスチックなど。
時間の適合性:
- 大きなヒット音は接触フレームに合っていますか?
- 足音は、ショットのサイズに対して十分に歩調が合っていますか?
- セグメント全体を通してズレが生じていませんか?
- カットやトランジションで音響空間がきれいにリセットされていますか?
音響の適合性:
- 残響は場所やカメラとの距離に合っていますか?
- 音のベッドはドライすぎる、ウェットすぎる、大きすぎる、きれいすぎる、またはノイズが多すぎる状態ではありませんか?
- 近くの音はカメラの視点に結び付いているように聞こえますか?
- 同じ周波数帯域でレイヤー同士がぶつかっていませんか?
技術的な適合性:
- クリッピング、パチパチ音、音切れ、二重のアタック、コーデックによるにじみ、明らかなループがないこと。
- 書き出しは指定されたサンプルレート、チャンネル数、コーデック、再生時間になっていること。
- 最終動画と音声の再生時間が一致していること。意図的な場合を除き、音の末尾が切れていないこと。
- ステムとプロジェクト素材に名前を付け、来歴とともに保存していること。
編集上の適合性:
- 音声は生成技術を見せつけるのではなく、ストーリーを支えていますか?
- 重要な視覚イベントは聞こえるようになっており、重要でない動きは控えめになっていますか?
- ミックスには、会話、音楽、キャプション、プラットフォームでの再生のための余地がありますか?
トラブルシューティング
音源が違う場合:
- 適切でない音源を除外するネガティブプロンプトを追加します。
- モデルが想定できる原因を絞れるよう、セグメントを短くします。
- 目的の音源を手動のテキストから効果音生成で作成し、V2A のベッド音を下げます。
タイミングが悪い場合:
- イベントを中心にセグメントを分けます。
- 複数のシードで生成します。
- タイムラインで位置を合わせ、接触フレームに独立した過渡音を重ねます。
- 利用できる場合は、時間やイベントを制御できるモデルまたはワークフローを使用します。
音がぼやけている、または要素が多すぎる場合:
- イベント数を減らし、密度を低くするようプロンプトで指定します。
- 必要でない限り、音楽、声、群衆の音を取り除きます。
- 環境音とフォーリーを別々のパスに分けます。
- クリアな主役の音の下で V2A のベッド音を EQ 処理するか、ダッキングします。
環境音のループが不自然な場合:
- より長いベッド音を生成し、より自然なループポイントを探します。
- DAW/NLE でクロスフェードします。
- 専用のループ対応テキストから効果音生成、またはライブラリの環境音を代わりに使用します。
画面外のアクション音がない場合:
- プロンプトに明示的に追加するか、手動でレイヤーを作成します。
- 画面外の音によってストーリーの意味が変わる場合は、ユーザーに確認します。
ホスト型サービスへのアップロードがブロックされている場合:
- 権利とハードウェアの条件が許せば、ローカルモデルまたはオープンモデルを使用します。
- 権利処理済みのプロキシ動画をユーザーに依頼します。
- 映像をアップロードせずに、スポットリストとプロンプト一式を提供します。
商用利用やライセンスが不明確な場合:
- 最終納品前に作業を止めます。
- モデルやプロバイダーの最新の利用規約を再確認します。
- 不明確な素材を、録音済み、ライセンス取得済み、またはユーザー提供の音に置き換えます。
完全な例:スケートボードのソーシャル動画
制作意図:スケートボーダーが縁石に向かって滑り、グラインドし、着地して滑り去る 8 秒の縦型ショットに、自然な音を加えます。納品物は、ソーシャル向けのミックス済み MP4 1 本と、別途 WAV です。
入力と制約:
- 映像は 23.976 fps、8.0 秒でロック済みです;
- セリフや音楽はありません;
- ユーザーがクリップを所有し、ホスト型 V2A へのアップロードを承認しています;
- 主役となる音は、車輪の音、グラインド音、着地音、滑り去る音です。
スポットリスト:
| タイムコード | イベント | 優先度 | 方法 |
|---|---|---|---|
| 00:00-00:08 | 屋外スケートパークの環境音、遠くの街の音、コンクリート空間の響き | 補助 | V2A ベッド音 |
| 00:00.400-00:02.600 | コンクリート上を転がる車輪 | 主役 | V2A + 車輪のループ音候補 |
| 00:02.750-00:04.100 | コンクリートの縁石でトラックをグラインドする音 | 主役 | V2A + 弱い場合は単独の擦過音 |
| 00:04.220 | ボードの着地 | 主役 | 独立した衝撃音レイヤー |
| 00:04.300-00:08.000 | 滑り去る音 | 補助 | V2A ベッド音 |
V2A プロンプトの例:
Camera-perspective outdoor skatepark Foley, skateboard urethane wheels rolling on rough concrete, a sharp gritty truck grind on a concrete ledge, one solid board landing thump, then wheels rolling away. Natural documentary sound, dry open-air ambience, no music, no voice, no crowd cheering, no extra crashes.
ネガティブプロンプトの例:
music, narration, applause, crowd chanting, car horns, explosions, cartoon boings, extra falls
選択したプロバイダーが対応している場合のパラメーター例:
duration_seconds: 8
seed: fixed_for_review_iteration
guidance: medium_to_high
output: raw_audio_wav_and_preview_video
期待される結果:スケートボードの動きがおおむね同期した、使用可能な連続ベッド音です。グラインド音や着地音が遅れている場合は、環境音/滑走音のベッドを残し、金属とコンクリートの擦過音や着地音を別途生成または用意して、過渡音の位置を手動で合わせます。
完全な例:製品デモのインターフェース音
制作意図:カーソルが 3 つのボタンをクリックし、カードがスライドして表示され、成功状態が現れる 12 秒の SaaS アプリのプロモーション動画に、控えめで高級感のある UI サウンドを加えます。納品物は、エディターへの引き渡し用のステムです。
ワンクリックの V2A を使わない理由:UI のクリック音は正確なタイミングで鳴り、ブランドイメージに一貫し、ナレーションの下でもクリアである必要があります。動画に環境映像が含まれる場合のみ V2A を使用し、それ以外は手動のテキストから効果音生成とデザインしたスウッシュ音を使います。
スポットリスト:
| タイムコード | イベント | 音 | 方法 |
|---|---|---|---|
| 00:01.120 | カーソルが「Import」をクリック | 柔らかくガラスのようなクリック音 | テキストから効果音生成、またはライブラリ |
| 00:02.000-00:03.200 | データカードがスライドして表示される | 短く軽やかなスウッシュ音、控えめ | デザインした効果音 |
| 00:05.480 | トグルがオンになる | 触感のあるクリック音 | デザインした効果音 |
| 00:09.900 | 成功状態が表示される | 小さくポジティブなチャイム音 | 生成または作曲、権利処理済み |
サウンドブリーフの例:
Create four short, clean SaaS interface sound effects: soft glass click, airy card slide whoosh, tactile toggle tick, and tiny positive success chime. Minimal, premium, non-musical except the final two-note chime, no retro arcade, no phone notification resemblance, no branded sonic logo.
期待される結果:正確なフレームに配置された個別の WAV ファイルです。品質確認では、各クリック音/クリック音の最初のサンプルをカーソルのイベントに合わせて確認し、すべての UI 音をナレーションより小さくします。
完全な例:ファンタジー生物の短編
制作意図:生成した10秒のファンタジー映像に音を追加します。小さなドラゴンが翼の雨を振り落とし、濡れた石の上を爪で引っかき、蒸気を吐き、画面外へ飛び立ちます。納品物はミックス済みのプレビューとステムです。
ワークフロー:
- 2つの工程に分けます。途切れない雨と洞窟の環境音を作り、次に生物のフォーリーを作ります。
- V2Aで雰囲気と大まかな生物の動きを作ります。
- 翼の布や革が揺れる音、石の上を爪で引っかく音、息、飛び立つときの重い音を個別に生成するか録音します。
- 有名なドラゴンやモンスターの音を参照するのは避け、オリジナルの生物の音色をデザインします。
V2A プロンプトの例:
Dark stone cave entrance in heavy rain, small fantasy reptile moving close to camera. Wet claws scrape and tap on stone, leathery wings shake off water droplets, soft animal breathing, a short warm steam exhale, then a quick leap away. Natural creature Foley, damp cave reflections, no music, no human speech, no roaring, no thunder.
期待される結果:濡れた動きに説得力のある、雰囲気のある背景音です。主役となる生物の個性を表現するには、1つのモデルの出力にデザイン全体を担わせるのではなく、オリジナルの息や翼の質感を重ねてください。
出典メモ
2026-07-10に確認した出典:
- Google DeepMind、「Generating audio for video」:https://deepmind.google/blog/generating-audio-for-video/
- fal ControlFoley モデル/API ドキュメント:https://fal.ai/models/fal-ai/controlfoley および https://fal.ai/models/fal-ai/controlfoley/api
- fal ThinkSound オーディオモデル/API ドキュメント:https://fal.ai/models/fal-ai/thinksound/audio/api
- MMAudio 公式リポジトリ:https://github.com/hkchengrex/MMAudio
- FoleyCrafter プロジェクトおよびリポジトリ:https://foleycrafter.github.io/ および https://github.com/open-mmlab/foleycrafter
- HunyuanVideo-Foley 公式リポジトリおよび論文:https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley および https://arxiv.org/abs/2508.16930
- ThinkSound 公式リポジトリおよび論文:https://github.com/FunAudioLLM/ThinkSound および https://arxiv.org/abs/2506.21448
- ElevenLabs Sound Effects ドキュメント:https://elevenlabs.io/docs/overview/capabilities/sound-effects
- Sony AI FoleyBench の公開ページ:https://ai.sony/publications/foleybench-a-benchmark-for-video-to-audio-models