video-to-audio-foley

视频转音效拟音

使用此技能，将无声的生成视频、动画、游戏视频、广告、社交媒体视频或可直接剪辑的视频片段转换为可信的音效底层。请将视频转音频（V2A）视为加速制作的手段，而非完成后的混音。工作重点是判断哪些内容可以自动生成、哪些必须手动定位，如何编写提示词并划分片段、如何保持同步，以及如何对照画面验证结果。

适用范围

在以下情况下使用自动 V2A：

• 对于可用模型而言，片段足够短，或可以拆分为连贯的段落；
• 目标是制作可信的初版拟音底层、社交媒体片段、动态分镜、广告临时音轨、游戏原型或氛围音轨；
• 可见动作具有明显的声音来源，例如水、脚步声、车辆、撞击、机械、群众、织物、动物、天气、UI 操作或道具处理；
• 用户可以接受反复迭代和后期修整。

在以下情况下，不要单独依赖自动 V2A：

• 对帧级同步要求极高，例如节奏游戏、带硬切的预告片、滑稽撞击、武器撞击，或每次点击都至关重要的产品演示；
• 交付内容必须是干净、可复用的游戏素材或分离的音轨；
• 源视频包含私人拍摄的人物、尚未发布的产品素材、客户机密内容，或未经许可不得上传到托管服务商的受版权保护音频；
• 所需声音是可识别的真人语音、受版权保护的声音标识、知名电影／游戏音效，或受保护的音乐片段；
• 用户需要的是最终对白、口型同步、旁白、混音母带处理或音乐创作，而非拟音／音效。

如果用户要求“给这个视频加声音”，请先确认他们需要的是：

1. 附加到视频上的单条混合音轨；
2. 分离的环境音／拟音／撞击／道具／音乐音轨；
3. 可用于游戏或素材库的独立可复用音效素材；
4. 仅提供提示词／工作流，而不生成媒体。

已记录的事实与经验法则

除非当前项目／工具注册表另有说明，以下事实均已根据来源核实，截至 2026-07-10。服务商端点、模型 ID、费用、许可证、时长限制、输出格式和商业用途条款都可能变化；在进行付费调用或承诺交付内容前，请重新查阅最新文档。

已记录的事实：

• Google DeepMind 将 V2A 描述为一项研究：结合视频像素与自然语言提示词，生成同步音轨，包括音效、对话和配乐类音频。除非当前工具确认支持，否则不要假设可以通过公共 API 访问。
• fal fal-ai/controlfoley 是一款有文档记录的托管式视频转音频模型，可根据文本提示词生成同步音效。其 API 接受 video_url、可选的 prompt、negative_prompt、可选的 2-4 秒 reference_audio_url、duration、推理控制参数和种子；返回带音频的视频，以及一个 44.1 kHz 单声道 WAV 音频文件。
• fal fal-ai/thinksound/audio 是有文档记录的托管式 V2A 端点，可根据视频和可选文本提示词生成逼真音频；如果未提供提示词，系统可能会从视频中提取提示词。其架构包含 video_url、prompt、seed、num_inference_steps 和 cfg_scale，并返回一个音频文件及所用的提示词。
• MMAudio 是一款 CVPR 2025 开源模型／代码仓库，可根据视频和／或文本生成同步音频；其 README 指出，默认输出／训练时长为 8 秒，时长偏差较大可能会降低质量，CLI 默认模型为 large_44k_v2，作者在 Ubuntu 上进行了测试。
• FoleyCrafter 是一款开源视频转音频框架，使用带语义适配器和时间控制器的文本转音频基础模型；代码仓库示例支持使用文本提示词和负面提示词进行控制。
• HunyuanVideo-Foley 是腾讯开源的文本／视频转音频框架；其代码仓库记录了使用 infer.py 进行单视频和批量推理，并支持音频描述提示词以及 XL／XXL 模型大小。用于商业用途前，请核查当前许可证和模型条款。
• ElevenLabs Sound Effects 是文本转声音工具，不是视频条件式 V2A。它适用于手动制作拟音音层和环境音循环；文档介绍了 0.1 到 30 秒的时长控制、用于营造无缝氛围的循环功能，以及提示词影响力控制。
• FoleyBench 将 V2A 拟音质量分为两个维度：与可见事件的语义一致性，以及与事件时机的时间一致性。QA 时应同时检查这两个维度。

制作经验法则：

• 优先进行一次范围较广的 V2A 处理，以生成持续环境音和低风险动作音；然后为重要的瞬态音叠加手动生成的文本转音效或音效库素材。
• 按声学场景划分片段，而不是按任意等长时段切分。从地铁站台切换到厨房时，即使模型能接受完整时长，也应分成两次生成。
• 如果模型不支持显式时间码，就在剪辑过程中严格控制时序：生成候选素材，在 DAW／NLE 中对齐瞬态音、修剪、交叉淡化并叠加。
• 好的提示词应描述声学环境、材质、视角、密度和排除项，而不是仅仅罗列可见物体。
• 对于社交视频，“可信且不分散注意力”通常比极致逼真更重要。对于游戏素材和主打广告，分轨、可重复性和法律权属比一键便利更重要。

视频源素材准备

生成前：

1. 复制源视频并保留原件。
2. 确认用户有权上传和处理素材，并有权发布配有合成音频的视频。
3. 移除或静音现有音频，除非有意将其用作参考且服务提供方允许。
4. 按自然的声学单元进行剪辑：一个动作、一个地点、一个镜头节拍或一个环境音区域。
5. 尽可能保留 6-12 帧的前后余量，避免交叉淡化切掉起音或尾音。
6. 导出干净的审阅文件，确保帧率稳定、动作清晰可见、不含会改变时序的烧录界面，并且时长与目标音频相同。
7. 记录帧率、时间码起点、时长、目标平台和所需交付格式。
8. 如果使用要求公开 URL 的托管服务提供方，只上传获批素材；避免个人数据、带水印的客户内容、未发布产品或敏感地点。

对于超出模型可靠处理时长的视频片段，按场景／动作分段并规划重叠：

• 环境音或人群声重叠 0.25-0.5 秒；
• 硬碰撞处重叠 2-6 帧，以便对齐瞬态；
• 如果剪切有意骤然改变声学空间，则不重叠。

提示词编写前先标注视频

即使模型可以分析视频，也要制作标注清单。标注清单是画面、生成、剪辑和 QA 之间的约定。

最低限度的字段：

• 时间码入点／出点；
• 可见声源或暗示的画外声源；
• 声音角色：环境音、脚步声、衣料声、道具声、碰撞声、车辆声、生物声、UI、呼啸声、房间底噪、人群声、机械声、水声、天气声、音乐点缀；
• 同步优先级：主声、辅助、背景、可选；
• 声学视角：近距离麦克风、摄像机视角、远处、闷声、水下、室内反射、户外开阔、手机扬声器、头盔摄像机；
• 制作方式：V2A 处理、文本生成 SFX、素材库、手动 Foley 录制、静音；
• 关于权利、审美和排除项的备注。

标注清单示例：

时间码	画面事件	声音角色	优先级	方式
00:00.000-00:08.000	潮湿小巷、霓虹招牌、细雨	雨声底、城市嗡鸣	辅助	V2A 或循环环境音
00:01.420	靴子踏入水坑	溅水声、皮革吱嘎声	主声	生成 SFX + 手动同步
00:03.100-00:05.700	行走时外套摆动	衣料声	背景	自然时使用 V2A，否则使用细微的素材库／录制衣料声
00:06.040	金属门砰然关上	碰撞声、尾部混响	主声	单独制作 SFX；对齐瞬态

有意标记静音。并非每个可见动作都需要声音；Foley 过多会让 AI 片段显得虚假。

提示词构建

按以下层次构建提示词：

1. 场景底声：地点、房间大小、天气、人群、机器音调、距离。
2. 主动作：观众必须注意到的 1-4 个事件。
3. 材料和机械特性：橡胶摩擦混凝土、玻璃碰响、皮革吱嘎、金属刮擦、塑料按钮、湿砾石。
4. 视角和混音密度：摄像机视角、近距离且干燥、远处且有混响、细微背景声、无音乐。
5. 排除项：避免旁白、说话、旋律、无关动物、呼啸风声、额外爆炸、人群欢呼、受版权保护的音效主题。
6. 仅当服务提供方／模型／工具接受或适合使用时间提示时才加入。否则，使用短片段并在剪辑时手动同步。

实用措辞：

• “摄像机视角的现场制作音频”
• “细微自然的 Foley，不要夸张的卡通音效”
• “近距离干燥的道具操作声，带轻微的房间反射”
• “稀疏脚步声下持续的低沉城市环境音”
• “剪辑点处单次清脆的陶瓷碰撞声，无音乐、无人声”
• “避免额外的画外事件”

避免：

• 不说明具体声学事件，只说“营造电影感”；
• 仅靠提示词承诺“完美同步”；
• 一次生成塞入所有细微动作；
• 要求生成受版权保护的相似音效、名人声音或品牌音效标识；
• 在 Foley 工作中让模型添加音乐。

提供商和模型选择

选择前，务必检查当前工具注册表、提供商文档、许可证、定价、输入架构和安全条款。然后根据生产需求进行选择：

需求	合适的选择	注意事项
托管式 V2A，支持文本和负面提示词控制	fal ControlFoley 或当前同类工具	需要上传文件或 URL；API 详情和商业使用标注可能变化；必须确认参考音频已获授权。
托管式 V2A，可从视频推断提示词	fal ThinkSound 或当前同类工具	生成的提示词可能误解意图；用于品牌项目时，应审核并覆盖提示词。
本地或开源的可复现方案	MMAudio、FoleyCrafter、HunyuanVideo-Foley、ThinkSound local 或当前开源模型	检查 GPU/OS 要求、模型许可证、检查点来源以及时长方面的假设。
高优先级瞬态声或独立道具音效	文本转 SFX、录制的拟音或授权音效库	需要手动定位并同步；要获得干净的分轨时，它可能比 V2A 更合适。
连续的环境音循环	文本转 SFX 循环工具、音效库环境音或 V2A 音床	确认循环衔接自然，并避免出现可听出的重复或音量起伏。
带原生音频的生成视频	音视频生成模型	这不同于为现有剪辑添加拟音；后期控制较少，也更难保持画面锁定。

决策原则：选择能提供足够同步和控制能力的最简单工具。如果简单的文本转 SFX 脚步声加上时间线微调，比完整的 V2A 处理效果更好，就采用简单方案。

推荐工作流

1. 明确交付内容。

   • 仅最终合成视频、WAV 音频、分轨、SFX 音效包、项目文件，或以上全部；
   • 目标平台的响度/格式；
   • 是否已有音乐、对白或旁白。

2. 准备视频并分段。

   • 创建无声工作副本；
   • 按声学场景剪辑；
   • 记录准确时长和帧率；
   • 确定是否允许托管上传。

3. 制作声音定位清单。

   • 先识别关键瞬态声；
   • 将环境音与拟音分开标记；
   • 记录暗示存在但画面中不可见的声音；
   • 标记应保持静音的部分。

4. 生成第一版 V2A 音床。

   • 每个片段使用一个场景级提示词；
   • 如有可用选项，设置种子和参数；
   • 除非有意需要，否则要求不含音乐/人声；
   • 原样保存原始输出。

5. 对照画面审核。

   • 配合视频进行静音/取消静音试听；
   • 标记偏移、音源错误、多余事件和缺失的关键音效；
   • 决定是否重新生成、进一步分段，或改用手动添加的 SFX。

6. 添加精准音效层。

   • 为关键事件生成或选取独立音效/拟音；
   • 在帧级或波形级对齐瞬态声；
   • 使用淡入淡出、EQ、混响、音高和音量自动化进行调整。

7. 完成混音。

   • 将 V2A 环境音控制在足够低的音量，让手动添加的关键音效清晰可辨；
   • 在对白/旁白下方压低环境音；
   • 在片段衔接处使用交叉淡化；
   • 避免削波和低频堆积失控。

8. 进行质检并打包。

   • 按要求导出预览视频以及单独的音频/分轨；
   • 保留源视频、声音定位清单、提示词、种子、模型 ID、提供商、生成日期、许可证说明和原始生成内容；
   • 记录任何手动编辑和被拒绝的生成内容。

同步与编辑指南

对于主要冲击声，应根据瞬态同步，而不是根据提示词。冲击声应落在视觉接触帧，或剪辑暗示为接触的那一帧。如果声音的力度峰值来得较晚，可从另一次录音中提前切出起音，或在接触帧叠加轻微的咔哒声／撞击声。

对于脚步声，如果人物的腿很小或被遮挡，不必追踪每一步。先同步第一个清晰的脚步，建立节奏，再用环境底噪和衣物声来表现动作。如果模型生成了过多脚步，可缩短片段，或改用手动添加的脚步声。

衣物声应轻柔、贴近。除非是极近景镜头或动画夸张表现，否则响亮的衣物摩擦声会显得不专业。

对于道具，应说明材质和动作：“陶瓷杯放在木桌上”“塑料锁扣咔哒两声”“手中的纸信封发出沙沙声”。笼统的“物体声音”提示词只会生成模糊混杂的声音。

对于车辆和机械，应将持续的引擎声／环境底噪与点火、刹车尖啸、换挡、关门、驶过或关机等离散事件分开处理。

对于 UI／产品演示，生成的拟音通常风险较高。应将设计好的点击声、轻敲声、呼啸声和界面提示音作为独立素材使用，以匹配品牌风格和精确时机。

对于动画，应在生成前确定声音风格。在风格化卡通上使用写实拟音底层可能会显得不协调；在扁平动态图形上使用超写实产品音效则可能显得更有质感。

权利、同意与安全

上传或发布前：

• 核实源视频的权利、出演者授权、客户许可，以及任何场地／产品限制；
• 核实服务提供方当前的商业用途和数据保留条款；
• 除非用户证明已获得授权，否则将参考音频视为受版权保护；
• 未经同意，不要克隆、模仿或合成真实人物的声音；
• 不要重现知名声音商标、声音标识、游戏武器音效、电影生物叫声或可识别的音乐提示音；
• 除非明确标注为重现或戏剧化演绎，否则避免在新闻、法律、医疗、安全或证据影像中添加可能造成误导的声音；
• 保留来源信息，以便下游编辑人员了解哪些内容是合成、生成、授权、录制或由客户提供的。

如果用户要求添加会改变真实影像事实含义的声音，应说明风险，并建议添加标注、拒绝处理，或制作明确虚构的剪辑版本。

QA 检查清单

语义匹配：

• 可听到的声源是否与画面内容或有意暗示的内容相符？
• 模型是否虚构了动物、人声、人群、音乐、机械声或天气声？
• 材质线索是否可信：金属、玻璃、布料、水、木头、橡胶、皮肤、塑料？

时间匹配：

• 主要冲击声是否落在接触帧上？
• 脚步声与镜头景别下的动作节奏是否足够匹配？
• 片段中是否出现漂移？
• 剪切和转场是否干净地重置了声学空间？

声学匹配：

• 混响是否与地点和摄像机距离相符？
• 底层声音是否过于干、过湿、过响、过于干净或过于嘈杂？
• 近处声音是否符合摄像机视角？
• 各层声音是否在相同频段互相冲突？

技术匹配：

• 没有削波、爆裂声、音频丢失、双重起音、编解码器模糊或明显循环。
• 导出文件的采样率、声道、编解码器和时长符合要求。
• 最终视频和音频时长一致；除非有意为之，否则不要截掉尾音。
• 分轨和项目素材均已命名，并记录来源信息。

编辑匹配：

• 音频应服务于故事，而不是炫耀生成效果。
• 重要的视觉事件应有声音呈现；不重要的动作应有所克制。
• 混音应为对白、音乐、字幕和平台播放留出空间。

故障排查

声音来源错误：

• 为错误的声音来源添加负面提示词。
• 缩短片段，让模型看到的潜在原因更少。
• 针对目标声音使用手动文本转音效，并降低 V2A 背景音轨的音量。

时机不佳：

• 围绕事件截取片段。
• 生成多个种子。
• 在时间线上对齐；在接触帧上叠加单独的瞬态音效。
• 如果可用，使用具有时间或事件控制功能的模型或工作流。

输出混浊或过满：

• 提示减少事件数量、降低密度。
• 除非必要，否则移除音乐、人声或人群声。
• 将环境音和拟音分开处理。
• 在清晰的主音效下方对 V2A 背景音轨进行均衡或侧链压低。

环境音循环效果不佳：

• 生成更长的背景音，找到更干净的循环点。
• 在 DAW/NLE 中交叉淡化。
• 改用专用的循环文本转音效工具或音效库中的环境音。

画外动作缺失：

• 在提示词中明确加入画外动作，或手动添加音轨。
• 如果画外声音会改变故事含义，请与用户确认。

托管上传被阻止：

• 如果版权和硬件条件允许，使用本地或开源模型。
• 请用户提供已获许可的代理视频。
• 提供声音点位列表和提示词包，不上传素材。

商业用途／许可不确定：

• 暂停最终交付。
• 重新核查当前模型／提供商的条款。
• 将不确定的素材替换为录制、已获许可或由用户提供的声音。

完整示例：滑板社交媒体短片

制作意图：为一段 8 秒的竖屏镜头添加逼真的声音。画面中，滑板手滑向路缘并做出磨杆动作，落地后继续滑行。交付内容为一个混音后的 MP4 文件，另附一个 WAV 文件。

输入和限制：

• 画面已锁定为 23.976 fps，时长 8.0 秒；
• 无对白或音乐；
• 用户拥有该片段的所有权，并批准上传到托管式 V2A；
• 主音效为滑轮声、磨擦声、落地闷响和滑行尾音。

声音点位列表：

时间码	事件	优先级	方法
00:00-00:08	户外滑板场环境音、远处城市声、混凝土空间感	辅助	V2A 背景音轨
00:00.400-00:02.600	滑轮在混凝土上滚动	主音效	V2A + 可选滑轮循环音
00:02.750-00:04.100	滑板桥在混凝土路缘上磨擦	主音效	V2A，若声音较弱则加上分离的刮擦声
00:04.220	滑板落地	主音效	单独的冲击音层
00:04.300-00:08.000	滑行离开	辅助	V2A 背景音轨

V2A 提示词示例：

Camera-perspective outdoor skatepark Foley, skateboard urethane wheels rolling on rough concrete, a sharp gritty truck grind on a concrete ledge, one solid board landing thump, then wheels rolling away. Natural documentary sound, dry open-air ambience, no music, no voice, no crowd cheering, no extra crashes.

负面提示词示例：

music, narration, applause, crowd chanting, car horns, explosions, cartoon boings, extra falls

所选提供商支持时的参数示例：

duration_seconds: 8
seed: fixed_for_review_iteration
guidance: medium_to_high
output: raw_audio_wav_and_preview_video

预期结果：生成可用的连续背景音轨，滑板动作大致与画面对齐。如果磨擦声或落地声出现得太晚，保留环境音／滑行背景音轨，另行生成或选取独立的金属／混凝土刮擦声和落地闷响，并手动对齐这些瞬态音效。

完整示例：产品演示界面音效

制作意图：为一段 12 秒的 SaaS 应用宣传片添加克制且有质感的 UI 音效。画面中，光标点击三个按钮、卡片滑入，随后出现成功状态。交付内容为供剪辑师使用的分轨音频。

不使用一键式 V2A 的原因：UI 点击声必须精确落点、符合品牌风格，并且在人声旁保持清晰。仅当片段包含环境画面时才使用 V2A；否则，应使用手动文本转音效和设计好的呼啸音效。

声音点位列表：

时间码	事件	声音	方法
00:01.120	光标点击“Import”	柔和、通透的点击声	文本转音效或音效库
00:02.000-00:03.200	数据卡片滑入	短促、轻柔的呼啸声	设计音效
00:05.480	开关切换为开启	有触感的轻响	设计音效
00:09.900	显示成功状态	轻柔的正向提示音	生成或创作，并确认已获许可

声音设计说明示例：

Create four short, clean SaaS interface sound effects: soft glass click, airy card slide whoosh, tactile toggle tick, and tiny positive success chime. Minimal, premium, non-musical except the final two-note chime, no retro arcade, no phone notification resemblance, no branded sonic logo.

预期结果：生成单独的 WAV 文件，并放置在精确帧上。质量检查时，需核对每个点击／轻响的首个采样点是否与光标事件对齐，并降低所有 UI 音效的音量，使其低于旁白。

完整示例：奇幻生物短片

制作意图：为一段 10 秒的生成式奇幻镜头添加声音：一条小龙抖落翅膀上的雨水，在湿滑的石面上爬行，呼出蒸汽，然后跳出画面。交付内容为混音预览和分轨。

工作流：

1. 分成两轮：先制作持续的雨声和洞穴环境音，再制作生物拟音。
2. 使用 V2A 制作氛围音和宽泛的生物动作音。
3. 单独生成或录制翅膀布料／皮革抖动声、爪子刮擦石面的声音、呼吸声和跳跃撞击声。
4. 避免引用知名龙／怪兽的声音；设计原创的生物音色。

V2A 提示词示例：

Dark stone cave entrance in heavy rain, small fantasy reptile moving close to camera. Wet claws scrape and tap on stone, leathery wings shake off water droplets, soft animal breathing, a short warm steam exhale, then a quick leap away. Natural creature Foley, damp cave reflections, no music, no human speech, no roaring, no thunder.

预期结果：营造氛围感的背景音，并呈现合理的湿润动作声。要塑造主角生物的独特身份，应叠加原创的呼吸声和翅膀纹理，而不是试图让单个模型输出承载全部设计。

来源说明

已于 2026-07-10 核查以下来源：

• Google DeepMind，《为视频生成音频》：https://deepmind.google/blog/generating-audio-for-video/
• fal ControlFoley 模型／API 文档：https://fal.ai/models/fal-ai/controlfoley 和 https://fal.ai/models/fal-ai/controlfoley/api
• fal ThinkSound 音频模型／API 文档：https://fal.ai/models/fal-ai/thinksound/audio/api
• MMAudio 官方代码库：https://github.com/hkchengrex/MMAudio
• FoleyCrafter 项目和代码库：https://foleycrafter.github.io/ 和 https://github.com/open-mmlab/foleycrafter
• HunyuanVideo-Foley 官方代码库和论文：https://github.com/Tencent-Hunyuan/HunyuanVideo-Foley 和 https://arxiv.org/abs/2508.16930
• ThinkSound 官方代码库和论文：https://github.com/FunAudioLLM/ThinkSound 和 https://arxiv.org/abs/2506.21448
• ElevenLabs Sound Effects 文档：https://elevenlabs.io/docs/overview/capabilities/sound-effects
• Sony AI FoleyBench 发布页面：https://ai.sony/publications/foleybench-a-benchmark-for-video-to-audio-models