mcpField
T
topaz-video-enhancement

topaz-video-enhancement

github.com/calesthio创意与媒体219113 次安装15 周前更新
代码仓库

关于 topaz-video-enhancement

topaz-video-enhancement 是关于使用 Topaz Labs 模型修复和增强现有视频及图像的技能,适合媒体制作人员和自动化流程开发者。它按素材问题介绍模型选择,并说明如何将 Topaz Platform REST API 用作批处理与流水线环节。

主要功能

  1. 01按画面问题选择增强模型
  2. 02提升分辨率并控制细节与噪声
  3. 03插帧、去隔行及运动去模糊
  4. 04通过 REST API 执行异步任务

适用场景

  1. 01修复压缩或低分辨率视频
  2. 02处理老旧及隔行扫描素材
  3. 03为生成视频增加后期增强环节

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/calesthio/generative-media-skills --skill topaz-video-enhancement

安装后在 Claude Code 中输入/topaz-video-enhancement确认已加载。

附带文件EVAL.md

详细介绍

Topaz Labs 视频(和图像)增强

Topaz Labs 提供 AI 增强/修复模型,有三种使用方式:桌面应用(Topaz Video AI、Gigapixel、Photo AI),以及 Topaz Platform REST API(api.topazlabs.com),后者开放了同系列模型,可用于程序化、批量和流水线处理。本 skill 介绍如何应用这些模型解决具体的素材问题,以及如何在自动化流水线中调用 API。如果只是一次性的手动清理,桌面应用通常更快;如果增强是「生成 → 增强 → 交付」流水线中的可重复步骤,则应使用 API。

增强是修复与润饰,而不是创作。它无法添加原本不可能存在的信息;它只能重建、插帧或虚构细节。本页中的每种模型都会以一定的保真度换取一些感知质量,关键在于选择与素材和交付内容相匹配的取舍。

验证说明:以下模型名称、模型代码/代号、参数、限制和定价均已根据 Topaz 开发者文档于 2026-07-10 核实。这些信息可能频繁变化——Topaz 经常发布新版本的模型(代码中的 -N 后缀表示版本)。在流水线中写死代码之前,请对照实时的 Available Models 参考文档/OpenAPI 架构(developer.topazlabs.com/reference)确认。API 中的 filters[].model 使用代码;桌面应用则显示易读名称。

适用场景(以及不适用的场景)

适用:

  • 将视频放大到更高分辨率(SD→HD、HD→4K/8K)。
  • 清理过于柔和、低分辨率、闪烁或塑料感明显的 AI 生成视频。
  • 修复旧影像/档案素材:胶片颗粒、压缩、隔行扫描、低分辨率。
  • 降噪、锐化、去模糊、去隔行、稳定画面。
  • 转换帧率和制作慢动作(帧插值)。
  • SDR→HDR 转换、黑白上色、移除前景物体。
  • 增强静态图像(通过 Image API 使用 Gigapixel/Photo 模型),作为次要需求。
  • 设计「先生成低分辨率内容,再放大」流水线中的增强阶段。

不适用:

  • 生成原创视频或图像(这是生成模型的工作——Topaz 增强的是现有帧序列;即使其「创意」模型也以素材为起点)。
  • 非 Topaz 的放大器/工具(Real-ESRGAN、Video2X、其他供应商的云端 VSR)。
  • 编辑决策(剪辑内容、节奏、故事)——增强与这些环节相互独立。
  • 源素材已达到或超过交付质量的任何任务;此时增强只会增加成本、处理时间和伪影风险。

增强在 AI 生成视频流水线中的位置

(制作经验法则,已由「来源」中引用的从业者报告佐证。)

目前大多数文本/图像转视频生成器在低分辨率和较短时长下成本更低,也更容易控制。常见的交付流程如下:

  1. 生成低分辨率内容(例如 480–720p),以加快迭代并降低成本。在此阶段确定剪辑、运动和构图。
  2. 通过增强/放大进行最后处理,达到交付分辨率(1080p/4K),根据素材的实际需求选择模型,而不是一味追求「最大数值」。
  3. 检查运动效果,不只是查看单帧。生成视频的失效模式具有时间维度:闪烁、扭曲、身份漂移。单帧看起来完美,片段仍可能无法使用。

为什么要最后增强,而不是在生成过程中增强:增强模型会根据输入确定性地处理内容,并且能让你分开处理各项任务(先降噪,再放大,然后插帧),使每个模型只解决一个问题。放大有噪点或扭曲的素材会放大噪点和扭曲——应先修复这些问题。

与摄像机拍摄的素材相比,思路上的关键区别在于:AI 生成的帧包含生成器虚构的合成纹理。针对真实素材调优的修复模型可能会将这种纹理识别为需要保留的细节,而创意模型则可能会替换它。应根据源素材选择符合其假设的模型(见下文的模型选择)。

模型系列及选择方法

Topaz 将视频模型分为不同系列。先根据主要问题选择系列, 再根据质量/速度和源素材状况选择变体。代码已于 2026-07-10 验证。

Proteus 系列 — 放大 + 增强(主力系列)

确定性(非扩散)放大,并可控制细节、噪声和锐化。适合希望输出忠于源素材且 可复现的情况。

模型代码解决的问题备注
Proteusprob-4提升中低画质实拍素材的分辨率/画质最通用的默认选择;提供手动细节/噪声/锐化参数
Irisiris-3 (LQ), iris-2 (MQ)从劣化的源素材中恢复人脸/细节根据源素材质量选择 LQ 或 MQ;人脸处理效果最强
Artemisahq-12, amq-13, alq-13, amqs-2, alqs-2, aaa-9综合降噪 + 锐化,清理压缩伪影/光晕后缀变体针对高/中/低画质(HQ/MQ/LQ)源素材
Dioneddv-3, dtv-4, dtd-4, dtvs-2, dtds-2去隔行 480i/576i/1080i 广播(电视)和摄像机(DV)素材专为将隔行视频转换为逐行视频而设计;分为 TV 和 DV 变体
Gaiagcg-5 (CG), ghq-5 (HQ)清理 CGI/动画/渲染内容为已经干净的合成素材做最后润色
Rhearhea-14× 放大,优先保留细腻/自然的纹理和保真度大幅提升分辨率且必须保留细微细节时使用
Theiathd-3 (Detail), thf-4 (Fidelity)提高清晰度/细节并进行锐化,同时控制噪声在细节与保真度之间权衡锐化力度

注意:任何 Proteus 系列模型都可以通过 video_type 指定源素材为隔行视频, 但真正专为出色去隔行而设计的模型是 Dione。

Starlight 系列 — 基于扩散的修复

生成式(扩散)修复。可恢复确定性模型无法还原的细节、稳定性和纹理,但成本更高, 也更可能生成原本不存在的细节。根据 2026 年的报告,其时间稳定性领先。

模型代码主要用途最大帧数*
Starlight Precise 1sl-1档案素材/严重劣化的实拍素材,最大程度保留源素材9,000
Starlight Precise 2slp-2GenAI 人脸/皮肤 + 稳定运动;提供 creativity(low/middle/high)450
Starlight Precise 2.5slp-2.5AI 生成视频及部分档案素材;真实感更强9,000
Starlight HQslhq-1最高支持 4K 的逐行视频—
Starlight Minislm-1劣化的档案素材(8mm/16mm/MiniDV);自动去隔行—
Starlight Sharpwonder-1修复 + 细节锐化—
Starlight Fast 1 / Fast 2slf-1, slf-2优先考虑速度;Fast 2 平衡速度与真实感9,000

*每个请求的最大帧数 — 已于 2026-07-10 验证;长片段需分段处理。

Astra — 创意型扩散放大

ast-2(Astra 2)。这是一款用于 GenAI 视频的创意型模型,能够添加新的动态细节 和纹理,最适合风格化、宽幅/大场景的 AI 镜头。参数包括 creativity(0.0–1.0,必填)、可选的 prompt、sharp(默认值为 0.5)、 realism 和 input_frame_count(不带提示词时最多 9000 帧,带提示词时最多 450 帧)。**警告 (文档说明):**创意型模型可能会改变物体、身份和风格。如果输出必须与源素材完全一致, 请勿使用 Astra — 使用 Proteus(保留源素材)或 Starlight(按原意修复)。

Nyx — 专用降噪
模型代码用途
Nyxnyx-3均衡的高质量降噪;去除摄像机/低光照/压缩噪声,同时保留细节
Nyx XLnxl-1噪声去除是首要目标时进行强力降噪
Nyx Fastnxf-1速度更快、成本更低 — 适用于预览、批处理和有时限的任务
Nyx High Fidelitynxhf-1仅降噪,精确保留源素材;可导出噪声通道
帧插值 — 帧率转换和慢动作(不会升频)
模型代码用途
Apolloapo-8综合表现最佳,适合慢动作和帧率转换;支持精确的 2×/4×/8×
Apollo Fastapf-2适用于动作较简单的场景,速度更快
Chronoschr-2适用于复杂的帧率转换,以及线性/分层运动
Chronos Fastchf-3优先考虑速度而非精度
Aionaion-1适用于视差显著或摄像机快速移动的极慢动作;可最大限度减少重复帧和不稳定现象

通用参数:slowmo(1–16)、fps(15–240)、duplicate(布尔值)、 duplicateThreshold/duplicate_threshold(0.001–0.1)。这些模型不会 升频 — 请将帧插值和升频作为独立阶段运行。

视频实用工具
任务模型代码备注
运动去模糊Themis 2thm-2适用于摄像机快速抖动或主体快速移动;可恢复清晰度,同时避免产生生硬边缘
着色Video Colorizationcolor-1黑白转彩色,时间上保持一致(不会逐帧闪烁);无参数
SDR→HDRHyperion / Hyperion 2hyp-1、hyp-2transfer_function 可设为 "pq"/"hlg";支持曝光/饱和度/高光控制;Hyperion 2 支持 ProRes PQ / EXR ACES
前景移除Foreground Object Removalremove-1需要源视频和经过跟踪的遮罩/蒙版视频;可重建背景
稳定(桌面功能)—可在 Topaz Video AI 桌面版中使用;编写脚本前请确认当前 API 是否已开放
按素材问题选择模型速查
  • 低分辨率 AI 生成视频 → Starlight Precise 2.5(slp-2.5)可忠实还原 真实感;如果希望在广角镜头中生成新的风格化细节,可使用 Astra 2(ast-2)。先修复 时间扭曲问题;升频会放大这些问题。
  • 压缩严重的 UGC(手机/社交媒体) → 默认使用 Proteus(prob-4);若能看到压缩失真/光晕,则使用 Artemis 降噪并锐化;若优先处理面部,则使用 Iris。
  • 老旧档案素材/胶片 → 使用 Starlight Precise 1(sl-1)或 Mini(slm-1,可自动 对小尺寸格式进行去隔行);也可使用 Iris LQ/MQ 进行较轻度的确定性处理。
  • 隔行扫描的广播/摄像机素材 → 使用 Dione(TV dtv-4 / DV ddv-3 变体),或 使用 Starlight Mini 处理劣化的隔行扫描素材。
  • 慢动作/帧率变更 → 默认使用 Apollo(apo-8);大视差场景的极慢动作使用 Aion(aion-1);复杂的帧率转换使用 Chronos。
  • 仅有噪点 → 使用 Nyx(nyx-3);严重噪点使用 Nyx XL;若要保留源素材特征,则使用 Nyx HF。
  • 运动模糊 → Themis 2(thm-2)。黑白素材 → color-1。SDR→HDR → Hyperion。

参数

确定性增强模型(Proteus、Artemis、Dione、Theia、Nyx、Themis)共用一套调节参数(已于 2026-07-10 验证;范围为小数):

  • video_type:"Progressive" | "Interlaced" | "ProgressiveInterlaced"
  • field_order:"TopFirst" | "BottomFirst" | "Auto"(隔行扫描源)
  • auto:"Auto" | "Manual" | "Relative"(模型是否自动调节)
  • focus_fix_level:"None" | "Normal" | "Strong"
  • compression、details、noise、halo、blur、preblur:-1 … 1
  • prenoise、grain:0 … 0.1
  • grain_sigma:0 … 1;grain_size:0 … 5
  • grain_type:"silver_rich" | "gaussian" | "grey"
  • recover_original_detail_value:0 … 1(Nyx)

经验建议:从 auto 开始,只有在修复特定瑕疵时才切换为手动。谨慎提高 details/sharpen — 过度锐化很容易让人脸显得蜡质,还会产生闪烁。重度降噪后适量补回 颗粒,避免画面显得塑料感。扩散模型(Starlight/Astra)则提供 creativity/realism 参数:创造性越高 = 虚构的细节越多 = 身份失真/伪影风险越高。

驱动 API

Video API 是一个异步、多步骤的作业,而不是一次性调用。每个请求都需进行身份验证:请求头 X-API-Key: <key>。仅支持 HTTPS。每个请求的源文件大小上限为 500 MB(已于 2026-07-10 验证)——较长或较大的源文件应分段处理。负载较高时可能会收到 HTTP 429;请使用指数退避。

生命周期(基础 URL:https://api.topazlabs.com/video/):

  1. 创建 — 使用 source、output 和 filters 对象执行 POST /video/。 返回 requestID。免费——创建请求不消耗点数(作业实际处理时才会扣点)。
  2. 接受 — PATCH /video/{requestID}/accept → 返回 S3 上传 URL。
  3. 上传 — 将文件 PUT 到每个 S3 URL,并设置 Content-Type: video/mp4;保存每个返回的 eTag。
  4. 完成上传 — 使用包含 {partNum, eTag} 的 uploadResults 数组执行 PATCH /video/{requestID}/complete-upload,以开始处理。
  5. 轮询 — 持续调用 GET /video/{requestID}/status,直到作业完成;响应中包含下载链接。另有以下接口可用:create-express-request、cancel-request、 delete-files、get-request-metrics、get-request-history;账户点数见 /account/credits。

格式:文档示例使用 MP4 容器;音频通常使用 AAC,并设置 audioTransfer: "Copy",以原样传递音频。output.frameRate 和 output.resolution 用于定义目标;帧插值的 fps/slowmo 位于筛选器中。若要将非 MP4 源文件用于处理流水线,请先在参考文档中确认当前支持的容器和编解码器。

Image API(次要范围)

用于静态图像的独立简化异步流程:POST /enhance/async(以及 sharpen/denoise/restore/lighting/matting/tool)、GET /status/{id}、 GET /download/{id}。参数包括 model(例如 Gigapixel 的 Standard/High Fidelity/Low Resolution/Art & CGI/Recover Faces,以及 Wonder/Bloom/Redefine)、 output_format 和上传的 image。图像点数规则(已于 2026-07-10 验证): 每 24 MP 输出约消耗 1 点,输出越大,点数消耗越高。可使用 Image API 对视频处理流水线中的关键帧、海报或缩略图进行放大。

定价(可能变动——已于 2026-07-10 验证)

采用点数计费。API 产品页面列出的每点美元价格: $0.12(Starter/按量付费)、$0.10(Developer)、$0.08(Scale)。产品页面列出的方案为(Developer 每月 $50/500 点,Scale 每月 $240/3,000 点,Enterprise 按需定制),而开发者文档强调按量付费且点数不会过期——方案结构可能变动,引用前请重新核实。

10 s 1080p 视频片段的大致点数成本(随时长和分辨率变化;4K 大约是 1080p 成本的 3 倍):

  • Proteus / Denoise:约 2 点(1080p),约 6 点(4K)
  • 帧插值:Fast 约 1 点,Quality 约 2 点
  • Starlight:Fast 约 5–6 点,Quality 约 11–12 点(1080p);约 12–25 点(4K)
  • Astra:约 39 点(1080p),约 70 点(4K)——最昂贵的系列

成本影响:最后才增强,并且只处理最终要交付的内容。 Diffusion/创意模型(Starlight、Astra)的成本是 Proteus 处理的 3–20 倍,因此只将它们用于确定性放大确实无法修复的素材,并先用短片段测试设置。

增强有益与有害的情形(伪影)

当素材中存在模型受训时所针对的、可恢复的结构时,增强会有帮助:真实影像虽然柔和、有噪点、经过压缩、分辨率低或为隔行扫描,但仍保留可恢复的结构;或者 AI 影像只是分辨率低,但时间上保持稳定。以下情况则会有害,或只是徒劳:

  • 过度平滑/塑料感/蜡像脸: 强力降噪或锐化会抹去微观纹理,让人脸显得诡异。缓解方法:使用较轻的设置、重新添加颗粒,并优先选择感知人脸的模型(Iris / Starlight),而非一味锐化。
  • 时间闪烁/跳动: 逐帧增强会凭空生成在帧与帧之间不断变化的高频细节。精细纹理(头发、树叶、织物)会产生爬动感。缓解方法:优先选择具备时间感知能力的模型(Starlight、Nyx v3);切勿只凭单帧判断。
  • 人脸幻觉/身份漂移: 扩散/创意模型可能会凭空生成人脸或改变身份,尤其是在 creativity 较高时。缓解方法:降低创意度,使用 Precise/Proteus 保留原貌,并检查整个片段中的身份一致性,而非只看一帧。
  • 扭曲加剧: 对本身已有扭曲的 AI 影像进行放大,会让扭曲变得更严重。应先修正运动(或重新生成);不要试图通过“放大”来弥补糟糕的生成结果。
  • 过度插帧: 对重复/近乎静止的帧进行插帧,或跨镜头切换插帧,会产生变形效果。设置 duplicate/duplicateThreshold,并在场景切换处分段处理。

增强输出的 QA 标准

(制作经验法则 + 从业者报告。)

  1. 先制作样片,再决定是否继续。 处理完整任务前,先渲染 5–10 s 最具挑战性的场景(快速运动、人脸、精细纹理),这是避免“人脸灾难”以及浪费额度/时间的最省钱方法。
  2. **以全速动态观看来判断,**不要依赖截图。观察精细纹理是否闪烁/爬动,以及运动主体是否扭曲。
  3. 检查整个片段中的人脸和身份。 出现皮肤蜡像感、五官变形或身份漂移时,应予以拒绝。
  4. 尽量采用适度的放大倍率。 单次 4× 放大不如每次 2× 放大干净;如需更高倍率,可串联多次处理。
  5. 分开处理不同问题。 将降噪 → 放大 → 插帧作为独立阶段,让每个模型各自解决一个问题;与一次激进的组合处理相比,这样能减少扭曲。
  6. 在保真度至关重要时,确认没有凭空生成新细节(证据、档案素材、品牌资产)。在这些场景中,创意模型不应使用。
  7. 核实交付规格: 分辨率、帧率、音频直通、容器格式,以及适用时的 HDR 传递函数。

权利、同意与来源

增强可能会让人看起来像是以比实际更高的保真度拍摄的,而创意/扩散模型可能会凭空生成面部细节,因此增强真实人物的影像可能会对其造成误导。只能增强你有权处理的影像。对于档案素材/第三方素材,上传前请确认许可(通过 API 处理时,帧会离开你的设备并传到 Topaz 的云端)。对于任何涉及证据、新闻报道或身份敏感的内容,避免使用会添加虚构细节的模型,并披露使用了 AI 增强。遵守 Topaz 的条款以及你所在司法管辖区关于合成媒体披露的规定。

完整示例(仅供参考——请对照实时参考文档核实代码/参数)

示例 A — 将低分辨率 AI 视频片段忠实放大至 1080p
  • **意图:**需要将一段 720p、时间稳定的文生视频片段以 1080p 发布, 且不能凭空创造新内容。
  • **模型:**用于还原 AI 源视频真实感的 Starlight Precise 2.5(slp-2.5);或在预算有限且源视频干净时使用 Proteus (prob-4)。
  • **原因:**Precise 2.5 专为 AI 生成视频设计,可保留创作意图;如果瑕疵较轻,使用确定性的 Proteus 处理则成本低得多。
  • **流程:**创建 → 接受 → PUT 至 S3 → complete-upload → 轮询状态 → 下载。
  • 创建请求体(Proteus 变体):
    {
      "source":  { "resolution": {"width":1280,"height":720}, "container":"mp4",
                   "size": 18450000, "duration": 8, "frameRate": 24, "frameCount": 192 },
      "output":  { "resolution": {"width":1920,"height":1080}, "container":"mp4",
                   "audioCodec":"AAC", "audioTransfer":"Copy", "frameRate": 24,
                   "dynamicCompressionLevel":"High" },
      "filters": [ { "model":"prob-4", "details":0.2, "noise":0.0, "sharpen":0.1 } ]
    }
    
  • **预期效果:**干净的 1080p,忠于源视频。**故障模式:**树叶/ 头发闪烁(切换至 Starlight);面部蜡像感(降低细节/锐化程度,使用 Iris/Starlight)。
  • **变化处理:**如果片段出现扭曲,请先重新生成或稳定画面——不要放大。
示例 B — 24→60 fps 慢动作,不放大
  • **意图:**将 24 fps 的动作画面转换为流畅的 60 fps、2.5× 慢动作。
  • **模型:**Apollo(apo-8);如果存在明显视差/快速摇摄,则切换至 Aion(aion-1)。
  • 滤镜:{ "model":"apo-8", "fps":60, "slowmo":1, "duplicate":true, "duplicateThreshold":0.1 }(进行时长拉伸时,将 slowmo 提高至 2–2.5 左右)。
  • **原因:**Apollo 是适用于各种场景的默认插帧模型;处理重复帧时使用 duplicate 可避免帧间变形。不要期待此操作改变分辨率。
  • **故障模式:**场景切换时发生变形(先在切换处拆分片段); 透明/反光物体运动时出现重影(尝试 Aion)。
示例 C — 修复隔行扫描的档案广播视频
  • **意图:**1080i 广播采集视频 → 清晰的 1080p 逐行扫描视频。
  • **模型:**使用 Dione TV(dtv-4)进行去隔行和增强;如果源视频是画质退化的小画幅胶片,且还需要修复,则使用 Starlight Mini(slm-1)。
  • 参数:video_type:"Interlaced"、field_order:"Auto"(如果知道是顶场优先还是底场优先,请明确设置)。
  • **质量检查:**检查水平运动是否有梳齿瑕疵;处理后确认没有残留的隔行扫描线。
示例 D — 降噪低光照环境下拍摄的手机视频片段,同时保留颗粒质感
  • **意图:**压缩过的低光照 UGC,亮度噪点严重,但画面不能有塑料感。
  • **模型:**Nyx(nyx-3);仅在噪点占主导时使用 Nyx XL(nxl-1)。
  • **参数:**先使用 auto:"Auto";如果画面有塑料感,则设置 grain:0.03、 grain_type:"gaussian" 以重新添加纹理;保持较低的 details 值。
  • **然后:**如果需要提高分辨率,再单独执行 Proteus(prob-4)放大处理—— 切勿在一次激进处理中同时降噪并放大 4×。

资料来源(已于 2026-07-10 验证)

主要来源(Topaz Labs 官方):

次要来源(独立从业者报告,披露方法,仅用于瑕疵/质量检查方面的启发式参考——不作为技术主张的唯一依据):

  • inference.sh 上有关 Topaz 放大的博客;morphed.app 的“AI Video Upscaler 2026 guide”; vegavid.com 上有关 AI 视频瑕疵的故障排查;mindstudio.ai 上有关 Astra 场景检测的资料。 (这些资料佐证了时间闪烁、过度平滑和多次处理方面的启发式方法。)

评论

支持 Markdown