claude-video

claude-video — Claude Code 的命令行原生视频编辑

快速参考

命令	功能
/video	交互模式 — 用通俗英语描述你的需求
/video setup	安装所有依赖项（faster-whisper、auto-editor、scenedetect、yt-dlp、mediainfo）
/video edit	修剪、剪切、拆分、合并、调速、裁剪、叠加、稳定画面、添加转场
/video transcode	转换编解码器、压缩、GPU 加速编码、双遍编码
/video audio	标准化响度、降噪、混音、提取音频、移除静音
/video caption	转录语音 → 逐词动态字幕（Whisper + ASS）
/video analyze	使用 ffprobe 检查、测量质量（VMAF/SSIM/PSNR）、检测场景
/video export <platform>	一键导出：youtube、tiktok、instagram、linkedin、web、gif、podcast
/video download <url>	使用 yt-dlp 下载视频并选择格式
/video create	通过 Remotion（基于 React 的动态图形）以编程方式创建视频
/video shorts	长视频 → 短视频工作流：转录、评分、裁剪为 9:16、添加字幕、导出
/video image	AI 图像生成（Gemini 3 Pro Image、FLUX.2 本地版、SD 3.5、OpenAI、rembg）
/video generate	AI 视频生成（Veo 3.1、Runway Gen-4、本地 SVD）
/video screenshot	通过 Playwright 捕获网页（截图、录制、Ken Burns 效果）
/video enhance-audio	AI 音频（Demucs 分离、DeepFilter 降噪、TTS、说话人分离、AudioSR）
/video enhance	AI 视频（Real-ESRGAN 放大、RIFE 插帧、CodeFormer、rembg）
/video promo	使用素材视频 + Remotion 制作宣传视频，并添加对比度感知文字叠层
/video setup --ai	安装 AI 依赖项（PyTorch、WhisperX、FLUX.2、Real-ESRGAN 等）

编排逻辑

命令路由

当用户提供特定命令时，加载匹配的子技能：

• /video edit 或意图为修剪/剪切/拆分/合并/变速/裁剪/叠加/稳定/转场 → 读取 skills/claude-video-edit/SKILL.md
• /video transcode 或意图为转换/压缩/编码/编解码器/更改格式 → 读取 skills/claude-video-transcode/SKILL.md
• /video audio 或意图为音频标准化/降噪/混音/提取/静音/音量/LUFS → 读取 skills/claude-video-audio/SKILL.md
• /video caption 或意图为转录/字幕/说明文字/whisper/SRT/ASS → 读取 skills/claude-video-caption/SKILL.md
• /video analyze 或意图为检查/信息/质量/VMAF/元数据/场景检测/ffprobe → 读取 skills/claude-video-analyze/SKILL.md
• /video export 或意图为导出到 youtube/tiktok/instagram/linkedin/web/gif/podcast → 读取 skills/claude-video-export/SKILL.md
• /video download 或意图为从 URL 下载视频 → 读取 skills/claude-video-download/SKILL.md
• /video create 或意图为以编程方式创建/生成视频/动态图形/标题卡 → 读取 skills/claude-video-create/SKILL.md
• /video shorts 或意图为从长视频制作短视频/片段/TikTok 短视频/reels → 读取 skills/claude-video-shorts/SKILL.md
• /video image 或意图为生成图像/AI 图像/FLUX/stable diffusion/移除背景 → 读取 skills/claude-video-image/SKILL.md
• /video generate 或意图为生成视频/AI 视频/Veo/Runway/文本转视频 → 读取 skills/claude-video-generate/SKILL.md
• /video screenshot 或意图为截图/网页捕获/屏幕录制/Ken Burns → 读取 skills/claude-video-screenshot/SKILL.md
• /video enhance-audio 或意图为分离人声/AI 降噪/说话人分离/TTS/语音克隆/音频升采样 → 读取 skills/claude-video-enhance-audio/SKILL.md
• /video enhance 或意图为升频/超分辨率/插帧/人脸修复/移除视频背景 → 读取 skills/claude-video-enhance/SKILL.md
• /video promo 或意图为宣传视频/库存素材/营销视频/带文字的库存片段 → 读取 skills/claude-video-promo/SKILL.md
• /video setup → 运行 bash scripts/setup.sh
• /video setup --ai → 运行 bash scripts/setup.sh --ai

交互模式

当用户只说 /video，或用自然语言描述任务时：

1. 运行 bash scripts/check_deps.sh，确认工具是否可用
2. 运行 bash scripts/detect_gpu.sh，了解编码能力
3. 根据用户的描述识别意图
4. 路由到相应的子技能
5. 如果意图不明确，请用户澄清

多步骤流水线

对于跨越多个子技能的复杂请求（例如：“下载这段 YouTube 视频、移除静音片段、添加字幕并导出为 TikTok 格式”），按顺序执行子技能：

1. 下载 → 编辑 → 字幕 → 导出
2. 将每一步的输出作为下一步的输入
3. 使用 /tmp/claude-video/ 中的临时文件存放中间输出
4. 生成最终输出后清理临时文件

安全规则 — 必须遵守

1. 始终使用 -n 标志（不覆盖），除非用户明确要求覆盖
2. 输出路径绝不能与输入路径相同——写入前运行 bash scripts/preflight.sh "$INPUT" "$OUTPUT"
3. 绝不删除源文件——所有操作都生成新文件
4. 每次写入操作前都运行预检：bash scripts/preflight.sh <input> <output>
5. 以下操作前必须确认：批量操作（>3 个文件）、下载、预计耗时超过 5 分钟的操作
6. 无需确认即可自动执行：ffprobe 分析、缩略图提取、GPU 检测、元数据读取
7. 清理临时文件：在所有脚本中使用 trap 'rm -f "$TEMP"' EXIT INT TERM 模式
8. 检查磁盘空间：大型编码前运行 bash scripts/estimate_size.sh

AI 子技能路由指南

• “分离人声” / “分离对话” → claude-video-enhance-audio（Demucs，AI 模型）
• “降噪” / “去噪” → claude-video-audio（FFmpeg afftdn），用于快速处理；claude-video-enhance-audio（DeepFilterNet3），用于 AI 级画质
• 从图像**“移除背景”** → claude-video-image（rembg）；从视频移除 → claude-video-enhance（rembg 批处理 + alpha 合成）
• “放大” / “超分辨率” → claude-video-enhance（Real-ESRGAN）
• “慢动作”（基础处理）→ claude-video-edit（setpts）；（AI 帧插值）→ claude-video-enhance（RIFE）
• “生成图像/视频” → claude-video-image / claude-video-generate
• “短视频” / “从长视频剪辑片段” → claude-video-shorts

Python 虚拟环境

AI 脚本需要使用独立的 venv，并安装 PyTorch nightly cu128（适用于 RTX 5070 Ti Blackwell sm_120）：

# Install the AI venv (one-time)
bash scripts/setup.sh --ai

# Venv location
~/.video-skill/bin/python3
~/.video-skill/bin/activate

scripts/ 中所有使用 AI 模型的 Python 脚本（segment_scorer.py、face_tracker.py、image_generate.py、video_generate.py、audio_enhance.py、video_enhance.py、web_capture.py）都需要激活环境：source ~/.video-skill/bin/activate

VRAM 管理（16GB 预算 — RTX 5070 Ti）

加载任何 GPU 模型之前，先检查可用 VRAM：

nvidia-smi --query-gpu=memory.free --format=csv,noheader,nounits

等级	VRAM	模型	规则
独占（>10GB）	12-13GB	FLUX.2 klein、Bark TTS	只能加载这一个 GPU 模型
重型（5-10GB）	5-8GB	Demucs、WhisperX、AudioSR	一次只能运行一个重型模型
轻型（<5GB）	1-4GB	rembg、CodeFormer、RIFE、pyannote	总用量低于 12GB 时可同时运行
NVENC	~500MB	硬件编码器	始终可用
仅 CPU	0	MediaPipe、PySceneDetect、Playwright、librosa	无需 VRAM

绝不要同时运行两个重型/独占模型。加载 → 处理 → 卸载 → 下一个模型。

编码默认设置

GPU 优先策略

1. 开始任何编码任务时，运行 bash scripts/detect_gpu.sh
2. 如果 NVENC 可用：使用 h264_nvenc/hevc_nvenc/av1_nvenc 和 -preset p5 -tune hq
3. 如果没有 GPU：回退到 libx264/libx265/libsvtav1 和 -preset medium
4. MP4 输出始终添加 -movflags +faststart

编码格式选择优先级

• 流复制（-c copy）：无需重新编码时使用（剪辑、重封装、提取）
• AV1（av1_nvenc 或 libsvtav1）：压缩效率最佳、免版税——新编码默认使用
• H.264（h264_nvenc 或 libx264）：兼容性最佳（社交媒体、较旧设备）
• H.265（hevc_nvenc 或 libx265）：压缩效果好且支持广泛——用户提出要求时使用

质量默认设置

• H.264：CRF 20（CPU）/ CQ 21（NVENC）
• H.265：CRF 24（CPU）/ CQ 26（NVENC）
• AV1：CRF 28（CPU）/ CQ 30（NVENC）
• 音频：视频使用 AAC 192k，网页使用 128k，WebM 使用 Opus 128k

参考文件

按需加载——启动时不要全部加载：

• references/transcode.md — 编码器对比、CRF 指南、双遍编码、容器
• references/filters.md — 完整的视频滤镜目录及准确的 FFmpeg 命令
• references/audio.md — 响度目标、降噪、音频处理
• references/captions.md — Whisper 设置、ASS 卡拉 OK 格式、词级样式
• references/analyze.md — FFprobe 模式、VMAF/SSIM/PSNR 质量评估
• references/export-presets.md — 特定平台的导出命令（YouTube、TikTok 等）
• references/gpu-accel.md — NVENC 命令、CUDA 滤镜、RTX 专属设置
• references/remotion.md — Remotion 设置、React 视频模式、无头渲染
• references/shorts-pipeline.md — WhisperX 模型、评分算法、人脸跟踪、平台限制
• references/image-generation.md — FLUX.2、SD 3.5、OpenAI/Google API、rembg、视频原生尺寸
• references/video-generation.md — Veo 3.1、Runway Gen-4、SVD 本地运行、轮询、成本公式
• references/web-capture.md — Playwright 设置、设备模拟、Ken Burns FFmpeg 命令
• references/audio-enhance.md — Demucs、DeepFilterNet3、pyannote、TTS 对比、AudioSR
• references/video-enhance.md — Real-ESRGAN、RIFE、CodeFormer、rembg、帧处理流水线
• references/batch-processing.md — GNU parallel + NVENC 并发、批量 AI、错误处理

子技能

• claude-video-edit — 视频编辑：修剪、剪切、拆分、合并、变速、裁剪、叠加、稳定、转场
• claude-video-transcode — 编码器转换、压缩、GPU 编码、双遍编码、容器重新封装
• claude-video-audio — 音频标准化、降噪、混音、提取、静音移除
• claude-video-caption — 语音转文本、动态字幕、烧录样式
• claude-video-analyze — 视频检查、质量指标、场景检测、元数据分析
• claude-video-export — 针对平台优化的导出（YouTube、TikTok、Instagram、LinkedIn、Web、GIF、Podcast）
• claude-video-download — 使用 yt-dlp 下载视频，并选择格式和质量
• claude-video-create — 通过 Remotion（基于 React 的动态图形）以编程方式创建视频
• claude-video-shorts — 长视频 → 短视频流程：转录、评分、裁剪为 9:16、添加字幕、导出
• claude-video-image — AI 图像生成：Gemini 3 Pro Image、本地 FLUX.2、SD 3.5、OpenAI API、rembg
• claude-video-generate — AI 视频生成：Veo 3.1、Runway Gen-4 Turbo、本地 SVD
• claude-video-screenshot — 网页捕获：Playwright 截图、录制、Ken Burns 动画
• claude-video-enhance-audio — AI 音频：Demucs 分离、DeepFilter 降噪、TTS、说话人日志、AudioSR
• claude-video-enhance — AI 视频：Real-ESRGAN 放大、RIFE 插帧、CodeFormer 人脸修复、rembg

脚本

• scripts/setup.sh — 在用户确认后安装所有依赖项
• scripts/detect_gpu.sh — 检测 NVIDIA NVENC，并列出编码器（JSON 输出）
• scripts/check_deps.sh — 验证所有工具是否已安装，并显示版本（JSON 输出）
• scripts/preflight.sh — 安全检查：输入文件存在、输出文件不等于输入文件、磁盘空间充足
• scripts/estimate_size.sh — 根据时长和目标编解码器估算输出文件大小
• scripts/caption_pipeline.sh — 端到端流程：提取音频 → whisper → ASS → 烧录字幕
• scripts/shorts_pipeline.sh — 完整的短视频流程：转录 → 评分 → 裁剪 → 添加字幕 → 导出
• scripts/segment_scorer.py — WhisperX 转录 + 互动度评分（需要 venv）
• scripts/face_tracker.py — MediaPipe 人脸检测 + 智能裁剪为 9:16（需要 venv）
• scripts/image_generate.py — FLUX.2 / SD 3.5 / OpenAI 图像生成（需要 venv）
• scripts/video_generate.py — Veo / Runway / SVD 视频生成（需要 venv）
• scripts/web_capture.py — Playwright 截图、录制、Ken Burns 效果（需要 venv）
• scripts/audio_enhance.py — Demucs / DeepFilter / pyannote / TTS / AudioSR（需要 venv）
• scripts/video_enhance.py — Real-ESRGAN / RIFE / CodeFormer / rembg（需要 venv）
• scripts/screen_shorts_pipeline.sh — V3 屏幕感知短视频流程（VLM + 带边框布局）
• scripts/frame_analyzer.py — 通过 Gemini 2.5 Flash 进行 VLM 帧分析（需要 venv + GOOGLE_API_KEY）
• scripts/topic_segmenter.py — 主题边界检测 + 多模态评分（需要 venv）
• scripts/smart_reframe.py — 内容感知的竖屏重构，并采用带边框布局（需要 venv）

Agent

对于复杂的多步骤任务，可通过 Task 工具委派给专用 Agent：

• claude-video-encoder — 复杂编码流程（多遍、多输出、批处理）
• claude-video-analyst — 深度质量评估和全面的视频分析
• claude-video-producer — 制作流程专家（多步骤、显存管理、成本跟踪）