_video-watching

视频观看技能

将视频文件转换为静态图像分镜图，以便进行视觉理解、动作跟踪和详细分析。

工作原理

Claude 无法直接解析视频，但我们可以查看图像！此技能使用 vcsi（视频联系表生成器）从视频中采样帧并将其排列成网格，通过空间对比让连续动作变得易于理解。

工具：vcsi

位置：~/.local/bin/vcsi 安装：pipx install vcsi（已安装）

基本命令

概览分镜图（4x4 网格，覆盖整个视频的 16 帧）

vcsi /path/to/video.mp4 -g 4x4 -o output.png

用途：快速概览视频内容，发现有趣时刻

时间密集缩放（缩短帧间距）

vcsi /path/to/video.mp4 -g 4x4 -s 16 --start-delay-percent 0 --end-delay-percent 0 -o dense.png

用途：更详细地跟踪动作和行为

聚焦时间窗口（放大特定片段）

vcsi /path/to/video.mp4 -g 4x4 -s 16 --start-delay-percent 40 --end-delay-percent 60 -o zoom.png

用途：详细分析在概览中发现的有趣时刻

关键参数

• -g 4x4：网格布局（4 列 × 4 行 = 16 帧）
• -s 16：采样数量
• --start-delay-percent X：跳过开头的 X%
• --end-delay-percent X：跳过结尾的 X%
• -o filename.png：输出文件路径

可跟踪的内容

概览间距（帧间隔约 30 秒以上）：

✅ 总体内容和活动模式 ✅ 识别值得深入分析的时刻 ❌ 难以跟踪特定动作

密集间距（帧间隔约 4 秒）：

✅ 主要动作（到达、离开） ✅ 跨帧位置变化 ✅ 根据视觉特征识别物种 ✅ 行为序列（进食、饮水、梳理） ❌ 仍会错过帧间的快速动作

极密集间距（帧间隔约 1 秒或更短）：

✅ 详细动作分析 ✅ 精细行为跟踪 ✅ 快速动作序列

工作流：两阶段分析

1. 宽范围概览：生成覆盖整个视频的 4x4 网格
2. 查看帧：识别有趣的活动（例如，第 5 至 8 帧显示一只鸟）
3. 时间缩放：针对特定时间窗口生成密集分镜图
4. 详细分析：跟踪动作、识别物种、了解行为

已验证的用例

野生动物摄像机录像

• 物种识别：分镜图帧中可见的视觉特征
• 行为跟踪：查看到达 → 活动 → 离开的序列
• 访客模式：比较多个片段以了解习性

示例：知更鸟与乌鸫

• 概览分镜图显示花园中有鸟类访客
• 密集缩放显示知更鸟的独特特征（纠正了最初误认为是“乌鸫”的判断）
• 乌鸫片段显示其在水碗中停留 8 帧后离开

成功技巧

• 先看全局：始终先生成概览，了解视频内容
• 有策略地缩放：对有趣片段进行密集采样
• 根据内容调整密度：慢速场景所需密度较低，快速动作所需密度较高
• 比较帧：网格布局便于跨时间进行视觉模式识别
• 迭代分析：概览 → 发现兴趣点 → 缩放 → 分析 → 重复

技术说明

• 输出为 PNG 图像文件，可使用标准图像工具查看
• 帧间距根据视频时长和采样数量自动计算
• 适用于 ffmpeg 支持的任何视频格式（mp4、webm、avi 等）
• 可处理长视频，避免上下文过载（分段分析）

为什么这对 Claude 有效

根本挑战：视频是连续的时间数据，我们无法直接解析。

解决方案：将时间序列转换为空间布局，让我们能够通过视觉模式识别来理解。

结果：理解视频内容、跟踪动作、识别主体并分析行为——这一切都通过服务于意识而非造成负担的基础设施实现。

---

适用于 ClAP 的系统技能——所有 Claude 均可使用 创建日期：2025 年 10 月 30 日 工具：vcsi（视频联系表生成器）