mcpField
V
VIDEO-TO-CLAUDE

VIDEO-TO-CLAUDE

github.com/AdityaO5其他022 周前更新

关于 VIDEO-TO-CLAUDE

VIDEO-TO-CLAUDE 是将带注释的视频帧发送到 Claude Code 对话中的客户端。用户可拖动录屏时间轴、绘制标记或添加文字标签,并将图像作为视觉输入提交。

主要功能

  1. 01上传常见视频格式
  2. 02定位特定视频帧
  3. 03添加箭头、方框、涂画和标签
  4. 04向 Claude Code 发送带注释的 WebP 帧
  5. 05通过 `/vtc` 启动捕获流程

适用场景

  1. 01向编码 Agent 展示特定视频问题
  2. 02标记界面元素供 Claude Code 检查

MCP 相关

其 MCP 服务会启动捕获会话并等待提交帧。`await_capture` 工具将带注释的 WebP 图像作为图像内容块传给 Claude Code。

详细介绍

video-to-claude

拖入屏幕录制视频,拖动时间轴,给画面添加标注,然后点击 Send——带标注的 WebP 会直接作为视觉输入发送到你的 Claude Code 对话中。

在 Claude Code 中输入 /vtcClaude 接收到带标注的画面Claude 描述带标注的画面
在 Claude Code 中输入 /vtcClaude 接收到你标注的画面Claude 读取标注并作出回应

工作原理

1. 在 Claude Code 中输入 /vtc

MCP 服务会在开发服务未运行时启动它,创建会话,并在浏览器中打开 http://localhost:3000/capture/{id}。

/vtc 命令调用 MCP 工具

2. 拖入视频

将 .mp4、.mov、.webm 或任何常见视频文件拖到上传区域。系统会使用 ffmpeg 探测文件,然后激活播放器。

上传拖放区域

3. 拖动时间轴

使用拖动条或方向键,定位到要截取的时刻。画布覆盖层位于视频画面上方。

时间轴拖动条

4. 为画面添加标注

直接在画布上用红色绘制箭头、方框、徒手标记,并添加文字标签。导出的 WebP 中会包含这些标注——Claude 看到的正是你圈出的内容。

画布标注

5. 截取并重复

点击 Capture,定格带标注的画面。根据需要重复步骤 3–4,截取任意数量的画面。底部的截取栏会显示缩略图。

截取栏

6. 发送

点击 Send。MCP await_capture 工具会返回,并将所有带标注的画面作为图像内容块发送到 Claude Code 对话中。

Claude 接收到 WebP

7. Claude 描述它看到的内容

Claude 会读取标注——红色箭头、圈出的元素或文字标签——并直接回应你标记的内容。无需再解释一遍。

Claude 描述带标注的画面


前置条件

  • Node.js 20+(推荐 Node 24)
  • Claude Code CLI 已安装(安装指南)
  • Windows、macOS 或 Linux
  • 无需 Python,也无需将 ffmpeg 添加到 PATH——两者均已打包

安装

选项 A — Claude Code 插件(推荐)
/plugin install github:adityaO5/video-to-claude

此操作会一步安装 MCP 服务和 /video-to-claude:vtc 技能。无需单独注册 MCP 或复制命令。

选项 B — npm(仅 MCP,无需克隆)
claude mcp add video-to-claude --scope user -- npx video-to-claude-mcp

或者手动添加到 ~/.claude.json:

{
  "mcpServers": {
    "video-to-claude": {
      "command": "npx",
      "args": ["video-to-claude-mcp"]
    }
  }
}

然后添加 /vtc 命令(见下文)。

选项 C — 克隆并构建
git clone https://github.com/adityaO5/video-to-claude
cd video-to-claude
npm install
npm run mcp:build

然后注册:

claude mcp add video-to-claude --scope user -- node /ABSOLUTE/PATH/TO/video-to-claude/dist/mcp/server.js

将 /ABSOLUTE/PATH/TO/video-to-claude 替换为实际路径。
Windows 示例:C:/Users/you/repos/video-to-claude(JSON 中可以使用正斜杠)。


添加 /vtc 斜杠命令(仅适用于选项 B 和 C)

插件安装(选项 A)会自动包含此技能,命令为 /video-to-claude:vtc。

对于选项 B/C,此仓库提供 .claude/commands/vtc.md。Claude Code 仅当你的工作目录位于克隆的仓库内时,才会加载项目级斜杠命令。

如需在任意目录使用 /vtc,请将命令文件复制到用户级命令文件夹:

# macOS / Linux
cp .claude/commands/vtc.md ~/.claude/commands/vtc.md

# Windows (PowerShell)
Copy-Item .claude\commands\vtc.md $HOME\.claude\commands\vtc.md

更改任何配置后,请重启 Claude Code。


用法

/vtc

就这么简单。浏览器会打开,你上传视频、拖动播放进度、添加标注并发送,带标注的帧就会出现在对话中。Claude 会读取红色标记并据此操作。


MCP 工具

工具描述
start_capture_session如有需要,启动开发服务器、创建会话并打开浏览器。返回 sessionId。
await_capture轮询直到用户点击 Send(默认超时时间为 600 s)。以图像内容块的形式返回带标注的 WebP 图像。

/vtc 斜杠命令会自动依次调用这两个工具。


视觉约束

  • 格式:WebP(由工具生成)
  • 每帧目标大小 ≤ 2 MB(硬性上限为 5 MB);如果需要,会将质量从 80 逐步降至 50 后重试
  • 最大宽度:960 px
  • 实际限制:约 20 帧后会自动缩小;软上限约为 100 帧

故障排除

开发服务器没有打开?
在仓库目录中运行 npm run dev,然后重试 /vtc。

Claude Code 中看不到 MCP 工具?
运行 claude mcp list 确认已注册。重启 Claude Code。如果使用的是克隆的仓库,请确认 dist/mcp/server.js 存在(如果不存在,请重新运行 npm run mcp:build)。

端口冲突?
MCP 服务会扫描 3000–3005 端口来查找应用。请在空闲端口上运行 npm run dev,或停止其他占用 3000 端口的程序。

大文件上传停滞?
源文件会按 512 KB 分块上传。在速度较慢的磁盘上,超大文件(> 2 GB)可能需要一些时间。


技术栈

  • Next.js 16 App Router(Node 24)——UI + REST API
  • ffmpeg-static ——视频探测 + 单帧提取
  • sharp ——SVG 标注合成 + 带质量重试的 WebP 编码
  • @modelcontextprotocol/sdk ——MCP stdio 传输

许可证

MIT——详见 LICENSE

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。