关于 Video Reader MCP
Video Reader MCP(README 中标识为 Cue)是面向 AI Agent 的本地视频 MCP 服务,可检索并引用带时间戳的视频内容。它默认提供容器、流、章节和内嵌字幕信息,场景与帧需另行请求。
主要功能
- 01读取视频元数据、流、章节和字幕
- 02搜索内嵌字幕并返回时间戳
- 03按时间戳渲染、裁剪或 OCR 帧
- 04可选检测场景边界
- 05引用来源哈希与字幕定位信息
适用场景
- 01查找视频中的特定引述
- 02总结带章节或字幕的会议视频
- 03定位演示中展示代码的画面
- 04查找演示视频中的场景变化
MCP 相关
该 MCP 服务向客户端提供 read_video、search_video 和 video_evidence 工具,用于读取本地视频、检索字幕并获取指定时间点的帧证据。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
1收录的工具列表 · 更新于 2 周前
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| sources | array | 是 | 要读取的一个或多个本地视频源。 |
| include_scenes | boolean | 否 | 使用 ffmpeg 场景滤镜检测场景边界。默认为 true。 |
| include_streams | boolean | 否 | 包含来自 ffprobe 的流元数据。默认为 true。 |
| scene_threshold | number | 否 | ffmpeg gt(scene,threshold) 的场景检测灵敏度。默认值为 0.4。 |
| include_chapters | boolean | 否 | 存在章节标记时将其包含在内。默认值为 true。 |
| include_subtitles | boolean | 否 | 可用时提取内嵌字幕。默认值为 true。 |
| include_transcript | boolean | 否 | 如果已安装适配器,则尝试可选的本地 ASR 转录。默认值为 false。 |
详细介绍
已合并到 anymd(2026-09-25)。 anymd 可将 PDF、Office 文件、EPUB、网页、图像和视频转换为整洁的 Markdown,供 AI Agent 使用:
npx -y @sylphx/anymd。此仓库已归档。
Cue
提供带时间戳级证据的视频回答
Cue 为 Agent 提供可搜索和引用的本地视频时间线。默认读取会返回容器元数据、流、章节和内嵌字幕。 场景和帧需单独获取。
npx -y @sylphx/cue
适用于 Claude Code:
claude mcp add cue -- npx -y @sylphx/cue
读取本地视频
{
"sources": [{ "path": "/absolute/path/to/demo.mp4" }]
}
此调用使用 fast 配置。它会返回容器元数据、流、章节和内嵌字幕。
它不会检测场景、提取帧或运行语音识别。
然后询问:
“哪个章节讲到了定价变更?”
Cue 会返回带有 timestamp_ms 和源哈希的章节及字幕定位信息。它不会编造转录文本。引文搜索仅匹配内嵌字幕。获得时间戳后,可使用 video_evidence 渲染或裁剪帧。
Cue 适用的任务
| 向 Agent 提问 | Cue 返回 |
|---|---|
| “找到这段引文。” | 内嵌字幕中带时间戳的匹配项(如果存在字幕) |
| “总结这场会议。” | 章节和内嵌字幕 |
| “代码在哪儿显示?” | video_evidence 在已知时间戳处提取的一帧 |
| “这个演示有哪些变化?” | 当 profile 为 quality 或设置了 include_scenes 时,返回场景边界 |
| “给我有用的片段。” | 章节、内嵌字幕、警告和缺失项 |
工具概览
| 工具 | 用途 |
|---|---|
read_video | 默认 fast 配置:容器元数据、流、章节和内嵌字幕。场景检测需选择启用。 |
search_video | 搜索内嵌字幕条目。不会运行语音识别。 |
video_evidence | 指定后续操作:在某个时间戳处渲染、裁剪或 OCR 一帧 |
可预测的默认行为
- 未指定
profile时使用fast:容器元数据、流、章节和内嵌字幕。不检测场景、不提取帧、不进行语音识别。 profile为quality时会添加 ffmpeg 场景检测。不会提取帧或运行语音识别。include_keyframes和include_transcript默认关闭。在已发布的服务上启用任意一项都会返回警告和空数组。- OCR 由
video_evidence执行。 - 无需云端视频 API 或逐帧视觉模型。
- 缺少 ffprobe 或内嵌字幕时会报告为缺失项,不会猜测补全。
Agent 为何信赖 Cue
每项声明都可以追溯到 timestamp_ms、流索引、字幕范围或源哈希。只有在使用 video_evidence 后才会提供帧索引。
配套 MCP 工具
| 产品 | 用途 |
|---|---|
| Citra | 提供带页面级证据的 PDF 回答 |
| Iris | 提供图像事实和像素证据 |
| Spine | 分析代码仓库架构和影响 |
| Locus | 精确检索代码块 |
| Lookout | 提供带来源摘录的网络研究 |
每款产品均可独立使用。只需安装 Agent 所需的工具。
开发
bun install
bun run build
bun test
cargo test
bun run benchmark:public-proof
bun run benchmark:release-gate
许可证
MIT
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。