关于 Boson Video
Boson Video 从视频生成带时间戳的转录、摘要和屏幕文字,并依据画面回答问题,适合浏览长篇演讲、课程或财经视频,也可将视频文档提供给 AI 客户端。
主要功能
- 01带时间戳的转录与摘要
- 02含画面和文字的场景带
- 03识别屏幕文字
- 04答案引用视频时刻
- 05本地网页与命令行流程
适用场景
- 01快速浏览长篇课程
- 02查找回答问题的视频片段
- 03阅读中文或英文视频内容
- 04对照画面核查摘要内容
MCP 相关
提供本地 MCP 服务,让 AI 客户端打开视频、读取转录、检查全分辨率画面,并通过时间点引用核查内容。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
9收录的工具列表 · 更新于 2 周前
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| video | string | 是 |
详细介绍
Boson-Video
无需看完整个视频,也能抓住重点。 粘贴 YouTube 链接或拖入视频文件。摘要、文字稿和屏幕文字中的每一行都会标注其来源时间;提问时,答案会从视频中提取并与视频内容核对。

- 时间带: 用一条带子展示整个视频(场景、章节、重播次数最多的片段)。悬停即可查看任意秒的画面和文字。
- 摘要: 按章节展示并附上对应画面;每句话都有时间标记并经过核对(✓ ? ✗)。
- 文字稿: 原文下方附有英文翻译,解释专业术语,并识别屏幕文字。
- 提问: 答案会引用对应片段并展示画面;视频中没有提及的内容会标记为背景信息。
- 使用自己的 AI: 将同一份文档作为 MCP 插件用于 Claude、Cursor、Codex 等。
专为长篇演讲、讲座和金融视频打造,适合那些你只懂一些的语言(目前支持中文和英文)。
在自己的 AI 中使用
在 Claude Code 中,只需一行(由 uv 运行;无需安装其他内容):
claude mcp add boson-video -- uvx boson-video mcp
Claude Desktop、Cursor 和 Codex 使用相同的命令 uvx boson-video mcp,在其 MCP 设置中配置即可;claude.ai 和 ChatGPT 则需要网址:查看各应用的设置方法。
然后粘贴 YouTube 链接并提问。你的 AI 会打开视频、读取文字稿、以全分辨率查看关键画面,并核对回答中的说法,为每条说法标注对应时间。无需密钥,所有操作都在你的电脑上运行。在支持交互页面的应用(Claude Desktop、claude.ai、ChatGPT、Cursor)中,视频页面会直接在聊天窗口打开,你在那里提出的问题也会发送给你的 AI。
运行页面
uvx boson-video web # http://127.0.0.1:8770; the first run prints your invite code
两个可选模型能提供更完整的功能。没有它们的密钥,仍可查看场景、文字稿并进行搜索。
- 撰写模型:撰写摘要、英文内容和术语说明。默认使用 Inception 提供的 Mercury(
INCEPTION_API_KEY),也可使用任何兼容 OpenAI 的模型(BOSON_WRITER_BASE_URL、BOSON_WRITER_MODEL、BOSON_WRITER_API_KEY)。 - 核对模型:核对每句话是否符合实际说法,并查找能回答问题的片段:TypeSafe 提供的 Jev(
TYPESAFE_API_KEY)。
将密钥放入你启动程序所在文件夹中的 .env 文件,或放入 ~/.boson-video/.env;服务启动时会提示缺少哪个密钥。默认关闭:设置 OPENAI_API_KEY 和 BOSON_SCREEN_CHECK=1 后,无法通过文字核实的句子也会与屏幕画面进行核对(使用 OpenAI 的 Decisions API,每个视频约花费一美分)。
已测试视频
均为实测,每个视频运行一次,除非注明范围。Mac:搭载 Apple 转录器的 M5 MacBook。Windows:一台 12 线程笔记本电脑,在 CPU 上运行 SenseVoice 或 Parakeet。完整表格:docs/measured.md。
| 视频 | 时长 | 场景图 | 字数 | 转录错误¹ | 屏幕文字 | 摘要 ✓ |
|---|---|---|---|---|---|---|
| Money or Life 美股频道,Meta 和 AI(中文,出镜讲解) | 24:53 | 1.3 s | 13.8 s(Mac) | 无人工字幕 | — | 13 / 13 |
| Money or Life 美股频道,AI 药物研发(中文,幻灯片) | 28:24 | 1.1 s | 18.5 s(Mac) | 未评分 | 读取了 36 个片段 | 15 / 16 |
| 程序员老王,LLM 消融(中文,动画图表) | 11:35 | — | 10.0 s(Windows) | 未评分 | 88 个片段;在 85 个片段中区分出烧录字幕 | 21 of 22 到 22 of 23(多次运行) |
| 陳永儀,TEDxTaipei(中文,演讲) | 14:29 | — | 7.1 s(Mac) | 5.3% 字符(Mac),4.8%(SenseVoice) | — | 14 / 14 |
| Ken Robinson,TED(英文,演讲) | 20:06 | — | 9.9 s(Mac) | 10.0% 单词(Mac),10.5%(Parakeet) | — | 22 / 25 |
| Sean's AI Stories,Agent 可观测性(英文,屏幕录制) | 20:48 | 1.5 s | 13.2 s(Mac) | 未评分 | 无:YouTube 拒绝提供完整分辨率 | 23 / 26 |
| Andrej Karpathy,LLM 入门(英文,幻灯片) | 59:48 | 1.6 s | 30.5 s(Mac) | 仅有自动字幕 | 20 张幻灯片中有 19 张识别正确 | 22 / 23 |
| Rick Astley,Never Gonna Give You Up(快速剪辑) | 3:33 | 0.7 s | — | — | — | — |
¹ 与人工字幕进行比较(scripts/accuracy.py);约一半的英文错误是字幕中省略的语气词。
摘要 ✓:检查器根据实际讲述内容确认无误的摘要句子(Jev,数字通过代码比较)。
命令行
uvx boson-video <link | id | file> # build a video: scenes, words, screen text, summary
uvx boson-video ask <video> "question" # the moment that answers it
uvx boson-video models # fetch the local speech models now instead of on first use
从克隆的仓库开始:uv sync,然后运行 uv run boson-video …;uv run pytest 可运行测试(离线)。
更多信息
- docs/workflow.md:工作流的设计方式:阶段、文档及其用途
- docs/how-it-works.md:处理流水线、YouTube 允许的操作及其限制
- docs/DIRECTION.md:我们正在构建的内容、里程碑及决策
- docs/timeline-format.md:面向其他工具的文档格式
- CONTRIBUTING.md:如何设置、测试并提出更改
- AGENTS.md:编码 Agent 指南
采用 MIT 许可。YouTube 的条款不允许产品自动访问,因此所有涉及 YouTube 的操作都在你自己的电脑上运行。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。