klaket-mcp

🎬 Klaket

将任意视频转换为适用于大模型的数据。

klaket 是场记板——在片场同步声音和画面的工具。Klaket 将视频与大模型同步。

大模型能读文本。借助爬虫，网络变得可读；但作为人类知识最大宝库的视频，仍然难以访问。Klaket 为你解锁视频：提供视频 URL 或文件，即可获取结构化、带时间戳、适用于大模型的数据。

pip install klaket
klaket ingest "https://youtube.com/watch?v=..." --wait

{
  "transcript": [
    { "start": 14.32, "end": 19.80, "speaker": "S1", "text": "So let's deploy this with docker compose..." }
  ],
  "scenes": [
    { "start": 190.0, "end": 342.5, "keyframes": ["scene_004_01.jpg"] }
  ],
  "chapters": [...],
  "summary": "..."
}

功能特性

• 📝 转录文本 — 支持 约 100 种语言（自动检测）的语音转文字，带时间戳和逐词时间戳；可按任务选择模型（"model": "medium"）
• 🎙️ 播客也支持 — 提供音频文件或 URL（mp3、m4a……），Klaket 会跳过视觉处理阶段，并根据语音停顿生成章节
• 🗣️ 说话人分离 — 区分谁说了什么（S1/S2/…），本地运行且无需密钥（sherpa-onnx）
• 💬 字幕 — 可直接使用的 .srt / .vtt 文件，带说话人标签
• 🎞️ 场景检测 — 根据内容识别场景边界，并为每个场景提取关键帧
• 🔎 屏幕文字（OCR） — 逐场景读取幻灯片、终端内容和字幕，本地运行且无需密钥
• 🧩 单一 JSON 时间线 — 在一条时间线上对齐转录文本、场景、画面和屏幕文字
• 🔌 离线运行，无需 API 密钥 — 核心处理流程完全不调用大模型
• 🧠 可插拔模型层 — 可选通过本地 VLM（Ollama）或任何兼容 OpenAI 的端点生成场景描述（默认 KLAKET_VLM=off）
• 🤖 MCP 服务 — 让编码 Agent“观看”任意视频并查找其中的片段
• 🔍 视频内搜索 — GET /v1/jobs/{id}/search?q=… 可找到准确时刻
• ▶️ 交互体验场 — 控制面板可播放视频，点击即可跳转，并实时高亮转录文本

SDK

# pip install klaket
from klaket import Klaket
result = Klaket().process("https://youtube.com/watch?v=...", num_speakers=2)

// npm i klaket-sdk
import { Klaket } from "klaket-sdk";
const result = await new Klaket().process("https://youtube.com/watch?v=...");

让你的 Agent 拥有视觉能力

# Claude Code
claude mcp add klaket -- npx klaket-mcp   # KLAKET_API_URL defaults to localhost:8484

然后说：“观看 https://youtube.com/watch?v=… 并总结演示者运行的命令。” Agent 将获得 klaket_ingest、klaket_job_status 和 klaket_get_result 工具。

快速开始

git clone https://github.com/huseyinstif/klaket.git && cd klaket
docker compose up --build
# API on :8484, dashboard on :5180
curl -X POST localhost:8484/v1/ingest \
  -H "Content-Type: application/json" \
  -d '{"url": "https://youtube.com/watch?v=..."}'

就这么简单——无需 API 密钥，也不需要 GPU。make help 会列出开发快捷命令（make up、make test、make e2e）。

架构

client ──► Go API ──► Redis queue ──► Python worker (ffmpeg · faster-whisper · scenedetect)
                │                          │
            dashboard ◄────────────────────┘   /data/jobs/<id>/result.json

• apps/api — Go，任务编排
• apps/worker — Python，媒体处理流程
• apps/dashboard — React 控制面板

自托管与云服务

Klaket 是开源项目（AGPL-3.0），完全支持自托管。托管式云 API（按分钟计费并提供托管 GPU）正在规划中——欢迎加入候补名单（即将开放）。

状态

🚧 v0.7 — 尚未达到 1.0，快速迭代中。为仓库点亮星标，关注项目进展。

许可证

AGPL-3.0。SDK 和客户端将采用 MIT 许可证。

联系方式

由 Hüseyin Tıntaş 构建 — X (@1337stif) · LinkedIn