klaket-mcp

🎬 Klaket

あらゆる動画をLLM対応データに変換します。

klaket はカチンコのことです。映画の撮影現場で音声と映像を同期させる道具です。Klaket は動画とLLMを同期させます。

LLMはテキストを読み取ります。スクレイパーによってウェブ上の情報は読み取れるようになりましたが、人類の知識が最も多く蓄積された動画は、いまだにアクセスしにくいままです。Klaketはそれを解放します。動画のURLまたはファイルを渡すと、構造化され、タイムスタンプ付きのLLM対応データが返されます。

pip install klaket
klaket ingest "https://youtube.com/watch?v=..." --wait

{
  "transcript": [
    { "start": 14.32, "end": 19.80, "speaker": "S1", "text": "So let's deploy this with docker compose..." }
  ],
  "scenes": [
    { "start": 190.0, "end": 342.5, "keyframes": ["scene_004_01.jpg"] }
  ],
  "chapters": [...],
  "summary": "..."
}

機能

• 📝 文字起こし — 約100言語に対応したタイムスタンプ付き音声テキスト化（言語は自動検出）。単語単位のタイムスタンプにも対応し、ジョブごとにモデルを選択できます（"model": "medium"）
• 🎙️ ポッドキャストにも対応 — 音声ファイル／URL（mp3、m4aなど）を渡すと、Klaketは映像処理の段階を省略し、音声の間からチャプターを生成します
• 🗣️ 話者ダイアライゼーション — 誰が何を話したかを判別します（S1/S2/...）。ローカルで動作し、キーは不要です（sherpa-onnx）
• 💬 字幕 — 話者ラベル付きの、そのまま使える.srt／.vttファイルを生成します
• 🎞️ シーン検出 — 内容に応じたシーン境界と、シーンごとのキーフレームを検出します
• 🔎 画面上のテキスト（OCR） — シーンごとにスライド、ターミナル、キャプションを読み取ります。ローカルで動作し、キーは不要です
• 🧩 1つのJSONタイムライン — 文字起こし、シーン、フレーム、画面上のテキストを1つのタイムライン上で同期します
• 🔌 オフラインで動作し、APIキー不要 — コアパイプラインではLLM呼び出しを一切行いません
• 🧠 差し替え可能なモデルレイヤー — ローカルVLM（Ollama）またはOpenAI互換エンドポイントを使った、オプションのシーン説明機能を利用できます（デフォルトではKLAKET_VLM=off）
• 🤖 MCP サーバー — コーディングエージェントがあらゆる動画を「見て」、その中から特定の場面を見つけられるようにします
• 🔍 動画内検索 — GET /v1/jobs/{id}/search?q=…で該当する場面を正確に見つけられます
• ▶️ プレイグラウンド — ダッシュボードで動画を再生できます。クリックで該当箇所に移動でき、文字起こしの該当箇所がリアルタイムでハイライトされます

SDK

# pip install klaket
from klaket import Klaket
result = Klaket().process("https://youtube.com/watch?v=...", num_speakers=2)

// npm i klaket-sdk
import { Klaket } from "klaket-sdk";
const result = await new Klaket().process("https://youtube.com/watch?v=...");

エージェントに目を与える

# Claude Code
claude mcp add klaket -- npx klaket-mcp   # KLAKET_API_URL defaults to localhost:8484

次のように依頼します：「https://youtube.com/watch?v=… を見て、プレゼンターが実行したコマンドを要約してください。」 エージェントはklaket_ingest、klaket_job_status、klaket_get_resultツールを利用できます。

クイックスタート

git clone https://github.com/huseyinstif/klaket.git && cd klaket
docker compose up --build
# API on :8484, dashboard on :5180
curl -X POST localhost:8484/v1/ingest \
  -H "Content-Type: application/json" \
  -d '{"url": "https://youtube.com/watch?v=..."}'

これで完了です。APIキーもGPUも必要ありません。make helpで開発用のショートカット（make up、make test、make e2e）を確認できます。

アーキテクチャ

client ──► Go API ──► Redis queue ──► Python worker (ffmpeg · faster-whisper · scenedetect)
                │                          │
            dashboard ◄────────────────────┘   /data/jobs/<id>/result.json

• apps/api — Go、ジョブのオーケストレーション
• apps/worker — Python、メディアパイプライン
• apps/dashboard — React ダッシュボード

セルフホストとクラウド

Klaketはオープンソース（AGPL-3.0）で、完全にセルフホスト可能です。GPU管理込みの従量課金制クラウドAPIを提供予定です。ウェイトリストにご登録ください（近日公開）。

ステータス

🚧 v0.7 — 1.0リリース前の段階で、開発を活発に進めています。リポジトリにスターを付けて、進捗をご確認ください。

ライセンス

AGPL-3.0。SDKとクライアントはMITライセンスの予定です。

お問い合わせ

Hüseyin Tıntaşが開発 — X (@1337stif) · LinkedIn