aryankeluskar-poke-video-mcp

视频查询 MCP 服务

一个 MCP（Model Context Protocol）服务，可通过自然语言查询提供视频搜索功能。此服务通过 Flashback 视频处理 API 搜索您的个人视频集。

功能

• 🔍 自然语言搜索：使用日常语言查询视频（例如，“有人在做演讲”“狗在公园里奔跑”）
• 🤖 AI 生成的描述：返回视频内容的详细描述，包括视觉分析和音频转录
• 🎬 视频片段：获取相关 30 秒视频片段的直接 URL
• ⚡ 快速且安全：使用有效期为 1 小时的预签名 URL，确保访问安全
• 📊 相关性评分：根据与查询的语义相似度对结果排序

设置

前提条件

• 您的 Flashback 账户用户 ID
• 访问 Flashback 视频处理系统的权限

配置

将此 MCP 服务连接到 Poke 或其他 MCP 客户端时，需要提供：

• user_id：您唯一的 Flashback 账户标识符（例如，4087fce3-3d86-4047-b35f-4004b4c19192）

开发

1. 运行服务：

   uv run dev
   

2. 交互式测试：

   uv run playground
   

使用示例

查询视频：

query_videos("person talking", max_results=5)

获取设置帮助：

get_setup_instructions()

工作原理

1. 视频处理：上传到 Flashback 的视频会自动：

   • 拆分为约 30 秒的片段
   • 使用 AI 分析视觉内容
   • 转录音频内容
   • 存储在可搜索的向量数据库中

2. 搜索流程：发起搜索时：

   • 将您的查询转换为嵌入向量
   • 系统查找匹配的视频片段
   • 返回相关片段的描述和 URL

3. 结果：每条结果包括：

   • 视频内容的 AI 生成描述
   • 相关性评分（0–1，数值越高表示相关性越高）
   • 用于查看视频片段的直接 URL
   • URL 的过期时间

API 参考

工具

query_videos(query: str, max_results: int = 10) -> str

根据自然语言查询搜索视频片段。

参数：

• query：您要查找内容的自然语言描述
• max_results：要返回的最大结果数（1–15）

**返回值：**包含视频描述和 URL 的格式化文本

get_setup_instructions() -> str

获取视频查询系统的详细设置说明。

**返回值：**完整的设置和使用指南

资源

• api://video-processing：底层视频处理 API 的相关信息

示例

# Search for specific content
query_videos("meeting discussion about deadlines")
query_videos("someone cooking in kitchen")
query_videos("red car driving")

# Limit results
query_videos("presentation", max_results=3)

故障排除

• 未找到结果：请确认视频已上传到您的 Flashback 账户
• “No description available”：较旧的视频可能需要重新处理才能生成完整描述
• URL 已过期：出于安全考虑，视频 URL 会在 1 小时后过期；如有需要，请重新获取结果

技术详情

• 后端：部署在 Modal 上的 FastAPI 服务
• 向量数据库：使用 Pinecone 进行语义搜索
• AI 模型：使用 Anthropic Claude 进行视觉分析，使用 OpenAI Whisper 进行转录
• 存储：使用 Google Cloud Storage 存储视频文件

部署

准备好部署了吗？将代码推送到 GitHub，然后部署到 Smithery：

1. 在 github.com/new 创建新仓库

2. 初始化 git 并推送到 GitHub：

   git add .
   git commit -m "Video Query MCP Server 🎬"
   git remote add origin https://github.com/YOUR_USERNAME/YOUR_REPO.git
   git push -u origin main
   

3. 在 smithery.ai/new 将服务部署到 Smithery