openshorts

OpenShorts.app

开源 AI 视频平台，集 3 种工具于一体：片段生成器、**AI Shorts（由 AI 演员出演的 UGC 视频）**和 YouTube Studio。

_{这是 OpenShorts 的实际输出，并非样片。来源：Turn the Tables with Dan and Shoshana Jordan，Heritage of Faith，采用 CC BY 许可。}

画面中有两个人？OpenShorts 会将他们上下排列，而不是缩小宽屏画面；字幕放在分界线上，不会遮挡任何人；镜头切到一个人时，则会切换回人脸跟踪裁剪。AI 会为每段视频选择布局，无需配置。

两种运行方式，使用的软件完全相同：

	自托管（此代码仓库）	托管于 openshorts.app
价格	永久免费，MIT 许可	免费套餐，付费套餐起价 $12/月
速度	CPU 上处理 8 分钟视频需 5 至 8 分钟	使用我们的 NVIDIA GPU 约需 50 秒
API 密钥	自备 Gemini、ElevenLabs、fal.ai 的密钥	已包含 Gemini，无需设置
水印 / 限制	永无水印或限制	免费套餐带水印且每月限 20 分钟，付费套餐两者皆无
设置	Docker、8GB 以上 RAM、下载模型	登录并粘贴链接
MCP / 面向 Agent 的 API	使用相同的 /mcp 端点，但仅在你的机器运行时可用	始终在线的端点：mcp.openshorts.app，一键获取 API 密钥
你的数据	你的服务器	我们的服务器

自托管确实免费，而且永远免费。你需要提供一台机器、自备 API 密钥，并花时间让服务持续运行。托管套餐是为了支付硬件和密钥成本，而不是为了解锁功能。

https://github.com/user-attachments/assets/b45fa983-16b4-48b5-ac5b-a267836b9ad9

视频教程：工作原理

点击上方图片观看完整演示。

---

一个平台，3 种工具

1. 片段生成器

将长视频——播客、网络研讨会、直播、视频博客、访谈——转换成适合在 TikTok、Instagram Reels 和 YouTube Shorts 发布的 9:16 短视频。

2. AI Shorts（UGC 视频创作工具）

为任何产品或企业生成由 AI 演员出演的营销视频。无需摄像机、摄影棚或网红预算，只需描述你的产品或粘贴网址。

• 两种成本模式：低成本（约 $0.65/条视频）和高级（约 $2/条视频）
• 适用于任何企业：SaaS、餐厅、电商、教练服务、本地商家
• AI 生成的演员，支持口型同步、配音、B-roll 和 TikTok 风格字幕
• 可从共享头像库中选择，也可上传自己的照片
• 直接发布到 TikTok、Instagram 和 YouTube

3. YouTube Studio

免费的全套 AI YouTube 工具包：缩略图、标题、说明和直接发布。

• AI 缩略图生成器，支持叠加人脸
• 10 条热门标题建议，并支持通过聊天优化
• 自动生成说明，并附带章节时间戳
• 一键发布到 YouTube

UGC 视频图库

所有生成的视频和头像都会保存到公开图库中，每个视频都有专属 SEO 页面。

• 公开图库页面，悬停即可播放（/gallery）
• 独立的 SEO 视频页面，包含 og:video 元标签（/video/{id}）
• 面向搜索引擎的 JSON-LD 结构化数据
• 带提示词历史记录的头像图库

---

主要功能

短视频片段生成器

• 热门时刻检测：Google Gemini 3.1 Flash-Lite 分析转录文本和场景边界，检测 3-15 个具有高传播潜力的时刻
• 可完全在本地运行：将 LLM_BASE_URL 指向 Ollama、LM Studio、vLLM 或任何兼容 OpenAI 的服务，即可使用自己的模型挑选时刻，无需 Google 密钥（参见不使用 Google 密钥运行）
• 智能 9:16 裁剪：针对每个场景进行 AI 重新取景——TRACK 模式（MediaPipe + YOLOv8 人脸跟踪）、GENERAL 模式（模糊背景）、SPLIT 模式（上下排列两位说话者，字幕位于分界处）和 SCREENCAST 模式（屏幕画面置于讲解者上方）；由 Gemini 按视频选择布局，也可在控制面板中强制指定
• 自动字幕：使用 faster-whisper 生成带词级时间戳的字幕，设置样式后烧录到片段中
• AI 语音配音：集成 ElevenLabs，支持 30 多种语言和语音克隆（自备 ElevenLabs 密钥，也可在云端使用）
• 钩子文字叠加层：AI 生成吸引注意力的文字叠加层
• AI 视频特效：Gemini 生成 FFmpeg 滤镜，打造专业特效

AI 短视频工作流

1. 分析：抓取网站 URL 并进行网络调研，或根据手动描述生成内容
2. 脚本：AI 撰写热门脚本（钩子 - 问题 - 解决方案 - CTA 格式）
3. 演员：使用 Flux 2 Pro 生成 AI 演员，或从共享图库中选择
4. 语音：ElevenLabs TTS 旁白（英语/西班牙语，男声/女声）
5. 视频：生成口播视频（Hailuo 2.3 Fast 图生视频 + VEED Lipsync）
6. B-roll：使用 Ken Burns 效果生成 AI 视觉素材
7. 合成：使用 FFmpeg 进行最终合成，并添加字幕和钩子叠加层
8. 发布：通过 Upload-Post 直接发布到 TikTok、Instagram Reels、YouTube Shorts

YouTube Studio

• AI 生成标题，提供 10 个热门选项
• 通过交互式聊天优化标题
• 使用自定义人脸和背景生成 AI 缩略图
• 根据 Whisper 转录文本自动生成带章节时间戳的说明
• 通过 Upload-Post 直接发布到 YouTube

社交平台自动发布

• 一键发布到 TikTok、Instagram Reels 和 YouTube Shorts
• 安排上传时间，可选择任意日期和时间——规划内容日历，让 OpenShorts 自动发布
• 多平台分发——通过单一界面一次性发布到所有社交网络
• 集成 Upload-Post，支持异步上传

基础设施

• S3 云端备份（私有存储桶用于片段，公开存储桶用于图库/头像）
• 由 FastAPI 提供 SEO 图库页面，并包含 JSON-LD 结构化数据
• 所有用户共享头像图库
• 支持配置并发数的异步任务队列

---

适用对象

• 内容创作者——自动将长视频剪辑成短视频，并一次性发布到所有平台
• 营销机构——大规模为客户生成 UGC 视频，无需演员或摄影棚
• SaaS 创业者——只需一个 URL，即可制作产品演示和营销短视频
• 电商品牌——为 TikTok Shop、Instagram、YouTube 制作由 AI 演员出演的产品视频
• 本地商家——餐厅、健身房、房地产、教练等，以实惠的方式开展视频营销
• 开发者——自行托管、自定义工作流，并通过 API 集成

---

AI Shorts 精选

使用 OpenShorts AI Shorts 生成的视频——无需摄像机、工作室或演员：

面向投资者的生物黑客技术 · 低成本	开发者的秘密武器 · 低成本	AI Agent 的秘密 · 高级版

在 openshorts.app/gallery 浏览所有视频

---

OpenShorts 与竞品对比

功能	OpenShorts	Opus Clip	CapCut	Vizard	Klap	Descript
价格	免费自托管 托管版起价 $12/月	$15-29/月	$8/月	$15-20/月	$23-63/月	$24-65/月
可自托管	是	否	否	否	否	否
开源	是	否	否	否	否	否
水印	自托管版永无水印 仅托管版免费方案有水印	免费版	部分方案	免费版	免费版	免费版
上传限制	自托管版无限制 托管版按方案限制	10-30GB	按额度计费	60 分钟-10 小时	10-100 个视频/月	60 分钟-40 小时
AI 片段检测	是	是	是	是	是	是
智能 9:16 画面重构	是	是	是	是	是	否
自动字幕	是	是	是	是	是	是
语音配音（30 多种语言）	是，需使用你的 ElevenLabs 密钥	否	仅 Pro 版	否	仅 Pro 版	仅 Business 版
AI UGC 演员	是	否	否	否	否	否
AI 视频特效	是	否	是	否	否	否
钩子文案叠加层	是	否	否	否	否	否
YouTube Studio（标题、缩略图）	是	否	否	否	否	否
社交平台自动发布	是	仅 Pro 版	仅 TikTok	仅付费版	仅付费版	否
定时上传	是	仅 Pro 版	否	仅付费版	仅付费版	否
数据隐私	你的服务器	对方的云端	对方的云端	对方的云端	对方的云端	对方的云端
兼容本地 LLM（Ollama）	是	否	否	否	否	否

---

费用是多少？

自托管 OpenShorts 免费。你提供运行设备，只需为使用的 AI API 付费，而且大多数服务都提供宽松的免费额度：

服务	免费额度	付费价格	用途
Google Gemini	免费试用，额度充足	每个 10 分钟视频 < $0.01	病毒式传播时刻检测、脚本生成、网络研究
本地 LLM（Ollama、LM Studio、vLLM...）	免费，使用你的硬件	$0	替代 Gemini 检测病毒式传播时刻（LLM_BASE_URL）
fal.ai	按使用量付费	每个 AI Short 约 $0.50-1.50	演员生成、对口型视频、唇形同步
ElevenLabs	提供免费额度	按使用量付费	配音、语音配音
Upload-Post	每月可向所有平台免费发布 10 次（无需信用卡）	按使用量付费	自动发布到 TikTok、Instagram、YouTube
AWS S3	可选	约 $0.023/GB	片段和图库的云端备份

总之： 使用 Gemini 几乎可以免费剪辑视频，并通过 Upload-Post 每月零成本向所有社交平台发布 10 个视频。

不想自己运行这些服务？ openshorts.app 在我们的硬件上运行同一款软件：我们的 NVIDIA GPU 约 50 秒即可剪辑 8 分钟的视频，而普通 CPU 通常需要 5 到 8 分钟；其中包含 Gemini 密钥，并且已配置好自动发布。免费方案每月有 20 分钟额度，带水印且无需信用卡；付费方案起价为 $12/月，可处理 100 分钟且无水印。

要求

• Docker & Docker Compose
• Google Gemini API Key（免费 — 在此获取）— 所有 AI 功能都需要
• fal.ai API Key（按使用量付费）— AI Shorts（演员生成、视频、口型同步）需要
• ElevenLabs API Key（免费套餐）— 配音/配音翻译需要
• Upload-Post API Key（免费套餐）— 直接发布到社交平台需要

---

开始使用

1. 克隆

git clone https://github.com/mutonby/openshorts.git
cd openshorts

2. 配置（可选）

cp .env.example .env
# Edit .env with your AWS keys for S3 backup

3. 启动

docker compose up --build

4. 打开仪表板

访问 http://localhost:5175

1. 前往 Settings 并输入 API 密钥（Gemini、fal.ai、ElevenLabs、Upload-Post）
2. Clip Generator：上传长视频以生成病毒式短视频
3. AI Shorts：描述你的产品或粘贴 URL，以生成 UGC 营销视频
4. YouTube Studio：为 YouTube 生成缩略图、标题和描述
5. UGC Gallery：浏览所有生成的视频和头像

5. GPU 加速（可选，NVIDIA）

默认镜像仅支持 CPU。使用 NVIDIA 显卡（任何支持 NVENC 的显卡，例如 RTX 4060），剪辑一段 8 分钟的视频大约只需一分钟，而不是 5 到 8 分钟。这并非虚拟机意义上的直通 — 容器只是获得了访问主机 GPU 的权限。

**主机：**安装 NVIDIA 驱动（nvidia-smi 必须可用）和 NVIDIA Container Toolkit：

sudo nvidia-ctk runtime configure --runtime=docker && sudo systemctl restart docker
docker run --rm --gpus all nvidia/cuda:12.4.0-base-ubuntu22.04 nvidia-smi   # sanity check

在 Windows 上，使用带有 WSL2 后端的 Docker Desktop 和 Windows NVIDIA 驱动；无需在 WSL 中安装驱动。

**Compose：**在 docker-compose.yml 旁创建 docker-compose.override.yml（会自动加载）。GPU: "1" 会向镜像添加 cuBLAS/cuDNN 和 onnxruntime-gpu（约 2 GB）；NVENC 需要 video。

services:
  backend:
    build:
      context: .
      args:
        GPU: "1"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu, video]

.env：

WHISPER_MODEL=large-v3-turbo
WHISPER_DEVICE=cuda
WHISPER_COMPUTE=float16
FFMPEG_ENCODER=auto           # probes h264_nvenc at startup, falls back to x264
TRANSCRIBE_BACKEND=parakeet   # optional: ~2x faster than whisper, 25 European languages, auto-falls back to whisper
ASR_GPU_CONCURRENCY=1

验证：

docker compose up --build -d
docker exec openshorts-backend nvidia-smi -L
docker exec openshorts-backend ffmpeg -hide_banner -f lavfi -i testsrc=size=256x256:rate=1 -frames:v 1 -c:v h264_nvenc -f null -

首次运行任务时，后端日志会报告所选编码器和转录设备。whisper 中出现 CUDA 错误（例如 VRAM 耗尽）时，会自动在 CPU 上重试一次。8 GB VRAM 足以运行 large-v3-turbo fp16 和检测模型。

---

6. 不使用 Google 密钥运行（本地 LLM，可选）

剪辑流水线中唯一的云端调用是时刻选择器：它会将转录文本（绝不会发送视频）发送给 Gemini。将其指向任意兼容 OpenAI 的服务端，即可让整个流水线在本机运行：

# .env
LLM_BASE_URL=http://host.docker.internal:11434/v1   # Ollama on the host
LLM_MODEL=qwen2.5:14b                                # any chat model that follows instructions
# LLM_API_KEY=...                                    # only if your server checks one (vLLM --api-key, OpenRouter)

支持 Ollama、LM Studio、vLLM、llama.cpp server、LocalAI 和 OpenRouter。 设置此项后，仪表板不再要求 Gemini 密钥。需要注意两点：

• **上下文长度。**一次评分调用包含三个转录文本窗口（约 2-3k 个 token），详细调用最多包含十个（长播客约 5k 个 token）。Ollama 默认上下文长度为 4096 个 token，会静默截断，因此运行时请设置 OLLAMA_CONTEXT_LENGTH=16384（或在 Modelfile 中设置 num_ctx）；只有在上下文长度允许时，才将 LLM_SCORE_BATCH 提高到 3 以上。7-8B 模型能可靠地返回有效 JSON，3B 模型则不行。
• **哪些功能仍需要 Gemini。**任何需要查看帧的功能：自动布局选择器（AUTO_LAYOUT）、屏幕内容检测器，以及静音视频（没有可供剪辑的语音）。没有 Gemini 密钥时，这些功能会回退到普通的人脸追踪裁剪；静音视频则会失败并显示相应提示。在 LLM_BASE_URL 旁添加密钥即可同时使用两者。

技术流水线

Clip Generator

1. 导入 — 上传本地视频（或通过 yt-dlp 从可自托管的 URL 导入）
2. 转录 — faster-whisper，提供词级时间戳
3. 检测 — PySceneDetect 检测场景边界
4. 分析 — Gemini 识别 3-15 个病毒式热门片段（每段 15-60 秒）
5. 提取 — 使用 FFmpeg 精确剪辑片段
6. 重新构图 — AI 纵向裁剪并追踪主体
7. 效果 — 字幕、吸引点、AI 视频效果
8. 发布 — S3 备份 + Upload-Post 社交平台分发

AI 短视频

1. 分析 — 抓取网站内容 + 使用 Gemini 进行网络调研（或手动描述）
2. 脚本 — Gemini 生成带分段的爆款脚本
3. 演员 — 使用 Flux 2 Pro 生成肖像（或从图库选择／上传）
4. 语音 — ElevenLabs TTS 配音
5. 视频 — 使用 Hailuo 2.3 Fast 进行图生视频 + VEED Lipsync（低成本），或使用 Kling Avatar v2（高级版）
6. B-roll — 使用 Flux 2 Pro 生成图像 + Ken Burns 效果
7. 合成 — 使用 FFmpeg 组合视频，添加 ASS 字幕和吸睛叠加效果
8. 图库 — 上传到公开的 S3，并添加用于 SEO 页面的元数据
9. 发布 — 使用 Upload-Post 发布到 TikTok、Instagram、YouTube

---

自动化：MCP 服务、REST API 和 Webhook

你不需要使用控制面板。AI Agent 和脚本都可以调用整个工作流。

MCP 服务（/mcp）

OpenShorts 内置了 MCP 服务，因此 Claude、ChatGPT、Cursor 或任何 MCP 客户端都可以为你剪辑并发布视频：

claude.ai 和 ChatGPT：将 https://mcp.openshorts.app/mcp 粘贴为自定义连接器（Settings → Connectors），并在 openshorts.app 上批准访问。该服务使用 OAuth 2.1 和动态客户端注册，因此无需复制密钥；连接会显示在 Account → API keys 下，撤销连接即可断开应用。

# Claude Code / Cursor / n8n (hosted): create an API key in your account page
claude mcp add --transport http openshorts https://mcp.openshorts.app/mcp \
  --header "Authorization: Bearer osk_..."

# Self-hosted (no key needed, BYOK rules apply):
claude mcp add --transport http openshorts http://localhost:8000/mcp

# Self-hosted without running the web server: same tools over stdio
claude mcp add openshorts -- python mcp_stdio.py

工具：process_video（URL 或 upload_id；如果来源已有字幕，则设置 captions: false；设置 auto_hook: false 可跳过开场钩子，默认会像控制面板一样将其烧录到视频中）、create_upload（将本地文件交给 Agent：先 PUT 文件字节，再进行处理）、get_job_status、list_clips、get_quota、add_subtitles、recut_clip、publish_clip。例如，只需向你选择的 Agent 输入 “剪辑这段播客，并将效果最好的 3 段安排发布到 TikTok”。

REST API + API 密钥

托管账户可以生成 osk_... API 密钥（账户页面）。密钥在任何地方都以你的身份进行身份验证——使用相同的套餐、相同的时长额度，并由同一账户拥有任务：

curl -X POST https://api.openshorts.app/api/process \
  -H "Authorization: Bearer osk_..." -H "Content-Type: application/json" \
  -d '{"url": "https://youtube.com/watch?v=...", "acknowledged": true,
       "webhook_url": "https://your-server.com/hooks/openshorts"}'

任何实例的 /docs（OpenAPI）均提供交互式文档。

完成 Webhook

向 POST /api/process 传入 webhook_url（以及可选的 webhook_secret），任务达到终止状态时就会收到且只会收到一次 POST——无需在 n8n、Zapier 或 cron 工作流中循环轮询：

{"event": "job.completed", "job_id": "…",
 "clips": [{"index": 0, "title": "…", "video_url": "…", "download_url": "…"}]}

设置密钥后，请求正文会附带签名：X-OpenShorts-Signature: sha256=<hmac-sha256(body)>。

CLI

在终端中使用相同的 API，无需任何依赖（cli/）：

pip install openshorts   # or: uvx openshorts

export OPENSHORTS_API_KEY=osk_...              # hosted
# export OPENSHORTS_API_URL=http://localhost:8000   # self-hosted, no key

openshorts process "https://youtube.com/watch?v=..." --wait
openshorts clips <job_id>
openshorts publish <job_id> 0 --platforms tiktok,youtube

Agent 技能

skills/openshorts/SKILL.md 遵循开源 Agent Skills 标准，因此可用于任何支持技能的 Agent：

# Claude Code (and most agents): copy the folder into the skills directory
cp -r skills/openshorts ~/.claude/skills/

# Hermes Agent: install straight from this repo
hermes skills install mutonby/openshorts/skills/openshorts

# OpenClaw: from ClawHub
openclaw skills install @mutonby/openshorts

n8n

可导入的工作流（输入视频 URL，输出可直接发布的片段，无需轮询） 位于 examples/n8n/。

---

技术栈

层	技术
后端	Python 3.11、FastAPI、google-genai、faster-whisper、ultralytics（YOLOv8）、mediapipe、opencv-python、yt-dlp、FFmpeg、httpx
前端	React 18、Vite 4、Tailwind CSS 3.4
AI API	Google Gemini、fal.ai（Flux、Hailuo、VEED、Kling）、ElevenLabs
基础设施	Docker + Docker Compose、AWS S3
发布	Upload-Post API（TikTok、Instagram、YouTube）

---

环境变量

服务端（.env）：

变量	说明
AWS_ACCESS_KEY_ID	用于 S3 的 AWS 访问密钥
AWS_SECRET_ACCESS_KEY	AWS 秘密访问密钥
AWS_REGION	AWS 区域（默认：us-east-1）
AWS_S3_BUCKET	用于备份片段的私有存储桶
AWS_S3_PUBLIC_BUCKET	用于图库／头像的公共存储桶
MAX_CONCURRENT_JOBS	并发处理上限（默认：5）
LLM_BASE_URL	供片段挑选器使用的 OpenAI 兼容服务（Ollama、vLLM、LM Studio……）。设置此项后，Gemini 密钥可选
LLM_MODEL	该服务上的模型名称（默认 llama3.1:8b）
LLM_API_KEY	该服务的 Bearer 令牌（如果服务要求）
LLM_SCORE_BATCH	每次评分调用处理的转录窗口数（本地默认 3，Gemini 默认 8）

客户端（在 localStorage 中加密）：

键	说明
GEMINI_API_KEY	Google Gemini — 必填，除非设置了 LLM_BASE_URL（此时仅用于布局挑选和无声视频）
FAL_KEY	fal.ai — AI Shorts 必填
ELEVENLABS_API_KEY	ElevenLabs — 配音／旁白必填
UPLOAD_POST_API_KEY	Upload-Post — 社交媒体发布必填

---

安全与性能

• 非 root 执行：容器以专用的 appuser 身份运行
• 并发控制：基于信号量的作业队列（MAX_CONCURRENT_JOBS）
• 自动清理：自动清除旧作业（保留 1 小时）
• 密钥加密：API 密钥在客户端加密，绝不存储在服务端
• 上传验证：验证图片上传的格式和最小尺寸
• 文件限制：防止上传超过 2 GB 的文件

---

社交媒体设置（Upload-Post）

1. 注册：app.upload-post.com/login
2. 创建个人资料：前往 Manage Users
3. 连接账号：关联 TikTok、Instagram 和／或 YouTube
4. 获取 API 密钥：前往 API Keys
5. 在 OpenShorts 中使用：在设置中粘贴密钥

---

星标历史

贡献

欢迎贡献！无论是添加新的 AI 模型、改进唇形同步工作流，还是开发新功能，都欢迎提交 PR。

许可证

核心应用采用 MIT 许可证 — OpenShorts 可供你使用、修改和扩展。

例外：cloud/ 目录（计费、托管密钥，以及可选 BILLING_ENABLED 标志背后的托管服务基础设施）以 OpenShorts 商业许可证提供源代码。你可以阅读、修改，并将其自托管用于个人或内部用途，但不得将其作为付费／托管服务提供给第三方。自托管核心应用不需要此目录。