mcpField
A
ai-multimodal

ai-multimodal

github.com/bmad-labs创意与媒体19176 次安装1 周前更新
代码仓库

关于 ai-multimodal

AI Multimodal 是使用 Google Gemini 多模态 API 处理媒体并生成图像或视频的技能和命令行工具包，包含批处理、媒体预处理和文档转换脚本。

主要功能

  1. 01音频、图像、视频和文档分析
  2. 02转录与内容提取
  3. 03图像和视频生成
  4. 04媒体优化与转换
  5. 05批量处理并输出结构化结果

适用场景

  1. 01转录音频录音
  2. 02分析图像、视频和文档
  3. 03生成图像或视频素材
  4. 04预处理大型媒体文件

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/bmad-labs/skills --skill ai-multimodal

安装后在 Claude Code 中输入/ai-multimodal确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

.env.example
references/
audio-processing.md
image-generation.md
video-analysis.md
video-generation.md
vision-understanding.md
scripts/
check_setup.py
document_converter.py
gemini_batch_process.py
media_optimizer.py
requirements.txt
scripts/tests/
requirements.txt
test_document_converter.py
test_gemini_batch_process.py
test_media_optimizer.py

详细介绍

AI 多模态

使用 Google Gemini 多模态 API 处理音频、图像、视频和文档，并生成图像和视频。

设置

export GEMINI_API_KEY="your-key"  # Get from https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

快速开始

验证设置：python scripts/check_setup.py 分析媒体：python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • 提示：当你被要求分析图像时，先检查是否有 gemini 命令可用，然后使用 "<prompt to analyze image>" | gemini -y -m gemini-2.5-flash 命令。如果 gemini 命令不可用，则使用 python scripts/gemini_batch_process.py --files <file> --task analyze 命令。 生成内容：python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"

支持标准输入：可以通过标准输入直接传入文件（自动检测 PNG/JPG/PDF/WAV/MP3）。

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Describe this"
  • python scripts/gemini_batch_process.py --files image.png --task analyze（传统方式）

模型

  • 图像生成：imagen-4.0-generate-001（标准）、imagen-4.0-ultra-generate-001（高质量）、imagen-4.0-fast-generate-001（高速）
  • 视频生成：veo-3.1-generate-preview（带音频的 8 秒片段）
  • 分析：gemini-2.5-flash（推荐）、gemini-2.5-pro（高级）

脚本

  • gemini_batch_process.py：用于 transcribe|analyze|extract|generate|generate-video 的 CLI 编排器，可自动解析 API 密钥、为各任务选择合适的默认模型、决定以内联方式还是通过 File API 传输文件，并为 Imagen 4 + Veo 工作流保存结构化输出（文本/JSON/CSV/Markdown 及生成的资源）。
  • media_optimizer.py：基于 ffmpeg/Pillow 的预处理工具，可压缩、调整大小和转换音频、图像及视频输入，限制目标大小/比特率，将较长片段拆分为小时级片段，并批量处理目录中的文件，使媒体符合 Gemini 限制。
  • document_converter.py：由 Gemini 驱动的转换器，可上传 PDF/图像/Office 文档、应用保留 Markdown 格式的提示词、批量处理多个文件、自动为 docs/assets 下的输出命名，并提供用于设置模型、提示词、自动文件命名和详细日志的 CLI 标志。
  • check_setup.py：交互式就绪检查工具，可验证目录布局、集中式环境变量解析器、必需的 Python 依赖项以及 GEMINI_API_KEY 的可用性/格式，然后执行实时 Gemini API 调用，并在出现故障时输出修复说明。

使用 --help 查看选项。

参考资料

查看详细指南：

主题文件描述
音频references/audio-processing.md音频格式和限制、转录（时间戳、说话人、片段）、非语音分析、File API 与内联输入、TTS 模型、最佳实践、费用和令牌计算，以及具体的会议／播客／访谈方案。
图像references/vision-understanding.md视觉能力概述、支持的格式和模型、图像描述／分类／VQA、检测和分割、OCR 和文档阅读、多图工作流、结构化 JSON 输出、令牌费用、最佳实践，以及常见的产品／截图／图表／场景用例。
图像生成references/image-generation.mdImagen 4 和 Gemini 图像模型概述、generate_images 与 generate_content API、宽高比和费用、文本／图像／两种模态、编辑和构图、风格和质量控制、安全设置、最佳实践、故障排除，以及常见的营销／概念艺术／UI 场景。
视频references/video-analysis.md视频分析能力和支持的格式、模型／上下文选择、本地／内联／YouTube 输入、片段截取和 FPS 控制、多视频对比、时序问答和场景检测、结合视觉上下文的转录、令牌和费用指南，以及优化／最佳实践模式。
视频生成references/video-generation.mdVeo 模型矩阵、文生视频和图生视频快速入门、多参考图和延展流程、镜头和时间控制、配置（分辨率、宽高比、音频、安全）、提示词设计模式、性能提示、限制、故障排除和费用估算。

限制

格式：音频（WAV/MP3/AAC，9.5 小时）、图像（PNG/JPEG/WEBP，3.6k）、视频（MP4/MOV，6 小时）、PDF（1k 页） 大小：内联输入 20MB，File API 2GB

资源

评论

支持 Markdown