mcpField
A
ai-multimodal

ai-multimodal

github.com/bmad-labsクリエイティブ・メディア19176 回インストール1 週間前に更新
リポジトリ

ai-multimodal について

AI Multimodal は、Google Gemini のマルチモーダル API でメディアを処理し、画像や動画を生成するスキルとコマンドラインツール群です。バッチ処理、メディアの事前最適化、ドキュメント変換のスクリプトを備えています。

主な機能

  1. 01音声・画像・動画・文書の分析
  2. 02文字起こしと内容抽出
  3. 03画像と動画の生成
  4. 04メディアの最適化と変換
  5. 05構造化出力に対応した一括処理

活用シーン

  1. 01録音音声の文字起こし
  2. 02画像・動画・文書の分析
  3. 03画像や動画素材の生成
  4. 04大容量メディアの処理前準備

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/bmad-labs/skills --skill ai-multimodal

インストール後、Claude Code で/ai-multimodalを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

.env.example
references/
audio-processing.md
image-generation.md
video-analysis.md
video-generation.md
vision-understanding.md
scripts/
check_setup.py
document_converter.py
gemini_batch_process.py
media_optimizer.py
requirements.txt
scripts/tests/
requirements.txt
test_document_converter.py
test_gemini_batch_process.py
test_media_optimizer.py

詳細

AI マルチモーダル

Google Gemini のマルチモーダル API を使用して、音声、画像、動画、ドキュメントを処理し、画像や動画を生成します。

セットアップ

export GEMINI_API_KEY="your-key"  # Get from https://aistudio.google.com/apikey
pip install google-genai python-dotenv pillow

クイックスタート

セットアップを確認する：python scripts/check_setup.py メディアを分析する：python scripts/gemini_batch_process.py --files <file> --task <analyze|transcribe|extract>

  • TIP：画像の分析を依頼された場合は、gemini コマンドが利用可能か確認してから、"<prompt to analyze image>" | gemini -y -m gemini-2.5-flash コマンドを使用してください。gemini コマンドが利用できない場合は、python scripts/gemini_batch_process.py --files <file> --task analyze コマンドを使用してください。 コンテンツを生成する：python scripts/gemini_batch_process.py --task <generate|generate-video> --prompt "description"

標準入力のサポート：ファイルを標準入力経由で直接パイプできます（PNG/JPG/PDF/WAV/MP3 を自動検出します）。

  • cat image.png | python scripts/gemini_batch_process.py --task analyze --prompt "Describe this"
  • python scripts/gemini_batch_process.py --files image.png --task analyze（従来の方法）

モデル

  • 画像生成：imagen-4.0-generate-001（標準）、imagen-4.0-ultra-generate-001（高品質）、imagen-4.0-fast-generate-001（高速）
  • 動画生成：veo-3.1-generate-preview（音声付き8秒クリップ）
  • 分析：gemini-2.5-flash（推奨）、gemini-2.5-pro（高度な分析）

スクリプト

  • gemini_batch_process.py：transcribe|analyze|extract|generate|generate-video を実行する CLI オーケストレーターです。API キーを自動で解決し、タスクごとに適切なデフォルトモデルを選択し、ファイルをインラインまたは File API 経由でストリーミングし、Imagen 4 と Veo のワークフロー向けに構造化された出力（テキスト/JSON/CSV/Markdown、および生成アセット）を保存します。
  • media_optimizer.py：ffmpeg/Pillow ベースの事前処理ツールです。音声、画像、動画の入力を圧縮、リサイズ、変換し、目標サイズ/ビットレートを適用します。長いクリップを1時間単位に分割し、ディレクトリを一括処理して、メディアが Gemini の制限内に収まるようにします。
  • document_converter.py：Gemini を利用したコンバーターです。PDF/画像/Office ドキュメントをアップロードし、Markdown の書式を保持するプロンプトを適用して、複数ファイルを一括処理します。docs/assets 配下の出力ファイル名を自動設定し、モデル、プロンプト、ファイル名の自動設定、詳細ログの CLI オプションを提供します。
  • check_setup.py：対話型の準備状況チェッカーです。ディレクトリ構成、集中管理された環境変数リゾルバー、必要な Python 依存関係、GEMINI_API_KEY の有無と形式を確認した後、Gemini API を実際に呼び出します。失敗した場合は、問題を解決するための手順を表示します。

オプションについては --help を使用してください。

リファレンス

詳しいガイダンスについては、以下を参照してください。

トピックファイル説明
音声references/audio-processing.md音声形式と制限、文字起こし（タイムスタンプ、話者、セグメント）、非音声の分析、File API とインライン入力の比較、TTS モデル、ベストプラクティス、コストとトークンの計算、会議・ポッドキャスト・インタビューでの具体的な手順を説明します。
画像references/vision-understanding.mdビジョン機能の概要、対応形式とモデル、キャプション生成・分類・VQA、検出とセグメンテーション、OCR とドキュメントの読み取り、複数画像のワークフロー、構造化 JSON 出力、トークンコスト、ベストプラクティス、一般的な製品・スクリーンショット・グラフ・シーンのユースケースを説明します。
画像生成references/image-generation.mdImagen 4 と Gemini の画像モデルの概要、generate_images API と generate_content API、アスペクト比とコスト、テキスト・画像・両方のモダリティ、編集と構図、スタイルと品質の制御、安全性設定、ベストプラクティス、トラブルシューティング、一般的なマーケティング・コンセプトアート・UI のシナリオを説明します。
動画references/video-analysis.md動画分析機能と対応形式、モデルとコンテキストの選択肢、ローカル・インライン・YouTube 入力、クリップの切り出しと FPS の制御、複数動画の比較、時間軸に沿った Q&A とシーン検出、視覚的コンテキストを含む文字起こし、トークンとコストのガイダンス、最適化とベストプラクティスのパターンを説明します。
動画生成references/video-generation.mdVeo モデル一覧、テキストから動画・画像から動画を生成するクイックスタート、複数の参照画像と動画延長のワークフロー、カメラとタイミングの制御、設定（解像度、アスペクト比、音声、安全性）、プロンプト設計のパターン、パフォーマンスのヒント、制限事項、トラブルシューティング、コストの見積もりを説明します。

制限

形式：音声（WAV/MP3/AAC、9.5時間）、画像（PNG/JPEG/WEBP、3.6k）、動画（MP4/MOV、6時間）、PDF（1k ページ）
サイズ：インライン入力は20MB、File API は2GB

リソース

コメント

Markdown 対応