mcpField
P
provider-refresh-oct23

provider-refresh-oct23

github.com/calesthioクリエイティブ・メディア72.7k57 回インストール今日更新
リポジトリ

provider-refresh-oct23 について

provider-refresh-oct23は、モデルやメディアプロバイダーとの連携を保守するためのリファレンススキルです。音声、画像、動画のワークフローについて、ツールスキーマ、モデルとエンドポイントの選択、リクエスト制約、出力処理、ジョブ再開方法をまとめています。

主な機能

  1. 01使用前に最新のツール入力スキーマを確認
  2. 02プロバイダー、モデル、操作、費用を明示
  3. 03音声・画像・動画モデルの経路を記録
  4. 04リクエストと出力の制約を整理
  5. 05保留中の生成ジョブを再開

活用シーン

  1. 01プロバイダー連携の手順を更新
  2. 02メディア処理に適したエンドポイントを選択
  3. 03音声出力や文字起こしファイルを処理
  4. 04重複送信を避けて保留ジョブを再開

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/calesthio/openmontage --skill provider-refresh-oct23

インストール後、Claude Code で/provider-refresh-oct23を入力して読み込まれたか確認します。

詳細

10月23日のプロバイダー連携

使用前に、ツールの現在の入力スキーマを確認してください。本番環境で使用する前に、ツール、ホスト、正確なモデル、操作、見積もりコストを引用符付きで明示してください。ホストやモデルへの自動フォールバックはありません。本番プロジェクト内の明示的な出力パスを使用してください。認証情報が設定されているだけでは、アカウントへのアクセスが確立したことにはなりません。新しい価格のほとんどは、最新のアカウント見積もりが必要です。期限切れのプロモーション価格を恒常的な価格として使用しないでください。

Google と ElevenLabs の移行

  • gemini_omni_video：Gemini Interactions API の直接モデルは gemini-omni-1.1-flash です。旧プレビュー版は10月22日に終了しました。 previous_interaction_id を使って編集を続けてください。Veo リクエスト内でこれに置き換えないでください。
  • veo_video：Google のバックエンドには Vertex が必要です。fal には独自の契約が引き続き適用されます。 Gemini API の Veo は終了しました。置き換え後のワークフローでは Omni を明示的に選択してください。
  • google_imagen：新しいデフォルトは gemini-nano-banana-2.1 です。Imagen モデルには Vertex が必要です。 ネイティブの Gemini 画像モデルでは generate_content を使用し、Imagen の predict は使用しません。
  • elevenlabs_tts：eleven_v4 は、inputs と settings を使う HTTP Text to Dialogue を使用します。 ナレーションの各リクエストは2,000文字以下にしてください。next_text は future_text にマッピングされます。コンテキスト文字列は100文字以下です。スタイル、速度、スピーカーブーストは Dialogue の設定ではありません。eleven_v4_turbo は Dialogue WebSocket を使用します。このファイルアダプターは Turbo でタイムスタンプや連続性制御をサポートしていません。ターンごとのマーカーではなく、グローバルな is_final を待ちます。現在の公式リアルタイムチュートリアルでは Turbo が説明されていますが、以前の WebSocket リファレンスには v3 のみと記載されています。

ナレーションと変換

  • heygen_tts：model_id は heygen-voice-1、heygen-voice-1-turbo、または heygen-voice-1-turbo-free です。有効なネイティブのパブリック／ワークスペース音声 ID を渡します。 operation=list_voices でネイティブ音声を確認できます。プロフェッショナルクローンは Turbo ではないモデルでのみ動作します。voice_type でカテゴリを事前検証できます。実際の所有者とステータスはサービスが 検証します。音声の生成完了時も SSE の場合も WAV が出力されます。 SSE の各パートは個別の WAV コンテナであり、結合前にデコードされます。タイムスタンプは アライメント用サイドカーと word_timestamps に変換されます。無料アクセスは 2026 年 11 月 30 日に終了します。失敗しても有料プランに切り替わることはありません。レート制限による拒否後の再試行回数には上限があり、短い Retry-After の待機時間に従います。より長い待機時間は呼び出し元に返されます。
  • heygen_catalog_tts：カタログ専用の ID と /v3/voices/speech を使用します。engine（starfish、heygen_voice、elevenlabs）は明示的に選択してください。ネイティブのプロフェッショナルクローン ID はこの機能では使用できません。カタログの出力形式は MP3 または WAV です。いずれかの拡張子を指定してください。返されるアーティファクトのパスには、実際のレスポンスのコーデックに対応する拡張子が使われ、音声はそのまま保持されます。
  • heygen_voice_convert：有効なインスタントワークスペース音声のみ使用でき、長さは最大300 秒です。audio_path（<=16 MB）、audio_url、asset_id のいずれか 1 つのみ指定してください。出力形式は WAV です。タイムアウトが曖昧な状態から再開する場合は、安定した idempotency_key を指定してください。自動再試行は行われません。
  • grok_tts：Grok Voice のリアルタイム機能ではなく、xAI のナレーション /v1/tts を使用します。デフォルトの language=auto、voice_id のデフォルトは eve です。list_voices で音声を確認できます。output_format はオブジェクトです。例：{"codec":"wav","sample_rate":24000}。このファイルアダプターで使用できる形式は MP3／WAV であり、ヘッダーのないテレフォニーコーデックには対応していません。任意の文字単位アライメントは保存されます。
  • mistral_tts：model_id は voxtral-mini-tts-3-0 です。voice_id またはローカルの reference_audio_path を必ず 1 つだけ指定してください。mp3／wav／flac／opus に対応しています。感情やペースのタグをインラインで指定でき、表現力も調整できます。リリース時点では自由形式のスタイル指示には対応していません。リアルタイム TTS には対応していません。
  • mai_tts：Azure Speech のキー／リージョンと、model_id MAI-Voice-2.1 または MAI-Voice-2.1-Flash を使用します。 voice_id は en-US-Harper などの管理対象音声ベース名です（モデルのサフィックスが追加されます）。 TTS セレクターは Azure SSML アダプターを介して速度とピッチを変換します。 このアダプターでは個人用音声クローンのプロビジョニングや、制限付きアクセスの付与は行いません。
  • mistral_stt：Voxtral Mini／Small Transcribe3 を使用し、ローカル音声ファイルに対応します。タイムスタンプは単語単位ではなくセグメント単位です。話者分離を有効にすると、セグメントのタイムスタンプも有効になります。話者と使用状況のメタデータを含む未加工の文字起こし JSON が保存されます。
  • elevenlabs_soundtrack：video_paths（最大 10 件、合計で最大 200 MB／600 秒）を指定します。description／tags、add_sfx／use_audio_as_reference／separate_tracks は任意です。トラック分離を指定すると、兄弟ディレクトリの *_tracks に再生可能なファイルが返されます。ZIP を音声ファイルとして扱わないでください。このアダプターは、安全でないアーカイブパスとサイズ超過のアーカイブを拒否します。

画像と動画

モデル明示的なツール／ホスト
Nano Banana2.1google_imagen、gemini_fal_image、gemini_replicate_image
FLUX3 Imagebfl_image、flux3_fal_image、flux3_replicate_image
FLUX3 Max videoflux3_video（fal）
Vidu Q4vidu_video（fal）、image_to_video または reference_to_video。テキストのみの経路はありません
Fibo2bria_image の直接利用または bria_fal_image
MAI Image2.6 / Flashmai_image、デプロイ済みの Foundry モデル
Grok Imagine1.5 / LiteGrok video の xAI 直接利用

fal と Replicate には、ツール内にエンドポイントのスキーマが含まれています。provider_params は、そのホストで文書化されている場合にのみ渡してください。fal のフィールドを Replicate や直接利用する API にコピーしないでください。アグリゲーターでは既存の Pro 画像モデルのデフォルトは変わりません。新しいモデルを明示的に選択してください。

BFL のバウンディングボックスレイアウトは、架空の boxes エンドポイントフィールドではなく、BFL のドキュメントに従ってプロンプト内に指定します。BFL は最大10枚の参照画像に対応しています。幅と高さは必ず両方指定してください。古い説明文の例よりも、BFL の API リファレンスを優先してください。Bria は後で編集できるよう、構造化メタデータを保持します。Bria の共有エンドポイントでは、一部の旧式の組み合わせが古い Fibo モデルにルーティングされる場合があります。Fibo2 として案内する直接利用のツールでは、そうした組み合わせは拒否されます。MAI では、モデルの識別情報が設定済みのデプロイメントと一致している必要があります。また、PNG 出力、2,359,296 ピクセル以下、各辺768以上が必要です。

Grok1.5 の参照画像は720pに制限されています。Lite は参照音声、参照画像、last_frame、キーフレームに対応していません。Full1.5 はプリセットの音声参照に対応しています。カスタム音声参照は、引き続きパートナー限定です。動画中のピンは動画の長さの範囲内に配置し、互いに異なる1/3秒のスロットを占める必要があります。失敗時に別のモデルへ置き換えることはありません。fal／Replicate／BFL／Grok のジョブでは再開用メタデータが提供されます。ポーリング前に job_path を保存し、重複する有料生成を送信せず、保留中のジョブを再開してください。

リアルタイム処理はナレーションとは別です

realtime_audio は、Grok Voice3、Eleven Realtime Mini/Max、MAI-Transcribe-2-Streaming 用の、1回の応答に制限されたファイルランナーです。入力はテキストまたはモノラル PCM16 WAV（16/24kHz。Eleven では24kHzが必要）です。音声出力は WAV、MAI の出力はイベント JSON です。入力の送信とイベントの受信は並行して実行されます。MAI は明示的にコミットし、コミットの確認応答ではなく、最終的な文字起こしを待ちます。Eleven では、一時的なセッション認証情報と、録音ファイル向けのバースト型入力ペーシングを使用します。

ライブ音声、VAD、中断、複数ターン、または関数呼び出しには、コンテキストマネージャーで管理する tools.audio._realtime_session.RealtimeAudioSession トランスポートを使用してください。利用できる操作は append_audio、commit、receive、request_response、cancel、submit_tool_result です。セッションのライフサイクルとツールの承認は呼び出し側が管理します。受信したツール呼び出しが自動実行されることはありません。有限ファイルランナーは、ソケットを閉じた後に処理を続行できないため、ツールを拒否します。このトランスポート層がマイクの UI、ブラウザーアプリ、音声エージェントのオーケストレーションを提供するものではありません。シークレットはメモリ内に保持されます。リアルタイム翻訳や Kling4 のサポートは追加されていません。

Primary references

コメント

Markdown 対応