mcpField
P
provider-refresh-oct23

provider-refresh-oct23

github.com/calesthio创意与媒体72.7k57 次安装今天更新
代码仓库

关于 provider-refresh-oct23

provider-refresh-oct23 是维护模型与媒体服务商集成的参考技能，记录当前工具模式、模型和端点选择、请求限制、输出处理及任务续接方法，涉及音频、图像和视频工作流。

主要功能

  1. 01使用前检查当前工具输入模式
  2. 02指定服务商、模型、操作和费用
  3. 03记录音频、图像及视频模型路由
  4. 04整理请求与输出限制
  5. 05续接待处理的生成任务

适用场景

  1. 01更新服务商集成说明
  2. 02为媒体任务选择合适端点
  3. 03处理音频输出与转录文件
  4. 04续接待处理任务以避免重复提交

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/calesthio/openmontage --skill provider-refresh-oct23

安装后在 Claude Code 中输入/provider-refresh-oct23确认已加载。

详细介绍

10 月 23 日的提供商集成

使用前请先阅读工具当前的输入架构。投产前，说明工具、主机、确切的模型、 操作和报价。不会自动回退到其他主机或模型。 请在生产项目下指定明确的输出路径。配置了凭据并不代表已获得 账户访问权限。大多数新价格都需要向账户获取最新报价；不要将过期促销价 作为永久价格使用。

Google 和 ElevenLabs 迁移

  • gemini_omni_video：直接调用 Gemini Interactions API 的模型为 gemini-omni-1.1-flash。旧版预览已于 10 月 22 日退役。继续编辑时使用 previous_interaction_id；不要在 Veo 请求中替换它。
  • veo_video：Google 后端要求使用 Vertex；fal 保留自己的使用条款。 Gemini API 中的 Veo 已退役。替代工作流中请明确选择 Omni。
  • google_imagen：新的默认模型为 gemini-nano-banana-2.1；Imagen 模型需要 Vertex。原生 Gemini 图像模型使用 generate_content，而非 Imagen predict。
  • elevenlabs_tts：eleven_v4 使用带有 inputs 和 settings 的 HTTP Text to Dialogue。每条旁白请求不得超过 2,000 个字符。next_text 对应 future_text；上下文字符串不得超过 100 个字符。风格、语速和说话人增强 不属于对话设置。eleven_v4_turbo 使用对话 WebSocket；此文件适配器不支持 Turbo 的时间戳或连续性控制。它会等待全局 is_final，而非每轮标记。当前官方实时教程介绍的是 Turbo，但较早的 WebSocket 参考文档仅说明 v3。

旁白与转换

  • heygen_tts：model_id 为 heygen-voice-1、heygen-voice-1-turbo 或 heygen-voice-1-turbo-free。传入处于 ACTIVE 状态的原生公开/工作区语音 ID； 使用 operation=list_voices 发现原生语音。专业克隆语音仅适用于非 Turbo 模型。 voice_type 可预先校验类别；服务会验证实际所有权/状态。已完成的语音和 SSE 均写入 WAV。SSE 部分是独立的 WAV 容器，组装前会先解码。时间戳会写入对齐 sidecar 和 word_timestamps。免费访问将于 2026 年 11 月 30 日结束；失败时绝不切换到付费服务。 对速率限制的拒绝会进行有限次数的重试，并遵循较短的 Retry-After 延迟；较长的延迟会返回给调用方。
  • heygen_catalog_tts：使用独立的目录 ID 和 /v3/voices/speech；须明确选择 engine（starfish、heygen_voice、elevenlabs）。原生专业克隆语音 ID 不适用于此处。 目录输出可以是 MP3 或 WAV。提供任一后缀即可；返回的产物路径会使用实际响应编解码格式的后缀，并保留音频。
  • heygen_voice_convert：仅支持处于 ACTIVE 状态的即时工作区语音，时长最多为 300 秒。 audio_path（<=16 MB）、audio_url 或 asset_id 必须且只能提供其中一项。 输出为 WAV。如果要在超时状态不明确后恢复，请提供稳定的 idempotency_key；不会自动重试。
  • grok_tts：xAI 旁白 /v1/tts，不是 Grok Voice 实时服务。默认 language=auto，voice_id 默认为 eve；使用 list_voices 发现语音。 output_format 是一个对象，例如 {"codec":"wav","sample_rate":24000}；此文件适配器支持 MP3/WAV，不支持无文件头的电话编解码格式。可选的字符对齐信息会保存。
  • mistral_tts：model_id 为 voxtral-mini-tts-3-0；voice_id 或本地 reference_audio_path 必须且只能提供其中一项。支持 mp3/wav/flac/opus。支持行内情绪/语速标签和表现力； 发布时不支持自由形式的风格指令。不宣称支持实时 TTS。
  • mai_tts：Azure Speech 密钥/区域，model_id 为 MAI-Voice-2.1 或 MAI-Voice-2.1-Flash。 voice_id 是托管语音基础名称，例如 en-US-Harper（会附加模型后缀）。 TTS 选择器通过 Azure SSML 适配器转换速度和音高。 此适配器不会创建个人语音克隆，也不会授予受限访问权限。
  • mistral_stt：Voxtral Mini/Small Transcribe3，处理本地音频文件；时间戳对应片段，而非单词。 启用说话人分离后，必须包含片段时间戳。原始转录 JSON 会持久化保存，包括说话人和用量元数据。
  • elevenlabs_soundtrack：video_paths（<=10，合计 <=200 MB / 600 秒）， 可选 description/tags、add_sfx/use_audio_as_reference/separate_tracks。分离 音轨会返回可播放文件，保存在同级的 *_tracks 目录中；切勿将 ZIP 当作音频文件处理。 此适配器会拒绝不安全的归档路径和超大归档。

图像和视频

模型明确的工具 / 托管平台
Nano Banana2.1google_imagen, gemini_fal_image, gemini_replicate_image
FLUX3 Imagebfl_image, flux3_fal_image, flux3_replicate_image
FLUX3 Max videoflux3_video (fal)
Vidu Q4vidu_video (fal), image_to_video 或 reference_to_video；不支持纯文本路径
Fibo2bria_image direct 或 bria_fal_image
MAI Image2.6 / Flashmai_image，已部署的 Foundry 模型
Grok Imagine1.5 / Litegrok_video direct xAI

fal 和 Replicate 在 tools/provider_contracts 下提供了已签入的端点架构。仅当托管平台有文档说明时才传入 provider_params。不要将 fal 字段用于 Replicate 或直接 API。聚合平台上现有 Pro 图像模型的默认值保持不变；要使用新模型，请明确选择。

BFL 的边界框布局应按照 BFL 文档编码在提示词中，而不是虚构 boxes 端点字段。BFL 最多支持10张参考图；必须同时提供宽度和高度。其 API 参考优先于较早的说明性示例。Bria 会持久化结构化元数据，以便后续编辑。其共享端点可能会将部分旧版组合路由到较早的 Fibo 模型；直接工具在宣传 Fibo2 时会拒绝这些组合。MAI 要求模型标识与配置的部署匹配；输出为 PNG，像素数 <=2,359,296，且每边 >=768。

Grok1.5 的参考素材仅限720p。Lite 不支持参考音频、参考图像、last_frame 或关键帧。完整的1.5支持预设语音参考；自定义音频参考仍受合作伙伴限制。视频中段的定位点必须在时长范围内，且占据不同的1/3秒时间槽。失败时不会替换模型。fal/Replicate/BFL/Grok 任务会提供恢复元数据；轮询前请保存 job_path，并恢复未完成的任务，而不是重复提交付费生成请求。

实时处理与旁白处理分开

realtime_audio 是一个有界的单响应文件运行器，适用于 Grok Voice3、 Eleven Realtime Mini/Max 和 MAI-Transcribe-2-Streaming。输入可以是文本或单声道 PCM16 WAV（16/24kHz；Eleven 要求24kHz）。语音输出为 WAV；MAI 输出为事件 JSON。 输入发送和事件接收会并行运行。MAI 会显式提交，并等待最终转录结果，而不是等待提交确认。Eleven 使用临时会话凭据，并以突发方式为录制文件发送输入。

对于实时音频、VAD、中断、多轮交互或函数调用，请使用上下文管理的 tools.audio._realtime_session.RealtimeAudioSession 传输层： append_audio、commit、receive、request_response、cancel 和 submit_tool_result。调用方负责会话生命周期和工具审批。接收到的工具调用绝不会自动执行。有限文件运行器会拒绝工具，因为它在关闭套接字后无法继续执行这些工具。此传输层不包含麦克风界面、浏览器应用或语音 Agent 编排。 机密信息仅保留在内存中。未添加实时翻译或 Kling4 支持。

Primary references

评论

支持 Markdown