mcpField
T
together-audio

together-audio

github.com/togethercomputer创意与媒体3989 次安装2 周前更新
代码仓库

关于 together-audio

together-audio 是使用 Together AI 音频 API 进行语音生成与识别的技能，面向开发者提供 REST、流式和实时处理的参考资料与脚本。

主要功能

  1. 01文本转语音生成
  2. 02流式与实时语音输出
  3. 03语音转录与翻译
  4. 04说话人分离与词级时间戳
  5. 05实时转录与字幕

适用场景

  1. 01将文本生成为语音
  2. 02转录音频文件或 URL
  3. 03为应用添加实时语音或字幕
  4. 04提取说话人片段和词级时间

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/togethercomputer/skills --skill together-audio

安装后在 Claude Code 中输入/together-audio确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

agents/
openai.yaml
references/
stt-models.md
tts-models.md
scripts/
stt_realtime.py
stt_transcribe.py
stt_transcribe.ts
tts_generate.py
tts_generate.ts
tts_websocket.py

详细介绍

Together Audio

概述

使用 Together AI 音频 API 实现：

  • 文本转语音生成
  • 流式或实时语音输出
  • 语音转文本转录
  • 翻译、说话人分离和时间戳
  • 实时字幕和实时转录

适用场景

  • 根据文本生成语音
  • 转录上传的音频文件或 URL
  • 为应用添加实时语音或字幕
  • 提取说话人片段或词语时间信息

转交给其他技能

  • 仅生成文本时，使用 together-chat-completions
  • 视觉生成工作流使用 together-video 或 together-images
  • 只有在必须将音频模型托管在专用基础设施上时，才使用 together-dedicated-model-inference

快速路由

工作流

  1. 确认任务是 TTS 还是 STT。
  2. 根据延迟和交互需求选择 REST、流式或实时传输方式。
  3. 从相应的参考文件中选择模型和响应格式。
  4. 从匹配的脚本开始，而不是凭记忆重新构建请求约定。
  5. 对于 Python STT 上传，以二进制模式打开音频文件并传递文件句柄，而不是直接传入路径字符串。

重要规则

  • Python 脚本需要 Together v2 SDK（together>=2.0.0）。如果用户使用的是旧版本，必须先升级：uv pip install --upgrade "together>=2.0.0"。
  • TTS 使用 client.audio.speech.create()。
  • REST TTS 返回 BinaryAPIResponse；调用 response.write_to_file(path) 保存。不要使用 stream_to_file（此对象不支持该方法）。
  • 流式 TTS（stream=True）返回由 AudioSpeechStreamChunk 对象组成的 Stream。遍历各个块，检查 chunk.type，并对音频数据调用 base64.b64decode(chunk.delta) 进行解码。流对象没有写入文件的辅助方法。
  • 转录使用 client.audio.transcriptions.create()，翻译使用 client.audio.translations.create()。
  • 批量转录和翻译有相同的硬性限制：直接上传最大 80 MB，URL 获取最大 1 GB，每次请求最多处理 4 小时音频。对于更大的数据，请在 file= 中传入公开的 HTTPS URL；对于更长的音频，请拆分为 ≤ 4 h 的片段。请参阅 references/stt-models.md 的限制部分。
  • 实时 API 必须严格遵循音频格式要求；传输字节流前，请确认 PCM 格式要求。
  • 说话人分离和词语时间戳会改变响应结构；请明确编写代码以处理更丰富的详细输出。

资源索引

官方文档

评论

支持 Markdown