together-batch-inference

Together 批量推理

概述

使用 Together AI 的 Batch API 处理大型离线任务，此类任务对延迟要求不高。

典型适用场景：

• 批量分类
• 合成数据生成
• 数据集转换
• 大规模摘要或信息增强任务
• 低成本异步推理

适用场景

• 用户有大量相互独立的请求需要运行
• 可以接受使用 JSONL 请求文件
• 周转时间可以是几分钟或几小时，而非几秒
• 低成本比即时交互更重要

转交给其他技能

• 实时请求或需要调用工具的应用，请使用 together-chat-completions
• 托管式 LLM-as-a-judge 工作流，请使用 together-evaluations
• 专用于检索的向量生成，请使用 together-embeddings

快速路由

• 端到端批处理工作流
  • 从 scripts/batch_workflow.py 或 scripts/batch_workflow.ts 开始
• 请求格式、状态模型和结果下载
  • 阅读 references/api-reference.md
• 操作指南和批次大小
  • 阅读 references/api-reference.md

工作流

1. 创建一个 JSONL 文件，每行包含 custom_id 和 body。
2. 使用 purpose="batch-api" 上传文件。
3. 使用 input_file_id=... 和目标端点创建批次。
4. 轮询，直到任务进入终止状态。
5. 下载输出文件和错误文件，然后按 custom_id 整合结果。

重要规则

• Python 脚本需要 Together v2 SDK（together>=2.0.0）。如果用户使用的是旧版本，必须先升级：uv pip install --upgrade "together>=2.0.0"。
• 使用 input_file_id，不要使用旧版文件参数。
• 保持 custom_id 稳定且有意义，以便轻松整合结果。
• 批处理适用于相互独立的请求。如果工作负载依赖共享的对话状态，批处理可能不是合适的工具。
• 除成功输出外，务必检查错误文件。
• client.batches.create() 会返回一个包装对象；通过 response.job 访问批次对象（例如 response.job.id）。client.batches.retrieve() 则会直接返回批次对象。
• 对于分类或标注工作负载，请将 max_tokens 设为较低值（例如 4），使用 temperature: 0，并限制系统提示词只返回标签。这样可以最大限度地减少输出 token 和成本。
• 小型批次（少于 1K 个请求）通常会在几分钟内完成。24 小时完成窗口是最长期限，并非常见耗时。

资源索引

• API 参考和操作指南：references/api-reference.md
• Python 工作流：scripts/batch_workflow.py
• TypeScript 工作流：scripts/batch_workflow.ts

官方文档

• 批量推理
• Batch API