together-batch-inference

Together Batch Inference

概要

レイテンシーが主な懸念事項ではない、大規模なオフラインワークロードには Together AI の Batch API を使用します。

典型的な用途：

• 大量の分類
• 合成データの生成
• データセットの変換
• 大規模な要約またはエンリッチメントのジョブ
• 低コストの非同期推論

このスキルが適している場合

• 実行する独立したリクエストが多数ある場合
• JSONL リクエストファイルを使用できる場合
• 処理に秒単位ではなく、数分から数時間かかっても問題ない場合
• 即時の対話性よりも低コストが重要な場合

別のスキルに引き継ぐ場合

• リアルタイムリクエストやツール呼び出しアプリには together-chat-completions を使用します
• 管理された LLM-as-a-judge ワークフローには together-evaluations を使用します
• 検索に特化したベクトル生成には together-embeddings を使用します

クイックルーティング

• エンドツーエンドのバッチワークフロー
  • scripts/batch_workflow.py または scripts/batch_workflow.ts から始めます
• リクエスト形式、ステータスモデル、結果のダウンロード
  • references/api-reference.md を読みます
• 運用ガイダンスとバッチサイズ
  • references/api-reference.md を読みます

ワークフロー

1. 各行に custom_id と body を含む JSONL ファイルを作成します。
2. purpose="batch-api" を指定してファイルをアップロードします。
3. input_file_id=... と対象のエンドポイントを指定してバッチを作成します。
4. ジョブが終端状態になるまでポーリングします。
5. 出力ファイルとエラーファイルをダウンロードし、custom_id で照合します。

重要なルール

• Python スクリプトには Together v2 SDK（together>=2.0.0）が必要です。古いバージョンを使用している場合は、先にアップグレードしてください：uv pip install --upgrade "together>=2.0.0"。
• 従来のファイルパラメーターではなく、input_file_id を使用します。
• 結果を簡単に照合できるよう、custom_id は安定した、意味のわかる値にします。
• Batch は独立したリクエスト向けです。ワークロードが共有された会話状態に依存する場合は、おそらく適切なツールではありません。
• 成功した出力に加えて、必ずエラーファイルも確認します。
• client.batches.create() はラッパーを返します。バッチオブジェクトには response.job（例：response.job.id）を介してアクセスします。client.batches.retrieve() はバッチオブジェクトを直接返します。
• 分類やラベル付けのワークロードでは、max_tokens を小さく設定し（例：4）、temperature: 0 を使用して、システムプロンプトの出力をラベルのみに制限します。これにより、出力トークン数とコストを最小限に抑えられます。
• 小規模なバッチ（リクエスト数が 1K 未満）は通常、数分で完了します。完了までの 24 時間というウィンドウは最大値であり、通常の所要時間ではありません。

リソース一覧

• API リファレンスと運用ガイダンス：references/api-reference.md
• Python ワークフロー：scripts/batch_workflow.py
• TypeScript ワークフロー：scripts/batch_workflow.ts

公式ドキュメント

• Batch Inference
• Batch API