together-dedicated-containers

Together Dedicated Containers

概要

ユーザーがマネージドモデルホスティングだけでなく、カスタムランタイムを必要としている場合は、Dedicated Container Inference を使用します。

主な構成要素：

• Jig CLI：ビルドとデプロイに使用
• Sprocket SDK：コンテナ内でのリクエスト処理に使用
• Queue API：非同期ジョブに使用

このスキルが適しているケース

• カスタム推論ワーカーをデプロイする
• カスタム依存関係やランタイムロジックをコンテナにバンドルする
• 進捗状況を追跡しながら、キューベースの非同期処理を使用する
• 特殊な画像、動画、またはマルチモーダルのパイプラインを実行する

別のスキルに引き継ぐケース

• カスタムコンテナを使わない標準的なモデルホスティングには、together-dedicated-model-inference を使用します
• クラスターの完全な所有権とオーケストレーションの制御には、together-gpu-clusters を使用します
• サーバーレス製品でタスクに対応できる場合は、together-chat-completions、together-images、または together-video を使用します

すばやく確認する方法

• 最小限のワーカーテンプレート
  • scripts/sprocket_hello_world.py から始めます
  • references/sprocket-sdk.md を読みます
• ビルド、デプロイ、ログ、キュー、シークレット
  • references/jig-cli.md を読みます
• キューへの送信とポーリング
  • scripts/queue_client.py または scripts/queue_client.ts から始めます

ワークフロー

1. ユーザーが本当にカスタムコンテナランタイムを必要としていることを確認します。
2. Sprocket のリクエストライフサイクルに沿ってワーカーを実装します。
3. イメージ、ランタイム、自動スケーリング、マウントを設定するために pyproject.toml を構成します。
4. Jig でデプロイします。
5. Queue API を通じてジョブを送信し、完了するまでポーリングします。

重要なルール

• Python スクリプトには Together v2 SDK（together>=2.0.0）が必要です。古いバージョンを使用している場合は、先にアップグレードする必要があります：uv pip install --upgrade "together>=2.0.0"。
• ランタイムまたはパイプラインが本当にカスタムである場合を除き、コンテナより専用エンドポイントを優先します。
• ワーカーのコントラクトと pyproject.toml を、デプロイ動作の信頼できる情報源として扱います。
• デプロイ名、キューの入力、リソースサイズはハードコードせず、パラメーター化します。
• キューベースのジョブはデフォルトで非同期です。クライアントコードでポーリングと結果の取得を考慮してください。

リソース一覧

• Jig CLI：references/jig-cli.md
• Sprocket SDK：references/sprocket-sdk.md
• Python キュークライアント：scripts/queue_client.py
• TypeScript キュークライアント：scripts/queue_client.ts
• ワーカーテンプレート：scripts/sprocket_hello_world.py

公式ドキュメント

• Dedicated Container Inference
• Containers Quickstart
• Deployments API