together-dedicated-endpoints

Together Dedicated Endpoints

概要

共有のサーバーレスプールを使わず、予測可能なパフォーマンスでマネージドなシングルテナントのモデルホスティングを行うには、専用エンドポイントを使用します。

主な用途：

• 安定したレイテンシーが求められる本番環境の推論
• ファインチューニング済みモデルのホスティング
• アップロードしたカスタムモデルのホスティング
• オートスケールするモデル API

このスキルが適している場合

• ユーザーが常時稼働またはシングルテナントのホスティングを必要としている
• モデルが専用デプロイに対応している
• ファインチューニング済みモデルやアップロード済みモデルをエンドポイントとして提供する必要がある
• ハードウェア、スケーリング、アイドル時間の設定を明示的に制御する必要がある

別のスキルに引き継ぐ場合

• サーバーレスのチャット推論には together-chat-completions を使用します
• カスタムランタイムや標準外の推論パイプラインには together-dedicated-containers を使用します
• 生のインフラストラクチャやクラスターオーケストレーションには together-gpu-clusters を使用します
• ハードウェアを管理せずに、明確な SLA（確約されたスループットと信頼性）が必要な本番環境の既製モデルのワークロードでは、Together のプロビジョンドスループットティア（予約済み PTU 容量、最低 1 か月、営業への問い合わせが必要）を案内します。ファインチューニング済みモデルやアップロード済みモデルを提供する必要がある場合、またはハードウェア、レイテンシー、スループットを直接制御したい場合は、代わりに専用エンドポイントを使用します。

クイックルーティング

• 標準エンドポイントを作成して管理する
  • scripts/manage_endpoint.py または scripts/manage_endpoint.ts から始めます
  • references/api-reference.md を読みます
• ライフサイクルの調整またはトラブルシューティング
  • references/api-reference.md を読みます
• ファインチューニング済みモデルをデプロイする
  • scripts/deploy_finetuned.py から始めます
  • references/dedicated-models.md を読みます
• カスタムモデルをアップロードしてデプロイする
  • scripts/upload_custom_model.py から始めます
  • references/dedicated-models.md を読みます
• ハードウェアとサイズの選択
  • references/hardware-options.md を読みます

ワークフロー

1. サーバーレスやコンテナではなく、専用ホスティングが必要なタスクであることを確認します。
2. モデルの利用可否を確認し、使用可能なハードウェアを調べます。
3. スケーリングとタイムアウトの設定を明示してエンドポイントを作成します。
4. 推論トラフィックを送信する前に、準備が完了するまで待ちます。
5. ワークロードの実行が不要になったら、エンドポイントを停止または削除します。

重要なルール

• Python スクリプトには Together v2 SDK（together>=2.0.0）が必要です。古いバージョンを使用している場合は、先にアップグレードする必要があります：uv pip install --upgrade "together>=2.0.0"。
• モデルの利用可否とハードウェアの空き状況は利用を左右する制約です。早い段階で確認してください。
• エンドポイントの管理にはエンドポイント ID を使用し、推論では通常、エンドポイント名を model として使用します。
• オートスケーリング、自動シャットダウン、プロンプトキャッシュ、投機的デコードは、運用とコストに大きく影響します。
• カスタムモデルやファインチューニング済みモデルでは、デプロイ前の中間検証手順を省略しないでください。

リソース一覧

• API リファレンス：references/api-reference.md
• 運用管理とトラブルシューティング：references/api-reference.md
• 専用モデルガイド：references/dedicated-models.md
• ハードウェアガイド：references/hardware-options.md
• Python エンドポイントのライフサイクル：scripts/manage_endpoint.py
• TypeScript エンドポイントのライフサイクル：scripts/manage_endpoint.ts
• ファインチューニング済みモデルのデプロイ：scripts/deploy_finetuned.py
• カスタムモデルのアップロードとデプロイ：scripts/upload_custom_model.py

公式ドキュメント

• 専用エンドポイント
• エンドポイント API
• カスタムモデルのアップロードとデプロイ