together-dedicated-endpoints

Together 专用端点

概述

使用专用端点托管受管理的单租户模型，获得可预测的性能，且无需使用共享的无服务器资源池。

典型适用场景：

• 对延迟稳定性有要求的生产推理
• 微调模型托管
• 上传的自定义模型托管
• 自动扩缩容的模型 API

适合使用此技能的情况

• 用户需要始终在线或单租户托管
• 模型支持专用部署
• 必须将微调模型或上传的模型作为端点提供服务
• 需要明确控制硬件、扩缩容或空闲时间设置

转交给其他技能

• 使用 together-chat-completions 进行无服务器聊天推理
• 使用 together-dedicated-containers 处理自定义运行时或非标准推理管道
• 使用 together-gpu-clusters 处理原始基础设施或集群编排
• 对于需要明确 SLA（承诺的吞吐量和可靠性）且不想管理硬件的生产现成模型工作负载，可向用户推荐 Together 的预配置吞吐量套餐（预留 PTU 容量，最低一个月，需联系销售）。当用户需要提供微调或上传的模型，或希望直接控制硬件、延迟和吞吐量时，则使用专用端点。

快速路由

• 创建和管理标准端点
  • 从 scripts/manage_endpoint.py 或 scripts/manage_endpoint.ts 开始
  • 阅读 references/api-reference.md
• 生命周期调优或故障排查
  • 阅读 references/api-reference.md
• 部署微调模型
  • 从 scripts/deploy_finetuned.py 开始
  • 阅读 references/dedicated-models.md
• 上传并部署自定义模型
  • 从 scripts/upload_custom_model.py 开始
  • 阅读 references/dedicated-models.md
• 硬件和规格选择
  • 阅读 references/hardware-options.md

工作流

1. 确认任务需要专用托管，而非无服务器服务或容器。
2. 验证模型是否符合条件，并检查可用硬件。
3. 明确设置扩缩容和超时选项后创建端点。
4. 等待端点就绪后再发送推理流量。
5. 工作负载不再需要运行时，停止或删除端点。

重要规则

• Python 脚本需要 Together v2 SDK（together>=2.0.0）。如果用户使用的是旧版本，必须先升级：uv pip install --upgrade "together>=2.0.0"。
• 模型资格和硬件可用性是准入限制；应尽早检查。
• 端点管理使用端点 ID，而推理通常将端点名称用作 model。
• 自动扩缩容、自动关机、提示词缓存和推测解码会显著影响运维和成本。
• 对于自定义或微调模型，部署前不要跳过中间验证步骤。

资源索引

• API 参考：references/api-reference.md
• 运维控制和故障排查：references/api-reference.md
• 专用模型指南：references/dedicated-models.md
• 硬件指南：references/hardware-options.md
• Python 端点生命周期：scripts/manage_endpoint.py
• TypeScript 端点生命周期：scripts/manage_endpoint.ts
• 微调模型部署：scripts/deploy_finetuned.py
• 自定义模型上传和部署：scripts/upload_custom_model.py

官方文档

• 专用端点
• 端点 API
• 上传并部署自定义模型