mcpField
T
together-dedicated-containers

together-dedicated-containers

github.com/togethercomputer云与 DevOps3987 次安装2 周前更新
代码仓库

关于 together-dedicated-containers

面向需要自定义推理运行时的开发者，说明如何使用 Together Dedicated Container Inference 构建和部署容器化工作器。涵盖 Sprocket 请求处理、Jig 部署及队列异步作业流程。

主要功能

  1. 01构建自定义推理工作器
  2. 02配置容器依赖与运行时
  3. 03使用 Jig 构建和部署
  4. 04通过队列提交异步作业
  5. 05轮询进度并获取结果

适用场景

  1. 01部署定制化推理工作器
  2. 02运行图像、视频或多模态流水线
  3. 03为异步任务添加进度跟踪

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/togethercomputer/skills --skill together-dedicated-containers

安装后在 Claude Code 中输入/together-dedicated-containers确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

agents/
openai.yaml
references/
jig-cli.md
sprocket-sdk.md
scripts/
queue_client.py
queue_client.ts
sprocket_hello_world.py

详细介绍

Together 专用容器

概览

当用户需要自定义运行时，而不只是托管模型时，请使用 Dedicated Container Inference。

核心构建模块：

  • Jig CLI 用于构建和部署
  • Sprocket SDK 用于在容器内处理请求
  • Queue API 用于异步作业

适用场景

  • 部署自定义推理工作器
  • 将自定义依赖项或运行时逻辑打包到容器中
  • 使用基于队列的异步处理和进度跟踪
  • 运行专用的图像、视频或多模态流水线

转交给其他技能

  • 对于无需自定义容器的标准模型托管，请使用 together-dedicated-model-inference
  • 对于完全掌控集群和编排，请使用 together-gpu-clusters
  • 如果无服务器产品已能满足任务需求，请使用 together-chat-completions、together-images 或 together-video

快速指引

工作流

  1. 确认用户确实需要自定义容器运行时。
  2. 使用 Sprocket 的请求生命周期实现工作器。
  3. 配置 pyproject.toml，设置映像、运行时、自动扩缩和挂载。
  4. 使用 Jig 部署。
  5. 通过队列 API 提交作业并轮询，直到完成。

重要规则

  • Python 脚本需要 Together v2 SDK（together>=2.0.0）。如果用户使用的是较旧版本，必须先升级：uv pip install --upgrade "together>=2.0.0"。
  • 除非运行时或流水线确实需要自定义，否则优先使用专用端点而非容器。
  • 将工作器契约和 pyproject.toml 视为部署行为的事实依据。
  • 对部署名称、队列输入和资源规格进行参数化，而不是硬编码。
  • 基于队列的作业默认是异步的；请在客户端代码中处理轮询和结果获取。

资源索引

官方文档

评论

支持 Markdown