mcpField
T
together-gpu-clusters

together-gpu-clusters

github.com/togethercomputer云与 DevOps3984 次安装2 周前更新
代码仓库

关于 together-gpu-clusters

together-gpu-clusters 是用于规划和运维 Together AI GPU 集群的技能，适合需要控制底层集群基础设施的工作负载。它涵盖容量、编排、存储、凭据、扩缩容和节点健康检查。

主要功能

  1. 01创建并管理 GPU 集群
  2. 02选择按需或预留容量
  3. 03选择 Kubernetes 或 Slurm
  4. 04管理共享存储和凭据
  5. 05扩缩集群并检查节点健康

适用场景

  1. 01运行分布式训练工作负载
  2. 02运行多节点推理
  3. 03运行 HPC 或 Slurm 工作负载
  4. 04部署自定义 Kubernetes 作业

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/togethercomputer/skills --skill together-gpu-clusters

安装后在 Claude Code 中输入/together-gpu-clusters确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

agents/
openai.yaml
references/
api-reference.md
cli.md
cluster-management.md
pricing-and-discovery.md
scripts/
manage_cluster.py
manage_cluster.ts
manage_storage.py

详细介绍

Together GPU 集群

概述

当用户需要基础设施控制能力，而不是托管推理产品时，使用 Together AI GPU 集群。

典型适用场景：

  • 分布式训练
  • 多节点推理
  • HPC 或 Slurm 工作负载
  • 自定义 Kubernetes 作业
  • 附加共享存储和集群生命周期管理

适用场景

  • 配置集群并持续管理
  • 在按需容量和预留容量之间进行选择
  • 选择 Kubernetes 或 Slurm 作为编排层
  • 管理共享卷和凭据
  • 扩容、缩容或排查节点运行状况问题

转交给其他技能

  • 使用 together-dedicated-model-inference 托管单模型
  • 使用 together-dedicated-containers 执行容器化推理，而无需拥有完整集群
  • 使用 together-sandboxes 执行短期远程 Python 代码
  • 使用 together-fine-tuning 执行托管训练作业，而不是直接操作集群

快速路由

工作流

  1. 判断工作负载是否确实需要集群级控制能力。
  2. 根据运行时长和基准利用率，在按需计费与预留计费之间进行选择。
  3. 根据编排要求和团队工具，选择 Kubernetes 或 Slurm。
  4. 选择区域、GPU 类型、驱动程序版本和共享存储方案。
  5. 先配置集群，再添加访问凭据、部署工作负载、扩缩容和运行状况检查。

高优先级规则

  • Python 脚本需要 Together v2 SDK（together>=2.0.0）。如果用户使用的是较旧版本，必须先升级：uv pip install --upgrade "together>=2.0.0"。
  • 除非用户明确需要直接控制底层基础设施，否则优先使用托管产品。
  • 将存储生命周期与集群生命周期分开处理；卷的生命周期可能长于集群。
  • 使用新的共享存储创建集群时，优先使用内联 shared_volume，而不是单独创建卷后再通过 volume_id 挂载。单独创建的卷可能位于与集群不同的数据中心分区，导致出现“数据中心中不存在”错误，即使该卷显示为可用。
  • GPU 缺货（409 “缺货”）很常见。务必先调用 list_regions()，并做好尝试多个区域的准备。
  • 区域响应报告的是支持的配置，不是价格，也不保证有库存。切勿根据响应顺序或硬件代际推断哪款 GPU 最便宜；请打开 GPU 集群定价表，比较具体的按需费率。
  • GPU 集群至少需要 8 块 GPU。估算每小时费用时，将显示的每 GPU 小时费率乘以至少 8。
  • ON_DEMAND 没有表示一小时期限的标志。若计划使用一小时，请省略 --duration-days，仅在获得授权后创建集群，并在预期运行时间结束后删除集群。如果用户要求提供命令但不进行配置，则打印命令，但不要运行。
  • 除组合字段 driver_version 外，API 还要求分别提供 cuda_version 和 nvidia_driver_version 字段。在 Python SDK 中通过 extra_body 传递这些字段。
  • 获取凭据是配置流程的一部分。如果用户需要立即运行工作负载，不要在创建集群后就停止。
  • Slurm 和 Kubernetes 的运维模式有实质差异；在自行处理前，请先阅读集群管理参考文档。
  • 对于重复的集群操作，请从脚本开始，而不是重新构造请求格式。
  • Slurm 启动脚本（工作节点/登录节点初始化、工作节点/控制器前置与后置脚本、额外的 slurm.conf）仅适用于 Slinky v1.0。工作节点前置或后置脚本返回非零退出码会导致节点被停用；在任何前置或后置脚本中调用 Slurm 命令（squeue、scontrol、sacctmgr）都可能使调度器死锁。

资源索引

官方文档

评论

支持 Markdown