mcpField
L
llm-ops

llm-ops

github.com/alphaonedev云与 DevOps46 次安装
代码仓库

关于 llm-ops

llm-ops 是用于 LLM 运维的技能，面向在生产环境部署和管理模型的团队。它通过 OpenClaw CLI 和 API 提供部署、按指标扩缩、监控及版本回滚操作。

主要功能

  1. 01部署云端 LLM
  2. 02按指标动态扩缩实例
  3. 03监控延迟、吞吐量与错误率
  4. 04模型版本管理与回滚
  5. 05生成 Kubernetes 清单

适用场景

  1. 01在生产环境部署 LLM
  2. 02按请求量调整模型实例
  3. 03监测模型运行指标
  4. 04更新后回滚至先前版本

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/alphaonedev/openclaw-graph --skill llm-ops

安装后在 Claude Code 中输入/llm-ops确认已加载。

详细介绍

llm-ops

用途

此技能可自动执行 AI/ML 运维中的大语言模型（LLM）部署、扩缩容和监控，管理 GPT 或 BERT 等模型变体的基础设施，确保高效的运行时管理。

使用时机

在生产环境中部署 LLM 时使用此技能，例如在流量高峰期间扩展聊天机器人后端、实时监控模型性能，或在基于 Kubernetes 的 ML 运维设置中更新模型。可将其应用于资源受限的环境，或将 LLM 集成到 CI/CD 流水线以实现自动化部署的场景。

主要功能

  • 将 LLM 部署到云服务提供商（例如 AWS、GCP），并自动进行容器化。
  • 根据 CPU 使用率或请求量等指标动态扩缩实例。
  • 通过集成仪表板监控延迟、吞吐量和错误率等关键指标。
  • 处理模型版本管理和回滚，确保安全更新。
  • 与 ELK stack 等日志工具集成，以进行详细追踪。

使用模式

要部署 LLM，首先设置用于身份验证的环境变量：export OPENCLAW_API_KEY=your_api_key。然后，使用 CLI 并指定相应标志来启动部署。要进行扩缩容，请监控指标并以编程方式触发调整。务必在命令中指定模型 ID 和目标环境，以避免冲突。通过 API 使用时，请在标头中包含 API 密钥，并处理异步操作的响应。

常用命令/API

使用 OpenClaw CLI 快速执行操作；命令前缀为 openclaw llm。调用 API 时，请将基础端点设为 https://api.openclaw.ai/llm，并包含标头 Authorization: Bearer $OPENCLAW_API_KEY。

  • 部署命令：openclaw llm deploy --model-id my-llm-123 --env production --replicas 3 --config-path ./config.json

    • config.json 示例：{"image": "my-llm-image:v1", "resources": {"cpu": "2", "memory": "4Gi"}}
    • 代码片段（Python）： 
      import requests
response = requests.post('https://api.openclaw.ai/llm/deploy', json={'model_id': 'my-llm-123', 'replicas': 3}, headers={'Authorization': f'Bearer {os.environ["OPENCLAW_API_KEY"]}'})
print(response.json())

  • 扩缩命令：openclaw llm scale --model-id my-llm-123 --scale-to 5 --metric cpu_utilization

    • 根据指定的指标阈值调整副本数量（例如，CPU 使用率 >80%）。
    • API 端点：POST /api/llm/scale，请求体：{"model_id": "my-llm-123", "scale_to": 5}

  • 监控命令：openclaw llm monitor --model-id my-llm-123 --duration 60 --output json

    • 将指标输出到标准输出或文件；使用 --alert-threshold 0.9 设置 CPU 告警。
    • API 端点：GET /api/llm/metrics?model_id=my-llm-123&duration=60

  • 回滚命令：openclaw llm rollback --model-id my-llm-123 --version v1.0

    • 回退到之前的模型版本；需要在配置中启用版本管理。

配置格式基于 JSON，例如：

{
  "model_id": "my-llm-123",
  "deployment": {
    "type": "kubernetes",
    "namespace": "aiml"
  }
}

集成说明

将此技能与现有 ML 运维工具集成，可将指标导出到 Prometheus，或使用 webhook 实现 CI/CD。对于 Kubernetes，请应用通过 openclaw llm generate-k8s --model-id my-llm-123 生成的清单。与其他 OpenClaw 技能组合时，可串联命令，例如 openclaw llm deploy && openclaw monitoring setup。使用环境变量存储密钥，例如在 .env 文件中设置 $OPENCLAW_API_KEY，并在 Python 脚本中通过 dotenv 加载。确保 API 端点可通过网络访问；配置防火墙以允许访问 api.openclaw.ai。

错误处理

检查命令退出码；例如，如果 openclaw llm deploy 以代码 1 失败，请解析错误消息以获取“未找到模型”等详细信息。在 API 响应中，处理 HTTP 状态码：401 表示身份验证问题（使用 export OPENCLAW_API_KEY=new_key 重试），404 表示模型缺失，500 表示服务端错误（等待后使用指数退避重试）。在代码片段中加入 try-except 块：

try:
    response = requests.post('https://api.openclaw.ai/llm/deploy', ...)
    response.raise_for_status()
except requests.exceptions.HTTPError as e:
    print(f"Error: {e.response.status_code} - {e.response.text}")
    sys.exit(1)

在文件中记录错误，可在 CLI 命令中使用 --log-file errors.log，并监控资源限制等常见问题。

具体用法示例

  1. 部署并扩缩 LLM：首先，导出 API 密钥：export OPENCLAW_API_KEY=abc123。使用以下命令部署模型：openclaw llm deploy --model-id gpt-finetuned --env staging --replicas 2。然后，根据负载扩缩模型：openclaw llm scale --model-id gpt-finetuned --scale-to 10 --metric request_rate。
  2. 监控并回滚：运行监控：openclaw llm monitor --model-id gpt-finetuned --duration 300。如果出现问题，回滚：openclaw llm rollback --model-id gpt-finetuned --version v2.1。

图关系

  • 相关：aimlops（集群）、llm（标签）、mlops（标签）
  • 依赖：用于 API 访问的身份验证服务
  • 集成：监控工具、Kubernetes 等部署编排器
  • 冲突：未指定；请确保多技能环境中没有重叠的模型 ID

评论

支持 Markdown