llm-ops

llm-ops

目的

このスキルは、AI/ML オペレーションにおける大規模言語モデル（LLM）のデプロイ、スケーリング、監視を自動化します。GPT や BERT の各種モデルなどのインフラストラクチャーを管理し、効率的な実行時管理を実現します。

使用するタイミング

ピーク時のトラフィックに合わせたチャットボットのバックエンドのスケーリング、モデルのパフォーマンスのリアルタイム監視、Kubernetes ベースの ML オペレーション環境でのモデルの更新など、本番環境に LLM をデプロイするときにこのスキルを使用します。リソースが制約された環境や、自動デプロイ用の CI/CD パイプラインに LLM を統合するシナリオにも適用してください。

主な機能

• 自動コンテナ化により、クラウドプロバイダー（例：AWS、GCP）に LLM をデプロイします。
• CPU 使用率やリクエスト数などのメトリクスに基づいて、インスタンスを動的にスケーリングします。
• 統合ダッシュボードを通じて、レイテンシー、スループット、エラー率などの主要なメトリクスを監視します。
• 安全に更新できるよう、モデルのバージョン管理とロールバックに対応します。
• 詳細なトレース用に、ELK スタックなどのログツールと統合します。

使用パターン

LLM をデプロイするには、まず認証用の環境変数を設定します：export OPENCLAW_API_KEY=your_api_key。次に、CLI を使って、特定のフラグを指定してデプロイを開始します。スケーリングする場合は、メトリクスを監視し、プログラムで調整を実行します。競合を避けるため、コマンドでは必ずモデル ID と対象環境を指定してください。API を使用する場合は、ヘッダーに API キーを含め、非同期処理のレスポンスを適切に処理してください。

主なコマンド/API

簡単な操作には OpenClaw CLI を使用します。コマンドの先頭に openclaw llm を付けてください。API 呼び出しでは、ベースエンドポイント https://api.openclaw.ai/llm を指定し、ヘッダー Authorization: Bearer $OPENCLAW_API_KEY を含めます。

• デプロイコマンド：openclaw llm deploy --model-id my-llm-123 --env production --replicas 3 --config-path ./config.json

  • config.json の設定例：{"image": "my-llm-image:v1", "resources": {"cpu": "2", "memory": "4Gi"}}
  • コードスニペット（Python）：

    import requests
    response = requests.post('https://api.openclaw.ai/llm/deploy', json={'model_id': 'my-llm-123', 'replicas': 3}, headers={'Authorization': f'Bearer {os.environ["OPENCLAW_API_KEY"]}'})
    print(response.json())
    

• スケーリングコマンド：openclaw llm scale --model-id my-llm-123 --scale-to 5 --metric cpu_utilization

  • 指定したメトリクスのしきい値（例：CPU 使用率が 80％超）に基づいて、レプリカ数を調整します。
  • API エンドポイント：POST /api/llm/scale、リクエストボディ：{"model_id": "my-llm-123", "scale_to": 5}

• 監視コマンド：openclaw llm monitor --model-id my-llm-123 --duration 60 --output json

  • メトリクスを標準出力またはファイルに出力します。CPU アラートには --alert-threshold 0.9 を使用してください。
  • API エンドポイント：GET /api/llm/metrics?model_id=my-llm-123&duration=60

• ロールバックコマンド：openclaw llm rollback --model-id my-llm-123 --version v1.0

  • 以前のモデルバージョンに戻します。設定でバージョン管理を有効にする必要があります。

設定形式は JSON ベースです。例：

{
  "model_id": "my-llm-123",
  "deployment": {
    "type": "kubernetes",
    "namespace": "aiml"
  }
}

統合に関する注意事項

メトリクスを Prometheus にエクスポートするか、CI/CD 用の Webhook を使用して、このスキルを既存の ML オペレーションツールと統合してください。Kubernetes では、openclaw llm generate-k8s --model-id my-llm-123 で生成したマニフェストを適用します。他の OpenClaw スキルと組み合わせる場合は、openclaw llm deploy && openclaw monitoring setup のようにコマンドを連結します。シークレットには環境変数を使用してください。たとえば、.env ファイルで $OPENCLAW_API_KEY を設定し、Python スクリプトで dotenv を使って読み込みます。API エンドポイントにネットワーク経由でアクセスできることを確認してください。api.openclaw.ai への通信を許可するようにファイアウォールを設定します。

エラー処理

コマンドの終了コードを確認してください。たとえば、openclaw llm deploy がコード 1 で失敗した場合は、エラーメッセージを解析し、「Model not found」などの詳細を確認します。API レスポンスでは、HTTP ステータスコードを処理してください。認証の問題を示す 401 の場合は（export OPENCLAW_API_KEY=new_key を実行して）再試行し、モデルが見つからないことを示す 404 の場合はその旨を処理します。サーバーエラーを示す 500 の場合は、待機して指数バックオフで再試行してください。コードスニペットには try-except ブロックを含めてください。

try:
    response = requests.post('https://api.openclaw.ai/llm/deploy', ...)
    response.raise_for_status()
except requests.exceptions.HTTPError as e:
    print(f"Error: {e.response.status_code} - {e.response.text}")
    sys.exit(1)

CLI コマンドで --log-file errors.log を使用してエラーをファイルに記録し、リソース制限などのよくある問題がないか監視してください。

具体的な使用例

1. LLM のデプロイとスケーリング：まず、API キーをエクスポートします。export OPENCLAW_API_KEY=abc123。次に、モデルをデプロイします。openclaw llm deploy --model-id gpt-finetuned --env staging --replicas 2。その後、負荷に応じてスケーリングします。openclaw llm scale --model-id gpt-finetuned --scale-to 10 --metric request_rate。
2. 監視とロールバック：監視を実行します。openclaw llm monitor --model-id gpt-finetuned --duration 300。問題が発生した場合は、ロールバックします。openclaw llm rollback --model-id gpt-finetuned --version v2.1。

グラフの関係

• 関連：aimlops（クラスター）、llm（タグ）、mlops（タグ）
• 依存：API アクセス用の認証サービス
• 統合：監視ツール、Kubernetes などのデプロイオーケストレーター
• 競合：指定なし。複数のスキルが存在する環境では、モデル ID が重複しないようにしてください。