add-model

モデルの追加

稼働中の LiteLLM プロキシに新しい LLM を追加します。

セットアップ

まだわかっていない場合は、次の情報を確認してください。

LITELLM_BASE_URL  — e.g. https://my-proxy.example.com
LITELLM_API_KEY   — proxy admin key

API リファレンス：https://litellm.vercel.app/docs/proxy/model_management

ユーザーへの確認事項

1. 公開モデル名 — 呼び出し元が "model": "..." に指定する名前です（例：gpt-4o、my-claude、llama3）
2. プロバイダー — 以下の表から選択します
3. 認証情報 — プロバイダーで必要となる情報です

プロバイダー一覧

プロバイダー	litellm_params.model	追加パラメーター
OpenAI	openai/gpt-4o	api_key
Azure OpenAI	azure/<deployment-name>	api_key、api_base、api_version
Anthropic	anthropic/claude-3-5-sonnet-20241022	api_key
AWS Bedrock	bedrock/anthropic.claude-3-5-sonnet-20241022-v2:0	環境変数経由の AWS 認証情報
Google Vertex	vertex_ai/gemini-1.5-pro	vertex_project、vertex_location
Ollama	ollama/llama3	api_base（例：http://localhost:11434）
Groq	groq/llama-3.3-70b-versatile	api_key
Together AI	together_ai/meta-llama/Llama-3-70b	api_key
Mistral	mistral/mistral-large-latest	api_key

完全な一覧：https://docs.litellm.ai/docs/providers

実行

curl -s -X POST "$BASE/model/new" \
  -H "Authorization: Bearer $KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model_name": "<public-name>",
    "litellm_params": {
      "model": "<provider/deployment>",
      "api_key": "<key>",
      "api_base": "<base_if_needed>",
      "api_version": "<version_if_azure>"
    }
  }'

テスト

追加後、ルーティングされることを確認します。

curl -s -X POST "$BASE/chat/completions" \
  -H "Authorization: Bearer $KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "<public-name>",
    "messages": [{"role": "user", "content": "say hi"}],
    "max_tokens": 10
  }'

出力

応答から model_id を表示します。これは後でモデルを更新または削除する際に必要です。 テスト呼び出しの合格／不合格を報告します。