关于 add-model
add-model 是用于向运行中的 LiteLLM proxy 添加 LLM 的技能，面向代理管理员。它收集模型名称、提供商和凭据，调用管理 API 添加模型并验证请求路由。
主要功能
- 01收集模型名称与提供商
- 02按提供商配置模型参数
- 03通过管理 API 添加模型
- 04发送聊天请求验证路由
- 05报告 model_id 与测试结果
适用场景
- 01将新模型接入现有 LiteLLM proxy
- 02验证代理是否能路由到指定模型
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/add-model确认已加载。
详细介绍
添加模型
向正在运行的 LiteLLM 代理添加新的大模型。
设置
如果尚不清楚，请询问以下信息：
LITELLM_BASE_URL — e.g. https://my-proxy.example.com
LITELLM_API_KEY — proxy admin key
API 参考：https://litellm.vercel.app/docs/proxy/model_management
询问用户
- 公共模型名称——调用方将在
"model": "..."中传入的名称（例如gpt-4o、my-claude、llama3） - 提供商——从下表中选择
- 凭据——该提供商所需的凭据
提供商表
| 提供商 | litellm_params.model | 额外参数 |
|---|---|---|
| OpenAI | openai/gpt-4o | api_key |
| Azure OpenAI | azure/<deployment-name> | api_key、api_base、api_version |
| Anthropic | anthropic/claude-3-5-sonnet-20241022 | api_key |
| AWS Bedrock | bedrock/anthropic.claude-3-5-sonnet-20241022-v2:0 | 通过环境变量提供 AWS 凭据 |
| Google Vertex | vertex_ai/gemini-1.5-pro | vertex_project、vertex_location |
| Ollama | ollama/llama3 | api_base（例如 http://localhost:11434） |
| Groq | groq/llama-3.3-70b-versatile | api_key |
| Together AI | together_ai/meta-llama/Llama-3-70b | api_key |
| Mistral | mistral/mistral-large-latest | api_key |
完整列表：https://docs.litellm.ai/docs/providers
运行
curl -s -X POST "$BASE/model/new" \
-H "Authorization: Bearer $KEY" \
-H "Content-Type: application/json" \
-d '{
"model_name": "<public-name>",
"litellm_params": {
"model": "<provider/deployment>",
"api_key": "<key>",
"api_base": "<base_if_needed>",
"api_version": "<version_if_azure>"
}
}'
测试
添加后，验证路由是否正常：
curl -s -X POST "$BASE/chat/completions" \
-H "Authorization: Bearer $KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "<public-name>",
"messages": [{"role": "user", "content": "say hi"}],
"max_tokens": 10
}'
输出
显示响应中的 model_id，以便之后更新或删除该模型。
报告测试调用通过或失败。
评论
支持 Markdown