llmtest-mcp

LLMTest MCP 服务

一款 MCP 服务，可根据你的实际提示词对 AI 模型进行基准测试，并寻找更便宜、更快速的替代方案。适用于 Claude Code、Cursor、Windsurf 以及任何兼容 MCP 的工具。

快速开始

1. 获取 API 密钥

在 llmtest.io 注册，并从控制面板获取 API 密钥。

2. 添加到工具

Claude Code：

claude mcp add llmtest -- npx llmtest-mcp

然后设置密钥：

export LLMTEST_API_KEY=llmt_your_key_here

Cursor / Windsurf / 其他 MCP 客户端：

添加到 MCP 配置文件：

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": ["llmtest-mcp"],
      "env": {
        "LLMTEST_API_KEY": "llmt_your_key_here"
      }
    }
  }
}

3. 与 AI 对话

直接用自然语言提问：

• “检查我的 LLMTest 状态”
• “为我的 AI 调用寻找更便宜的模型”
• “对我的博客撰写工作流运行基准测试”
• “哪些模型正在流行？”

工作原理

LLMTest 是一个位于你的应用与 AI 提供商之间的代理。将应用指向 https://llmtest.io/v1，而不是直接调用 OpenAI/Anthropic，LLMTest 就会跟踪你的使用情况、对替代方案进行基准测试，并推荐节省成本的方法。

此 MCP 服务可让你的 AI 助手使用 LLMTest 的工具，为你管理一切。

可用工具

工具	描述
status	显示代理状态和活动摘要
list_flows	列出所有 AI 工作流及其成本和延迟统计信息
get_suggestions	获取待处理的模型切换建议
update_suggestion	接受或忽略建议
run_benchmark	使用候选模型对某个工作流进行基准测试
optimize_prompt	改写某个工作流的提示词，并寻找仍能正常工作的更便宜模型
seed_samples	添加测试提示词，以便在上线前进行基准测试
list_samples	显示每个工作流已存储的测试样本
list_new_models	显示新模型和热门模型
get_account	查看额度余额和使用情况
get_autopilot_status	检查自动驾驶是否已开启，以及账户是否符合条件
enable_autopilot	开启每周自动优化，包含安全门控和基于漂移的自动回滚
disable_autopilot	关闭自动驾驶（现有优化仍然生效）
list_active_optimizations	列出仍处于 24 小时回滚窗口内的自动接受优化
revert_optimization	将自动接受的优化回滚到之前的提示词

自动驾驶

自动驾驶会按每周周期自动优化你的工作流。通过所有安全门控的变更将立即生效，并有 24 小时回滚窗口。之后，漂移检测会持续检查；如果质量下降，就会回滚。

在 IDE 中启用： 让你的 AI 助手执行类似“启用 LLMTest 自动驾驶”的操作。它会调用 enable_autopilot。使用 get_autopilot_status 确认前置条件。

前置条件（每个周期都会逐个工作流检查）：

• 账户已启用自动驾驶
• 已验证邮箱
• 账户已创建 ≥ 14 天（信任积累期）
• 过去 7 天内，该工作流至少有 ≥ 20 次真实调用
• 过去 14 天内，该工作流未由自动驾驶进行过优化（冷却期）
• 额度余额为正（每次运行约需 $1–2）

安全门控（自动接受须全部通过）：95% 置信区间的下界 > 50% 胜率、多评审器一致性 ≥ 80%、总节省 ≥ 20%、无长度偏差警告、通过黄金集回归检查。

回滚： 自动接受后的 24 小时内可回滚。此后，只能通过漂移检测进行回滚。

典型工作流

上线前（尚无流量）：

1. 告诉 AI：“我正在使用 gpt-4o 构建一个客服聊天机器人”
2. AI 使用 seed_samples 生成逼真的测试样本
3. AI 运行 run_benchmark 比较模型
4. AI 使用 get_suggestions 向你展示更便宜的替代方案

上线后（已有真实流量）：

1. 通过 https://llmtest.io/v1 路由 AI 调用
2. LLMTest 监控使用情况，并在工作流达到 50 次以上调用时自动运行基准测试
3. 询问“有什么节省成本的建议吗？”，查看推荐
4. 接受一条建议并更新代码

环境变量

变量	必需	说明
LLMTEST_API_KEY	是	你的 API 密钥，可从 llmtest.io/dashboard 获取
LLMTEST_BASE_URL	否	自定义 API URL（默认为 https://llmtest.io）

链接

• 网站
• 控制面板
• 文档
• GitHub
• npm

许可证

MIT