mcpField
M
metrillm

metrillm

本地服务
github.com/MetriLLMAI 与智能体821 周前更新
代码仓库

关于 metrillm

MetriLLM 是供开发者评估本地 LLM 的 MCP 服务，支持 Ollama 和 LM Studio。它可列出模型、运行性能与质量基准测试、读取已保存结果，并将结果上传至公开排行榜。

主要功能

  1. 01列出本地可用模型
  2. 02测试速度与质量
  3. 03运行仅性能测试
  4. 04读取已保存的测试结果
  5. 05上传结果至公开排行榜

适用场景

  1. 01选择模型前比较本地模型
  2. 02检查模型在现有硬件上的性能
  3. 03查看或分享基准测试结果

MCP 相关

向 MCP 客户端提供列出本地模型、运行基准测试、读取结果及上传结果至公开排行榜的工具。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
  "mcpServers": {
    "metrillm-metrillm": {
      "command": "npx",
      "args": [
        "-y",
        "metrillm-mcp"
      ]
    }
  }
}
启动命令npx -y metrillm-mcp

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包
npmmetrillm-mcp0.2.6

工具

4

收录的工具列表 · 更新于 2 周前

参数类型必填说明
runtimeenum否要使用的推理运行时（ollama | lm-studio）。ollama | lm-studio

详细介绍

MetriLLM MCP 服务

npm version

MetriLLM 的 MCP（模型上下文协议）服务 — 可直接通过 Claude Code、Cursor、Windsurf、Continue.dev 或任何兼容 MCP 的客户端对本地大模型进行基准测试。

快速开始

Claude Code
claude mcp add metrillm -- npx metrillm-mcp@latest
Claude Desktop

添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "metrillm": {
      "command": "npx",
      "args": ["metrillm-mcp@latest"]
    }
  }
}
Cursor / Windsurf / Continue.dev

添加到编辑器的 MCP 配置中：

{
  "mcpServers": {
    "metrillm": {
      "command": "npx",
      "args": ["metrillm-mcp@latest"]
    }
  }
}

前置条件

  • Node.js >= 20
  • 至少有一种可用的本地运行时：
  • 所选运行时上至少有一个可用模型

可用工具

list_models

列出所有本地可用的大模型。

ParamTypeDefaultDescription
runtime"ollama" | "lm-studio""ollama"推理运行时

响应示例：

{
  "models": [
    { "name": "llama3.2:3b", "size": 2019393189, "parameterSize": "3.2B", "quantization": "Q4_K_M", "family": "llama" }
  ],
  "count": 1
}
run_benchmark

对本地模型运行完整基准测试（性能 + 质量）。

ParamTypeDefaultDescription
modelstring(required)模型名称（例如 "llama3.2:3b"）
runtime"ollama" | "lm-studio""ollama"推理运行时
perfOnlybooleanfalse若为 true，则仅测量性能（跳过质量测试）

响应示例：

{
  "success": true,
  "model": "llama3.2:3b",
  "verdict": "GOOD",
  "globalScore": 65,
  "performance": {
    "tokensPerSecond": 42.5,
    "ttftMs": 120,
    "memoryUsedGB": 2.1,
    "memoryPercent": 13
  },
  "interpretation": "This model runs well on your hardware."
}
get_results

获取本地存储的历史基准测试结果。

ParamTypeDefaultDescription
modelstring(optional)按模型名称筛选（子字符串匹配）
runtime"ollama" | "lm-studio""ollama"推理运行时
share_result

将结果上传到 MetriLLM 公共排行榜。

ParamTypeDescription
resultFilestring结果 JSON 文件的绝对路径

开箱即用地使用 MetriLLM 官方上传默认设置。

可自托管或用于 staging 部署的可选覆盖项：

  • METRILLM_SUPABASE_URL
  • METRILLM_SUPABASE_ANON_KEY
  • METRILLM_PUBLIC_RESULT_BASE_URL

架构

此 MCP 服务是对现有 MetriLLM CLI 逻辑的轻量封装：

mcp/src/index.ts  → MCP entry point (stdio transport)
mcp/src/tools.ts  → Tool definitions + calls to CLI modules
    ↓
../src/core/      → CLI logic reused directly
../src/commands/  → CLI commands (bench, list)

不重复编写代码 — MCP 服务直接导入 CLI 模块。

支持的运行时

RuntimeStatus
Ollama支持
LM Studio支持
MLX计划支持
llama.cpp计划支持
vLLM计划支持

每个工具都包含 runtime 参数，以便为多运行时支持做好准备。尚未实现的运行时会返回明确的错误信息。

许可证

Apache License 2.0

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。