metrillm

MetriLLM MCP サーバー

MetriLLM 用の MCP（Model Context Protocol）サーバーです。Claude Code、Cursor、Windsurf、Continue.dev、または MCP 対応クライアントから、ローカル LLM のベンチマークを直接実行できます。

クイックスタート

Claude Code

claude mcp add metrillm -- npx metrillm-mcp@latest

Claude Desktop

claude_desktop_config.json に追加します。

{
  "mcpServers": {
    "metrillm": {
      "command": "npx",
      "args": ["metrillm-mcp@latest"]
    }
  }
}

Cursor / Windsurf / Continue.dev

エディターの MCP 設定に追加します。

{
  "mcpServers": {
    "metrillm": {
      "command": "npx",
      "args": ["metrillm-mcp@latest"]
    }
  }
}

前提条件

• Node.js >= 20
• 次のローカルランタイムのいずれかが利用可能であること：
  • Ollama（ollama serve）
  • LM Studio（ローカルサーバーが有効であること）
• 選択したランタイムで少なくとも 1 つのモデルが利用可能であること

利用可能なツール

list_models

ローカルで利用可能な LLM モデルをすべて一覧表示します。

Param	Type	Default	Description
runtime	"ollama" | "lm-studio"	"ollama"	推論ランタイム

応答例：

{
  "models": [
    { "name": "llama3.2:3b", "size": 2019393189, "parameterSize": "3.2B", "quantization": "Q4_K_M", "family": "llama" }
  ],
  "count": 1
}

run_benchmark

ローカルモデルで総合ベンチマーク（パフォーマンス＋品質）を実行します。

Param	Type	Default	Description
model	string	(必須)	モデル名（例："llama3.2:3b"）
runtime	"ollama" | "lm-studio"	"ollama"	推論ランタイム
perfOnly	boolean	false	true の場合、パフォーマンスのみを測定します（品質評価はスキップします）

応答例：

{
  "success": true,
  "model": "llama3.2:3b",
  "verdict": "GOOD",
  "globalScore": 65,
  "performance": {
    "tokensPerSecond": 42.5,
    "ttftMs": 120,
    "memoryUsedGB": 2.1,
    "memoryPercent": 13
  },
  "interpretation": "This model runs well on your hardware."
}

get_results

ローカルに保存された以前のベンチマーク結果を取得します。

Param	Type	Default	Description
model	string	(任意)	モデル名で絞り込みます（部分一致）
runtime	"ollama" | "lm-studio"	"ollama"	推論ランタイム

share_result

結果を公開 MetriLLM リーダーボードにアップロードします。

Param	Type	Description
resultFile	string	結果 JSON ファイルの絶対パス

デフォルトでは、MetriLLM の公式アップロード設定を使用します。

セルフホスト環境／ステージング環境での任意の上書き設定：

• METRILLM_SUPABASE_URL
• METRILLM_SUPABASE_ANON_KEY
• METRILLM_PUBLIC_RESULT_BASE_URL

アーキテクチャ

MCP サーバーは、既存の MetriLLM CLI ロジックを薄くラップしたものです。

mcp/src/index.ts  → MCP entry point (stdio transport)
mcp/src/tools.ts  → Tool definitions + calls to CLI modules
    ↓
../src/core/      → CLI logic reused directly
../src/commands/  → CLI commands (bench, list)

コードの重複はありません。MCP サーバーは CLI モジュールを直接インポートします。

対応ランタイム

Runtime	Status
Ollama	対応
LM Studio	対応
MLX	対応予定
llama.cpp	対応予定
vLLM	対応予定

マルチランタイム対応に備え、すべてのツールに runtime パラメーターがあります。未実装のランタイムを指定すると、明確なエラーが返されます。

ライセンス

Apache License 2.0