mcpField
R
ragmetric-mcp

ragmetric-mcp

ローカル
github.com/MukundaKattaメモリ・ナレッジ020 週間前に更新
リポジトリ

ragmetric-mcp について

ragmetric-mcpは、標準的な情報検索指標でRAG検索を評価するMCPサーバーです。個別指標の計算に加え、関連文書IDが設定された複数クエリの平均評価も行えます。

主な機能

  1. 01Recall@kとHit@kの計算
  2. 02MRRとNDCG@kの計算
  3. 03複数クエリの一括評価

活用シーン

  1. 01既知の関連文書に基づく検索品質の測定
  2. 02クエリセットを使ったRAG検索器の版ごとの比較

MCP 対応

検索指標の計算と一括評価を行うツールをMCPクライアントに提供します。

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定
{
  "mcpServers": {
    "mukundakatta-ragmetric": {
      "command": "npx",
      "args": [
        "-y",
        "@mukundakatta/ragmetric-mcp"
      ]
    }
  }
}
起動コマンドnpx -y @mukundakatta/ragmetric-mcp

ローカルサーバーにはマシン上の実行環境（Node.js 18 以上など）が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ
npm@mukundakatta/ragmetric-mcp0.1.1

ツール

5

掲載時のツール一覧 · 2 週間前に更新

パラメーター型必須説明
kintegerはい
relevantarrayはい関連ドキュメント ID の正解データ（二値関連性）。
retrievedarrayはい検索器が返したドキュメント ID（順位順）。

詳細

@mukundakatta/ragmetric-mcp

RAG 検索評価用の MCP サーバーです。LLM が必要に応じて IR 指標を計算できます。Recall@k、Hit@k、MRR、NDCG@kに加え、多数のクエリに対して4つすべてを実行する便利な**evaluate_batch**も利用できます。

ツール

ツール戻り値
recall_at_k(retrieved, relevant, k)上位 k 件に含まれる関連アイテムの割合
hit_at_k(retrieved, relevant, k)上位 k 件に関連アイテムがあれば 1.0、なければ 0
mrr(retrieved, relevant)最初の関連アイテムの順位の逆数。関連アイテムがなければ 0
ndcg_at_k(retrieved, relevant, k)二値関連度（log2 割引）での NDCG@k
evaluate_batch(queries, k)複数のクエリにわたる各指標の平均

retrieved と relevant はドキュメント ID（文字列）の配列です。

インストール — Claude Desktop

{
  "mcpServers": {
    "ragmetric": {
      "command": "npx",
      "args": ["-y", "@mukundakatta/ragmetric-mcp"]
    }
  }
}

インストール — Cursor / Cline / Windsurf / Zed

ツールごとの形式は同じです。標準入出力経由で npx -y @mukundakatta/ragmetric-mcp を実行します。

使用例

RAG リトリーバーを調整しているとします。正解のドキュメント ID を含むクエリの JSONL を LLM に渡し、evaluate_batch の呼び出しを依頼すると、平均指標が1回の呼び出しで返されます。ノートブックも、boto3 も、scikit-learn も不要です。

ライセンス

MIT OR Apache-2.0.

コメント

Markdown 対応

MCP は初めてですか？

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。