mcpField
R
ragmetric-mcp

ragmetric-mcp

本地服务
github.com/MukundaKatta记忆与知识020 周前更新
代码仓库

关于 ragmetric-mcp

ragmetric-mcp 是用于评估 RAG 检索效果的 MCP 服务，可计算常见信息检索指标，也能汇总多个带相关文档 ID 的查询结果。

主要功能

  1. 01计算 Recall@k 和 Hit@k
  2. 02计算 MRR 和 NDCG@k
  3. 03批量评估多条查询

适用场景

  1. 01根据已知相关文档衡量检索质量
  2. 02用一组查询比较不同版本的 RAG 检索器

MCP 相关

向 MCP 客户端提供检索指标计算和批量评估工具。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
  "mcpServers": {
    "mukundakatta-ragmetric": {
      "command": "npx",
      "args": [
        "-y",
        "@mukundakatta/ragmetric-mcp"
      ]
    }
  }
}
启动命令npx -y @mukundakatta/ragmetric-mcp

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包
npm@mukundakatta/ragmetric-mcp0.1.1

工具

5

收录的工具列表 · 更新于 2 周前

参数类型必填说明
kinteger是
relevantarray是相关文档 ID 的真值（二元相关性）。
retrievedarray是检索器按排名顺序返回的文档 ID。

详细介绍

@mukundakatta/ragmetric-mcp

用于 RAG 检索评估的 MCP 服务。让大模型按需计算 IR 指标：Recall@k、Hit@k、MRR、NDCG@k，以及一个方便使用的 evaluate_batch，可对多个查询运行全部四项指标。

工具

工具返回值
recall_at_k(retrieved, relevant, k)前 k 项中相关条目的占比
hit_at_k(retrieved, relevant, k)前 k 项中有任何相关条目则返回 1.0，否则返回 0
mrr(retrieved, relevant)首个相关条目排名的倒数；没有相关条目则返回 0
ndcg_at_k(retrieved, relevant, k)使用二元相关性（log2 折扣）的 NDCG@k
evaluate_batch(queries, k)多个查询各项指标的平均值

retrieved 和 relevant 是文档 ID（字符串）数组。

安装 — Claude Desktop

{
  "mcpServers": {
    "ragmetric": {
      "command": "npx",
      "args": ["-y", "@mukundakatta/ragmetric-mcp"]
    }
  }
}

安装 — Cursor / Cline / Windsurf / Zed

每个工具的配置格式相同。通过 stdio 运行 npx -y @mukundakatta/ragmetric-mcp。

使用场景

你正在迭代 RAG 检索器。将包含真实文档 ID 的查询 JSONL 交给大模型，让它调用 evaluate_batch，即可通过一次调用返回各项指标的平均值。无需 notebook、boto3 或 scikit-learn。

许可证

MIT OR Apache-2.0。

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。