Calibration Explorer

Name: Calibration Explorer
Author: m-sanchez

本地服务

github.com数据与分析03 周前更新

代码仓库访问官网

关于 Calibration Explorer

Calibration Explorer 是本地 MCP 服务，用于评估分类器置信度与准确率是否相符，并在项目中生成报告。它可拟合温度缩放并评估接受阈值，但不会训练或运行分类器。

主要功能

01加载选定的预测文件
02评估置信度校准情况
03拟合温度缩放
04评估并锁定接受阈值
05生成 HTML 和 JSON 报告

适用场景

01核对置信度与分类器准确率
02使用校准数据行调整预测
03基于策略验证数据设定接受阈值
04在项目中保存评估报告

MCP 相关

本地 stdio MCP 服务提供加载和评估预测、拟合温度、设置策略、审核测试结果及生成报告的工具。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "m-sanchez-calibration-explorer": {
      "command": "npx",
      "args": [
        "-y",
        "@m-sanchez/calibration-explorer-mcp"
      ]
    }
  }
}

启动命令npx -y @m-sanchez/calibration-explorer-mcp

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

npm@m-sanchez/calibration-explorer-mcp0.2.0stdio

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

Calibration Explorer MCP

适用于 Calibration Explorer 的本地 stdio MCP 服务。它会检查分类器保存的置信度是否与其正确率相符，使用校准数据行拟合一个温度参数，在策略验证数据行上评估并锁定接受阈值，然后在项目中写入 HTML 和 JSON 评估报告。

它会读取你选定的预测文件，使用与浏览器应用相同的解析器、数值库、工作流保护机制和报告生成器，不会训练或运行分类器。它不会收集遥测数据，也不会连接远程服务。不过，返回的摘要仍可能发送给 MCP 客户端的模型提供商。

与 Claude Code 配合使用

保存此配置，并将两个目录都替换为已存在的绝对路径：

{
  "mcpServers": {
    "calibration": {
      "type": "stdio",
      "command": "npx",
      "args": [
        "-y", "@m-sanchez/[email protected]",
        "--input-root", "ABSOLUTE_PREDICTION_DIRECTORY",
        "--output-root", "ABSOLUTE_REPORT_DIRECTORY"
      ]
    }
  }
}

然后运行 claude --mcp-config calibration.mcp.json --strict-mcp-config 并检查 /mcp。已验证的客户端是 Claude Code 交互式终端，测试时服务从代码库检出目录运行；此 npm 方式和插件已通过全新安装测试套件，但尚未在 Claude Code 中完成完整会话测试。我们不声称其他 MCP 宿主已通过验证。需要 Node.js 20 或更高版本。

--input-root 和 --output-root 为必填项，且可重复指定。拒绝访问这些目录之外的路径，报告仅写入新文件夹，绝不会覆盖现有文件。--help 和 --version 会输出信息并退出。

工具

load_predictions、assess_predictions、fit_temperature、set_policy、review_test 和 create_report。在 review_test 通过客户端的引导表单收到明确决定之前，不会打开测试结果。输入格式、完整工作流、披露规则和限制详见 docs/mcp.md。

软件包内容

dist/cli.js 是服务器、共享应用模块以及 @m-sanchez/calibrated 的可读、未压缩打包文件，内容来自应用锁定的确切 Git 提交。官方 MCP TypeScript SDK 和 zod 均作为运行时依赖精确锁定版本。UCI digits 参考数据集随 CC BY 4.0 署名信息一并包含在 public/examples 中。报告会记录应用源码和数值分布的哈希值；这些哈希值与同一提交的代码库检出版本一致。dist/NOTICE.txt 列出了这些信息及随附许可证。