LEEVAR reliability battery

leevar-mcp

将 LEEVAR 可靠性测试套件作为 MCP 服务。无需离开编辑器，即可让 Claude、Cursor 或任何 MCP 客户端根据 18 项可靠性测试，为 AI Agent 的对话评分。

它本身不会评分，也绝不会靠猜测来弥补证据缺失。样本无法证明的维度会标记为 NOT TESTED；如果有证据的测试少于 18 项中的 13 项，则完全不会给出评分——工具会明确说明原因，而不是给出字母等级。

工具

工具	功能
leevar_scan_transcript	将 1–8 个真实对话样本发送到托管测试套件。返回扫描 ID。免费：每个电子邮件地址每月可扫描 5 次，无需账户。
leevar_scan_status	读取结果：状态、评分（仅在已给出评分时）、覆盖率和书面报告。
leevar_battery	列出 18 项测试——每项检查的内容及其检测到的失败——方便你挑选能覆盖这些测试的样本。

安装

需要 Node 18 或更高版本。该软件包直接从 v0.1.0 发布版本安装； 目前尚未发布到 npm 注册表。

Claude Desktop（claude_desktop_config.json）或 Cursor（.cursor/mcp.json）：

{
  "mcpServers": {
    "leevar": {
      "command": "npx",
      "args": ["-y", "https://github.com/forevercrab321-svg/leevar-battery/releases/download/v0.1.0/leevar-mcp-0.1.0.tgz"]
    }
  }
}

Claude Code：

claude mcp add leevar -- npx -y https://github.com/forevercrab321-svg/leevar-battery/releases/download/v0.1.0/leevar-mcp-0.1.0.tgz

也可以从源代码安装：克隆此仓库，在 packages/mcp 中运行 npm install，然后将客户端指向 node <clone>/packages/mcp/index.mjs。

然后可以这样提问：“列出 LEEVAR 测试套件，挑选三段能覆盖测试内容的客服机器人的对话，并扫描它们。”

你的数据

样本会发送到 LEEVAR 的托管服务，由第三方大模型在该服务上评分（其名称列于隐私页面），并在扫描完成 30 天后删除。每次扫描会使用该电子邮件地址每月 5 次免费扫描额度中的一次。 发送前，请移除 API 密钥、凭据和个人数据。工具描述会指示助手在发送任何内容前先征求你的同意。

若要完全在自己的机器上使用自选模型评分，请改用此仓库根目录中的扫描器（deno task scan）——除了调用你自己的模型提供商之外，不会有任何数据离开你的机器。

阅读结果

• 已给出评分 — Grade: B (composite 81.2)，并附有计算该评分所依据的覆盖率。除了字母等级，也要关注覆盖率。
• 未给出评分 — 样本未能为足够多的测试项提供证据。请发送更长的真实对话，以覆盖缺失的行为：用长对话串测试上下文处理，用重复任务测试一致性，用工具故障测试恢复能力。可能会显示参考平均值；这并非最终判定。
• 失败 — 说明失败原因、责任方，以及是否适合重试。如果问题出在 LEEVAR，免费扫描额度会退还。

开发

npm install
npm test          # all requests go to local fakes; no free scans are spent
npm run gen       # regenerate battery.json from packages/scanner-core (Deno)

LEEVAR_API_URL 可覆盖端点（测试会用它指向本地存根）。

MIT。