LEEVAR reliability battery

leevar-mcp

LEEVAR 信頼性バッテリーを MCP サーバーとして提供します。Claude、Cursor、または任意の MCP クライアントに依頼することで、エディターを離れずに AI エージェントの会話を 18 項目の信頼性テストで評価できます。

このツール自体は何も評価せず、推測で証拠の不足を補うこともありません。サンプルから証拠を確認できない項目は NOT TESTED となり、証拠のあるテストが 18 項目中 13 項目に満たない場合は、評価を発行せず、その旨を伝えます。文字の評価を出力することはありません。

ツール

ツール	機能
leevar_scan_transcript	1〜8 件の実際の会話サンプルをホスト型バッテリーに送信します。スキャン ID を返します。無料で、アカウント登録なしで、メールアドレス 1 件につき月 5 回スキャンできます。
leevar_scan_status	結果を取得します。ステータス、評価（発行された場合のみ）、カバレッジ、記述式レポートを確認できます。
leevar_battery	18 項目のテストを一覧表示します。それぞれのテスト内容と検出する失敗がわかるため、テストを実施できるサンプルを選べます。

インストール

Node 18 以降が必要です。パッケージは v0.1.0 リリースから直接インストールします。 npm レジストリにはまだ公開されていません。

Claude Desktop（claude_desktop_config.json）または Cursor（.cursor/mcp.json）：

{
  "mcpServers": {
    "leevar": {
      "command": "npx",
      "args": ["-y", "https://github.com/forevercrab321-svg/leevar-battery/releases/download/v0.1.0/leevar-mcp-0.1.0.tgz"]
    }
  }
}

Claude Code：

claude mcp add leevar -- npx -y https://github.com/forevercrab321-svg/leevar-battery/releases/download/v0.1.0/leevar-mcp-0.1.0.tgz

ソースから利用する場合は、このリポジトリをクローンし、packages/mcp で npm install を実行してから、クライアントの接続先に node <clone>/packages/mcp/index.mjs を指定します。

たとえば、次のように依頼できます。「LEEVAR バッテリーの一覧を表示し、サポートボットの会話からテストを網羅する 3 件を選んでスキャンしてください。」

データについて

サンプルは LEEVAR のホスト型サービスに送信され、そこでサードパーティの言語モデル（モデル名はプライバシーページに記載）によって評価されます。スキャン完了から 30 日後に削除されます。スキャン 1 回につき、メールアドレスに割り当てられた月 5 回分の無料スキャンのうち 1 回を使用します。 送信する前に、API キー、認証情報、個人データを削除してください。ツールの説明では、何かを送信する前にアシスタントがユーザーに確認するよう指示しています。

選択したモデルを使い、すべてを自分のマシン上で評価するには、このリポジトリのルートにあるスキャナーを使用してください（deno task scan）。自身のモデルプロバイダーへの呼び出し以外で、データがマシンの外に出ることはありません。

結果の読み方

• 評価が発行された場合 — Grade: B (composite 81.2) のように、評価に使用したカバレッジとともに表示されます。評価の文字だけでなく、カバレッジも基準にしてください。
• 評価なし — サンプルからバッテリーを評価するのに十分な証拠を確認できませんでした。不足している動作を試せる、より長い実際の会話を送信してください。たとえば、コンテキストの評価には長いスレッド、一貫性の評価には繰り返しのタスク、リカバリーの評価にはツールの失敗が適しています。参考平均が表示されることもありますが、これは判定ではありません。
• 失敗 — 理由、責任の所在、再試行が適切かどうかが示されます。LEEVAR 側の問題の場合、無料スキャンは返還されます。

開発

npm install
npm test          # all requests go to local fakes; no free scans are spent
npm run gen       # regenerate battery.json from packages/scanner-core (Deno)

LEEVAR_API_URL でエンドポイントを上書きできます（テストではローカルのスタブを指定するために使用します）。

MIT。