Calibration Explorer について
Calibration Explorerは、分類器の信頼度と正解率の整合性を評価し、プロジェクト内にレポートを生成するローカルMCPサーバーです。温度スケーリングの適合と受け入れ閾値の評価ができ、分類器の学習や実行は行いません。
主な機能
- 01選択した予測ファイルの読み込み
- 02信頼度のキャリブレーション評価
- 03温度スケーリングの適合
- 04受け入れ閾値の評価と固定
- 05HTML・JSONレポートの作成
活用シーン
- 01信頼度と分類器の正解率を照合
- 02キャリブレーション行で予測を調整
- 03ポリシー検証行から受け入れ閾値を設定
- 04プロジェクト内に評価レポートを保存
MCP 対応
ローカルstdio MCPサーバーは、予測の読み込みと評価、温度適合、ポリシー設定、テスト結果の確認、レポート作成ツールを公開します。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
ツール
ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。
詳細
Calibration Explorer MCP
Calibration Explorer 用のローカル stdio MCP サーバーです。分類器に保存された信頼度が実際の正解率と一致しているかを確認し、キャリブレーション用の行データで温度を 1 つ適合させ、ポリシー検証用の行データで受け入れしきい値を評価して固定し、HTML および JSON の評価レポートをプロジェクトに書き込みます。
選択した予測ファイルを読み込み、ブラウザーアプリと同じパーサー、数値ライブラリ、ワークフローガード、レポートジェネレーターを使用します。分類器のトレーニングや実行は行いません。テレメトリーもリモートサービスもありません。ただし、返される概要は MCP クライアントのモデルプロバイダーに送信される可能性があります。
Claude Code で使用する
次の設定を保存し、両方のディレクトリを既存の絶対パスに置き換えてください。
{
"mcpServers": {
"calibration": {
"type": "stdio",
"command": "npx",
"args": [
"-y", "@m-sanchez/[email protected]",
"--input-root", "ABSOLUTE_PREDICTION_DIRECTORY",
"--output-root", "ABSOLUTE_REPORT_DIRECTORY"
]
}
}
}
次に、claude --mcp-config calibration.mcp.json --strict-mcp-config を起動し、/mcp を確認します。動作確認済みのクライアントは、チェックアウトから起動したサーバーでテストした Claude Code の対話型ターミナルです。この npm 経由の方法とプラグインはクリーンインストールのテストスイートに合格していますが、Claude Code での完全なセッションテストはまだ実施されていません。その他の MCP ホストについては、動作確認済みとはしていません。Node.js 20 以降が必要です。
--input-root と --output-root は必須で、繰り返し指定できます。これらのパス外へのアクセスは拒否され、レポートは新しいフォルダーにのみ保存され、既存のファイルが上書きされることはありません。--help と --version は表示後に終了します。
ツール
load_predictions、assess_predictions、fit_temperature、set_policy、review_test、create_report。クライアントのエリシテーションフォームを通じて明示的な判断が review_test に渡されるまで、テスト結果は開示されません。入力形式、ワークフロー全体、開示ルール、制限については、docs/mcp.md に記載されています。
パッケージの内容
dist/cli.js は、サーバー、共有アプリモジュール、およびアプリが固定している正確な Git コミットの @m-sanchez/calibrated をまとめた、読み取り可能な非圧縮バンドルです。公式の MCP TypeScript SDK と zod は、実行時依存関係として正確なバージョンに固定されています。UCI digits の参照データは、CC BY 4.0 の帰属表示とともに public/examples に含まれています。レポートには、同じコミットをチェックアウトした場合と同じアプリのソースハッシュおよび数値分布ハッシュが記録されます。dist/NOTICE.txt に、バンドルされたライセンスとともにそれらが記載されています。
MIT ライセンス。Copyright (c) 2026 Miguel Sánchez Durán。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。