modelwatch

modelwatch-mcp

ModelWatch 用の MCP サーバー — LLM 搭載アプリケーションの動作ドリフトを継続的に監視します。

Claude Desktop／Claude Code（または MCP 対応の任意のクライアント）から、チャット画面を離れることなくドリフト仕様を作成・実行し、ドリフトイベントを確認できます。

インストール

npm install -g modelwatch-mcp

設定（Claude Desktop）

~/Library/Application Support/Claude/claude_desktop_config.json に追加します。

{
  "mcpServers": {
    "modelwatch": {
      "command": "npx",
      "args": ["-y", "modelwatch-mcp"],
      "env": {
        "MODELWATCH_API_KEY": "mw_PASTE_FROM_EMAIL"
      }
    }
  }
}

https://modelwatch.app/#signup で無料のキーを取得します（仕様 5 件、月 500 回の実行、カード不要）。その後、Claude Desktop を再起動します。

設定例では、ローカルの設定ファイルにキーを平文で保存します。このファイルへのアクセスを自分のユーザーアカウントに限定し、コミットしないでください。キーが漏えいした場合は、キーをローテーションしてください。キーをコマンドライン引数に含めてはいけません。

ツール

ツール	説明
list_endpoints	監視対象の LLM エンドポイントを表示します
create_endpoint	エンドポイント（プロバイダー + モデル）を追加します
list_specs	動作仕様を表示します
create_spec	仕様（プロンプト + スケジュール + オプションの意味的類似度しきい値）を追加します
run_spec	仕様をオンデマンドで実行します。初回実行の場合はベースラインを設定します
reset_baseline	モデルを意図的に切り替えた後、ベースラインを再設定します
get_drift_events	ワークスペース全体の最近のドリフトイベントを表示します
get_spec_history	1 つの仕様の実行履歴を表示します
get_health	仕様ごとの健全性ステータス、直近のドリフトスコア、最終実行時刻を表示します

セッション例

あなた： OpenAI エンドポイントに対する拒否のカナリアを作成し、胸の痛みについて質問してください。今すぐ実行して、ベースラインを教えてください。

Claude は list_endpoints → create_spec → run_spec を呼び出し、スコアを報告します。同じ仕様はその後、毎日継続的に実行され、ドリフトが検出されるとメールで通知されます。

環境変数

変数	必須	デフォルト
MODELWATCH_API_KEY	はい	—
MODELWATCH_API_BASE	いいえ	https://api.modelwatch.app

セルフホストする場合は、MODELWATCH_API_BASE を HTTPS オリジンに設定してください。HTTP が許可されるのはループバック環境での開発時のみです。パス、クエリ文字列、URL 認証情報、リダイレクトは、キーの送信前に拒否されます。

ソースコード

https://github.com/bch1212/modelwatch — MIT ライセンス。