modelwatch

Name: modelwatch
Author: bch1212

本地服务

modelwatch.app开发工具03 天前更新

代码仓库访问官网

关于 modelwatch

modelwatch-mcp 将 MCP 客户端连接到 ModelWatch，用于监测 LLM 应用的行为漂移。团队可在聊天界面管理行为规范，并查看运行记录、健康状态和漂移事件。

主要功能

01管理受监测的 LLM 端点
02创建行为规范和运行计划
03按需运行规范
04模型更换后重置基线
05查看漂移事件和规范状态

适用场景

01检查端点行为是否发生变化
02从聊天客户端运行行为测试
03查看规范历史和最新漂移状态

MCP 相关

它向兼容 MCP 的客户端提供 ModelWatch 操作工具，包括端点和规范管理、测试运行、基线重置及漂移报告。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "bch1212-modelwatch": {
      "command": "npx",
      "args": [
        "-y",
        "modelwatch-mcp"
      ],
      "env": {
        "MODELWATCH_API_KEY": "<MODELWATCH_API_KEY>",
        "MODELWATCH_API_BASE": "<MODELWATCH_API_BASE>"
      }
    }
  }
}

启动命令npx -y modelwatch-mcp

需要配置的环境变量

MODELWATCH_API_KEY密钥API key from https://modelwatch.app (free tier: 5 specs, 500 runs/mo).

MODELWATCH_API_BASEOverride the API base URL for self-hosted deployments.

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

npmmodelwatch-mcp0.1.3stdio

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

modelwatch-mcp

用于 ModelWatch 的 MCP 服务——为由大模型驱动的应用持续监控行为漂移。

让 Claude Desktop / Claude Code（或任何兼容 MCP 的客户端）无需离开聊天界面即可创建漂移规范、运行规范并查看漂移事件。

安装

npm install -g modelwatch-mcp

配置（Claude Desktop）

添加到 ~/Library/Application Support/Claude/claude_desktop_config.json：

{
  "mcpServers": {
    "modelwatch": {
      "command": "npx",
      "args": ["-y", "modelwatch-mcp"],
      "env": {
        "MODELWATCH_API_KEY": "mw_PASTE_FROM_EMAIL"
      }
    }
  }
}

在 https://modelwatch.app/#signup 获取免费密钥（5 个规范，每月 500 次运行，无需银行卡）。然后重启 Claude Desktop。

示例配置会将明文密钥存储在本地配置文件中。请限制该文件仅供你的用户账户访问，不要提交该文件；如果密钥泄露，请轮换密钥。密钥绝不能放在命令行参数中。

工具

工具	功能
`list_endpoints`	显示受监控的大模型端点
`create_endpoint`	添加端点（提供方 + 模型）
`list_specs`	显示行为规范
`create_spec`	添加规范（提示词 + 计划 + 可选的语义相似度阈值）
`run_spec`	按需运行规范；首次运行时建立基线
`reset_baseline`	在有意更换模型后重新建立基线
`get_drift_events`	获取工作区内的近期漂移事件
`get_spec_history`	获取单个规范的运行历史
`get_health`	获取每项规范的健康状态、最近一次漂移分数和运行时间