Ai Model Experiments

@pipeworx/ai-model-experiments

Model Lab — 同时在多个 AI 模型（Anthropic、OpenAI、Google、Meta、Mistral、DeepSeek、Qwen 以及通过 OpenRouter 提供的更多模型）上运行相同的提示词，并并排比较它们的输出、费用和延迟；运行完成后，还可选择生成由 AI 撰写的比较摘要。

这是 Pipeworx 的一部分——一个将 AI Agent 连接到 1872+ 个实时数据源的 MCP 网关。这是一个独立的非官方集成，与上游提供方无关联，也未获其认可或发布。

工具

• experiment_models(search?, min_context?, max_price_per_mtok?, limit?) — 浏览约 300 个可用模型 ID，包括上下文窗口和我们的按 Token 计费价格（提供方成本 × 1.5）。在 experiment_create 中使用返回的 ID。
• experiment_estimate(prompts[], models[], reps?, params?, summary?) — 免费试运行：在创建实验前，估算指定配置的单元格数量和计费成本范围。
• experiment_create(name?, prompts[], models[], reps?, params?, summary?, max_spend_usd) — 创建并启动实验（提示词 × 模型 × 重复次数）。异步：立即返回 experiment_id；实验将在约 1 分钟内由独立的 cron 工作进程执行。要求预付余额 ≥ max_spend_usd。
• experiment_status(experiment_id) — 按状态查看单元格数量、实际支出与上限，以及是否已完成。创建后请轮询此工具。
• experiment_results(experiment_id, include_outputs?) — 按模型汇总的数据（延迟、Token 数、费用、错误率）、每个单元格的输出，以及由 AI 撰写的比较摘要。
• experiment_list(limit?) — 调用者的实验，按时间从新到旧排列。
• experiment_cancel(experiment_id) — 跳过待处理的单元格（不计费）；正在执行的单元格会完成并计费。
• experiment_topup(amount_usd?) — 查看当前余额并使用 x402 充值流程。

身份验证

仅支持预付费——没有免费套餐，也不支持使用自带密钥。 每次调用 experiment_create 时，Pipeworx 平台的信用余额都必须 ≥ max_spend_usd（1 个信用额度 = $0.0001）。 通过 x402 充值：向 POST https://gateway.pipeworx.io/credits/topup?amount_usd=N 发送请求，获取 HTTP 402 付款质询（使用 Base 上的 USDC）；随后添加 PAYMENT-SIGNATURE 标头重试请求以完成付款，信用额度会立即到账。有关具体流程和当前余额，请参阅 experiment_topup。

计费金额为提供方成本 × 1.5，每个实验最低 $0.10。experiment_models 返回的模型价格 已经是加价后的计费价格，而非提供方的原始成本。

实验由独立的 cron 工作进程处理（workers/experiment-runner，每分钟运行一次）——创建实验后不会同步执行。请轮询 experiment_status，不要指望 experiment_create 会一直阻塞到实验完成。

数据源

• https://openrouter.ai/api/v1/models — experiment_models 封装并重新定价的模型目录（ID、上下文窗口、提供方定价）。
• 每个单元格的推理由 workers/experiment-runner 调用 OpenRouter 的聊天补全 API 执行；该工作进程还会读取 OpenRouter 的 /generation 端点，获取每次调用的实际费用，以便按实际成本（而非估算成本）计收 1.5 倍费用。

完整的构建计划、架构以及当前实时状态与规划状态： docs/model-lab-plan.md。

快速开始

添加到你的 MCP 客户端（Claude Desktop、Cursor、Windsurf 等）：

{
  "mcpServers": {
    "ai-model-experiments": {
      "url": "https://gateway.pipeworx.io/ai-model-experiments/mcp"
    }
  }
}

此端点实际提供的内容

https://gateway.pipeworx.io/ai-model-experiments/mcp 上的 tools/list 会返回上表中的工具，以及 Pipeworx 共享元工具——ask_pipeworx、 discover_tools、search_within、remember/recall 和其他网关范围内的工具。因此，你看到的工具数量会多于此表：单个工具包端点目前会列出约 30 个共享工具，以及该工具包自身的工具。连接的 initialize 响应会说明其确切范围，并且是当天情况的权威说明。

这是有意为之，并非意外的多路复用。元工具可以让限定范围的连接回答此工具包未涵盖的问题——通过 ask_pipeworx 在整个目录中路由——无需再添加第二个 MCP 服务。目前无法挂载不带这些元工具的工具包端点；如果额外的架构定义带来的上下文开销超过了路由的价值，请连接一次完整网关，而不是连接多个工具包端点。

或者连接完整的 Pipeworx 网关，直接列出所有工具包的工具，而不只是此工具包的工具：

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

两个 URL 都连接到同一个网关和相同的 1872+ 个数据源。唯一的区别是直接列出哪个工具包的工具；通过任一端点调用 ask_pipeworx 都能访问所有工具。

没有 MCP 客户端？通过 HTTP 调用

curl -X POST https://gateway.pipeworx.io/v1/tools/experiment_models \
  -H 'Content-Type: application/json' \
  -d '{"search":"claude","min_context":100000}'

首次调用无需账户。查看任意工具：GET https://gateway.pipeworx.io/v1/tools/experiment_models。查找工具包：使用 {"query":"..."} 调用 POST https://gateway.pipeworx.io/v1/tools/search_packs。

独立运行（无需网关账户）

此软件包也可以作为本地 stdio MCP 服务运行——无需 Pipeworx 账户，也无需往返网关：

{
  "mcpServers": {
    "ai-model-experiments": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-ai-model-experiments"]
    }
  }
}

或者直接运行，以确认其可以启动：

npx -y @pipeworx/mcp-ai-model-experiments

它通过 stdin/stdout 使用 MCP，并响应 initialize/tools/list/tools/call，仅提供此工具包的工具——不包含上述网关连接额外提供的共享元工具。相同的源代码、相同的工具，但没有 ask_pipeworx 路由。

使用 ask_pipeworx

你可以用日常语言提问，而不必直接调用工具——这既适用于上面的工具包端点，也适用于完整网关：

ask_pipeworx({ question: "your question about Ai Model Experiments data" })

网关会选择合适的工具，并自动填入参数。

更多信息

• 文档和指南
• pipeworx.io

许可证

MIT