Ai Model Experiments

@pipeworx/ai-model-experiments

Model Lab — 同じプロンプトを複数の AI モデル（Anthropic、 OpenAI、Google、Meta、Mistral、DeepSeek、Qwen など、OpenRouter 経由）で一度に実行し、 出力、コスト、レイテンシを並べて比較できます。実行完了時に、オプションで AI が作成した比較の要約を取得できます。

Pipeworx の一部です。AI エージェントを 1872 以上の稼働中のデータソースに接続する MCP ゲートウェイです。これは独立した非公式インテグレーションであり、上流プロバイダーとは提携しておらず、承認も受けておらず、公開もされていません。

ツール

• experiment_models(search?, min_context?, max_price_per_mtok?, limit?) — コンテキストウィンドウと、トークンあたりの請求価格（プロバイダーのコスト × 1.5）を含む、約 300 種類の利用可能なモデル ID を参照します。返された ID を experiment_create で使用してください。
• experiment_estimate(prompts[], models[], reps?, params?, summary?) — スペックを作成する前に、セル数と請求見積もりコストの範囲を確認できる無料のドライランです。
• experiment_create(name?, prompts[], models[], reps?, params?, summary?, max_spend_usd) — 実験（プロンプト × モデル × 繰り返し回数）を作成して開始します。非同期です。すぐに experiment_id を返し、実行は別の cron ワーカーで約 1 分以内に開始されます。プリペイド残高が max_spend_usd 以上必要です。
• experiment_status(experiment_id) — 状態別のセル数、上限に対する支出額、完了状況を確認します。作成後にこれをポーリングしてください。
• experiment_results(experiment_id, include_outputs?) — モデルごとの集計（レイテンシ、トークン数、コスト、エラー率）、セルごとの出力、AI が作成した比較の要約を返します。
• experiment_list(limit?) — 呼び出し元の実験を新しい順に返します。
• experiment_cancel(experiment_id) — 保留中のセルをスキップします（請求対象外）。実行中のセルは処理を完了し、請求されます。
• experiment_topup(amount_usd?) — 現在の残高と x402 によるチャージフローを確認します。

認証

プリペイドのみ — 無料プランや BYO キーモードはありません。 experiment_create の呼び出しにはすべて、 Pipeworx プラットフォームのクレジット残高が max_spend_usd 以上必要です（1 クレジット = $0.0001）。 x402 でチャージするには、POST https://gateway.pipeworx.io/credits/topup?amount_usd=N を実行します。HTTP 402 の支払いチャレンジ（Base 上の USDC）が返されます。決済するには PAYMENT-SIGNATURE ヘッダーを付けて再試行してください。クレジットは即時に反映されます。正確な手順と現在の残高については、 experiment_topup を参照してください。

請求額は プロバイダーのコスト × 1.5 で、実験あたり最低 $0.10 です。experiment_models が返すモデル価格は すでに請求価格（上乗せ分を含む）であり、プロバイダーの生のコストではありません。

実行は別の cron ワーカー（workers/experiment-runner、毎分起動）によって処理されます。作成した実験は同期処理ではありません。 experiment_create が完了までブロックすると想定せず、experiment_status をポーリングしてください。

データソース

• https://openrouter.ai/api/v1/models — モデルカタログ（ID、コンテキストウィンドウ、プロバイダーの価格）。experiment_models はこのカタログをラップし、価格を再設定します。
• 各セルの推論は workers/experiment-runner によって OpenRouter の chat completions API に対して実行されます。同ワーカーは OpenRouter の /generation エンドポイントも読み取り、実際の呼び出しごとのコストを取得するため、推定値ではなく実際のコストに対して 1.5 倍の上乗せ分が請求されます。

ビルド計画、アーキテクチャ、現在の稼働中と計画中の機能の状況については、 docs/model-lab-plan.md を参照してください。

クイックスタート

MCP クライアント（Claude Desktop、Cursor、Windsurf など）に追加します。

{
  "mcpServers": {
    "ai-model-experiments": {
      "url": "https://gateway.pipeworx.io/ai-model-experiments/mcp"
    }
  }
}

このエンドポイントが実際に提供するもの

https://gateway.pipeworx.io/ai-model-experiments/mcp の tools/list は、上の表にあるツールに加えて、共通の Pipeworx メタツール（ask_pipeworx、discover_tools、search_within、remember／recall など、ゲートウェイ全体で使えるツール群）も返します。そのため、表示されるツール数はこの表の数より多くなります。現在、単一パックのエンドポイントには、そのパック固有のツールと並んで、およそ 30 個の共通ツールが表示されます。接続時の initialize 応答に正確な範囲が記載されており、その日の状況についてはこれが正式な情報です。

これは意図的なものであり、偶然に多重化されているわけではありません。メタツールを使えば、このパックが対応していない質問にも、カタログ全体を対象にルーティングする ask_pipeworx を通じて回答できます。MCP サーバーをもう 1 つ追加する必要はありません。現時点では、メタツールなしでパックのエンドポイントをマウントする方法はありません。追加のスキーマがルーティングの利点よりもコンテキストを圧迫する場合は、複数のパックエンドポイントではなく、フルゲートウェイに一度接続してください。

または、Pipeworx のフルゲートウェイに接続して、このパックだけでなく、すべてのパックのツールを直接一覧表示します。

{
  "mcpServers": {
    "pipeworx": {
      "url": "https://gateway.pipeworx.io/mcp"
    }
  }
}

どちらの URL も、同じゲートウェイと同じ 1872 以上のデータソースに接続します。唯一の違いは、どのパックのツールが直接一覧表示されるかです。どちらからでも、ask_pipeworx を使ってすべてのツールにアクセスできます。

MCP クライアントがなくても、HTTP で呼び出せます

curl -X POST https://gateway.pipeworx.io/v1/tools/experiment_models \
  -H 'Content-Type: application/json' \
  -d '{"search":"claude","min_context":100000}'

最初の呼び出しにはアカウントは不要です。ツールを確認するには、GET https://gateway.pipeworx.io/v1/tools/experiment_models を使います。ツールを探すには、{"query":"..."} を指定して POST https://gateway.pipeworx.io/v1/tools/search_packs を使います。

スタンドアロン（ゲートウェイアカウント不要）

このパッケージは、ローカルの stdio MCP サーバーとしても実行できます。Pipeworx アカウントも、ゲートウェイへの往復通信も不要です。

{
  "mcpServers": {
    "ai-model-experiments": {
      "command": "npx",
      "args": ["-y", "@pipeworx/mcp-ai-model-experiments"]
    }
  }
}

または、直接実行して起動することを確認します。

npx -y @pipeworx/mcp-ai-model-experiments

stdin/stdout 経由で MCP を使用し、initialize／tools/list／tools/call に応答します。対象はこのパックのツールのみで、上記のゲートウェイ接続で追加される共通メタツールは含まれません。同じソース、同じツールで、ask_pipeworx によるルーティングはありません。

ask_pipeworx の使用

ツールを直接呼び出す代わりに、平易な英語で質問できます。これは、上記のパックエンドポイントでもフルゲートウェイでも利用できます。

ask_pipeworx({ question: "your question about Ai Model Experiments data" })

ゲートウェイが適切なツールを選び、引数を自動的に設定します。

詳細

• ドキュメントとガイド
• pipeworx.io

ライセンス

MIT