llmtest-mcp

LLMTest MCP Server

実際のプロンプトで AI モデルをベンチマークし、より安価で高速な代替モデルを見つける MCP サーバーです。Claude Code、Cursor、Windsurf、および MCP 対応のあらゆるツールで動作します。

クイックスタート

1. API キーを取得する

llmtest.io に登録し、ダッシュボードから API キーを取得します。

2. ツールに追加する

Claude Code：

claude mcp add llmtest -- npx llmtest-mcp

次に、キーを設定します。

export LLMTEST_API_KEY=llmt_your_key_here

Cursor ／ Windsurf ／その他の MCP クライアント：

MCP 設定ファイルに追加します。

{
  "mcpServers": {
    "llmtest": {
      "command": "npx",
      "args": ["llmtest-mcp"],
      "env": {
        "LLMTEST_API_KEY": "llmt_your_key_here"
      }
    }
  }
}

3. AI に話しかける

自然な言葉で尋ねるだけです。

• 「LLMTest のステータスを確認して」
• 「AI 呼び出しに使う、より安価なモデルを探して」
• 「ブログ記事作成のワークフローをベンチマークして」
• 「今、注目されているモデルは？」

仕組み

LLMTest は、アプリと AI プロバイダーの間に置くプロキシです。OpenAI／Anthropic を直接呼び出す代わりに、アプリの接続先を https://llmtest.io/v1 に設定すると、LLMTest が使用状況を追跡し、代替モデルをベンチマークして、コスト削減案を提示します。

この MCP サーバーを使うと、AI アシスタントが LLMTest のツールを利用できるようになり、すべてを管理してくれます。

利用可能なツール

ツール	説明
status	プロキシのステータスとアクティビティの概要を表示します
list_flows	すべての AI フローをコストとレイテンシーの統計情報とともに一覧表示します
get_suggestions	保留中のモデル切り替えの推奨事項を取得します
update_suggestion	推奨事項を承認または却下します
run_benchmark	挑戦モデルと比較してフローをベンチマークします
optimize_prompt	フローのプロンプトを書き換え、引き続き機能するより安価なモデルを見つけます
seed_samples	リリース前のベンチマーク用テストプロンプトを追加します
list_samples	フローごとに保存されているテストサンプルを表示します
list_new_models	新しいモデルや注目されているモデルを表示します
get_account	クレジット残高と使用状況を確認します
get_autopilot_status	オートパイロットが有効か、アカウントが利用条件を満たしているかを確認します
enable_autopilot	安全性チェックとドリフトに基づく自動復元機能を備えた、週次の自動最適化を有効にします
disable_autopilot	オートパイロットを無効にします（既存の最適化は有効なままです）
list_active_optimizations	24 時間の復元期間内にある、自動承認済みの最適化を一覧表示します
revert_optimization	自動承認済みの最適化を以前のプロンプトに戻します

オートパイロット

オートパイロットは、週次のスケジュールでフローを自動最適化します。すべての安全性チェックを通過した変更は、24 時間の復元期間付きで適用されます。その後もドリフト検出を続け、品質が低下した場合は変更を元に戻します。

IDE から有効にするには：「LLMTest のオートパイロットを有効にして」のように AI アシスタントに依頼します。enable_autopilot が呼び出されます。前提条件を確認するには get_autopilot_status を使います。

前提条件（サイクルごとにフロー単位で確認されます）：

• アカウントでオートパイロットが有効になっている
• メールアドレスが認証済みである
• アカウント作成から 14 日以上経過している（信頼性の確認期間）
• 過去 7 日間にフローで実際の呼び出しが 20 回以上ある
• 過去 14 日間にオートパイロットで最適化されていない（クールダウン期間）
• クレジット残高がプラスである（1 回の実行につき約 1～2 ドル）

安全性チェック（自動承認にはすべての条件を満たす必要があります）：95％ CI の下限が勝率 50％を超えること、複数の評価者の一致率が 80％以上であること、合計で 20％以上のコスト削減があること、長さによるバイアスの警告がないこと、ゴールデンセットの回帰チェックに合格すること。

**復元：**自動承認後の 24 時間は復元できます。その後は、ドリフト検出によってのみ変更を元に戻せます。

一般的なワークフロー

リリース前（トラフィックがまだない場合）：

1. AI に「gpt-4o を使ったサポートチャットボットを作っています」と伝えます
2. seed_samples で現実的なテストサンプルを作成します
3. run_benchmark を実行してモデルを比較します
4. より安価な代替案を含む get_suggestions の結果を表示します

リリース後（実際のトラフィックがある場合）：

1. AI 呼び出しを https://llmtest.io/v1 経由にします
2. LLMTest が使用状況を監視し、フローの呼び出しが 50 回以上になると自動でベンチマークします
3. 「コストを削減できる提案はある？」と尋ねて、推奨事項を確認します
4. 推奨事項を承認し、コードを更新します

環境変数

変数	必須	説明
LLMTEST_API_KEY	はい	llmtest.io/dashboard で取得した API キー
LLMTEST_BASE_URL	いいえ	カスタム API URL（デフォルトは https://llmtest.io）

リンク

• ウェブサイト
• ダッシュボード
• ドキュメント
• GitHub
• npm

ライセンス

MIT