🦊 MCPBench: A Benchmark for Evaluating MCP Servers

🦊 MCPBench：MCP サーバーを評価するためのベンチマーク

MCPBench は、MCP サーバー向けの評価フレームワークです。Web 検索、データベースクエリ、GAIA の 3 種類のサーバーの評価に対応し、ローカルとリモートの両方の MCP サーバーと互換性があります。このフレームワークでは、同じ LLM とエージェントの設定を使用して、タスクの完了精度、レイテンシ、トークン消費量の観点から、さまざまな MCP サーバー（Brave Search、DuckDuckGo など）を主に評価します。こちらが評価レポートです。

実装はLangProBe：言語プログラムのベンチマークを参考にしています。
初期実装を担当してくださった Qingxu Fu に心より感謝します！

---

📋 目次

• 🔥 ニュース
• 🛠️ インストール
• 🚀 クイックスタート
  • MCP サーバーの起動
  • 評価の実行
• 🧂 データセットと実験
• 🚰 引用

🔥 ニュース

• Sep. 1, 2025 🌟 Modelscope AI ハッカソンが Sep. 23rd に開催されます。参照：https://modelscope.cn/active/aihackathon-mcp-agent
• Apr. 29, 2025 🌟 GAIA 内の MCP サーバーパッケージを評価するコードを更新しました。
• Apr. 14, 2025 🌟 MCPBench がオープンソース化されたことをお知らせします。

🛠️ インストール

このフレームワークには、Python バージョン >= 3.11、nodejs、jq が必要です。

conda create -n mcpbench python=3.11 -y
conda activate mcpbench
pip install -r requirements.txt

🚀 クイックスタート

まず、使用する MCP サーバーの種類を確認してください。

• リモートホスト（ModelScope、Smithery、localhost などを介して SSE でアクセスする場合）は、評価を直接実施できます。
• ローカルで起動する場合（STDIO を使用して npx 経由でアクセスする場合）は、サーバーを起動する必要があります。

MCP サーバーの起動（stdio の場合は任意）

まず、次の設定を記述する必要があります。

{
    "mcp_pool": [
        {
            "name": "firecrawl",
            "run_config": [
                {
                    "command": "npx -y firecrawl-mcp",
                    "args": "FIRECRAWL_API_KEY=xxx",
                    "port": 8005
                }
            ]
        }  
    ]
}

この設定ファイルを configs フォルダーに保存し、次のコマンドで起動します。

sh launch_mcps_as_sse.sh YOUR_CONFIG_FILE

たとえば、上記の設定を configs/firecrawl.json ファイルに保存し、次のコマンドで起動します。

sh launch_mcps_as_sse.sh firecrawl.json

評価の実行

MCP サーバーのパフォーマンスを評価するには、必要な MCP サーバー情報を設定する必要があります。コードがサーバー内のツールとパラメーターを自動検出するため、次の例のように手動で設定する必要はありません。

{
    "mcp_pool": [
        {
            "name": "Remote MCP example",
            "url": "url from https://modelscope.cn/mcp or https://smithery.ai"
        },
        {
            "name": "firecrawl (Local run example)",
            "run_config": [
                {
                    "command": "npx -y firecrawl-mcp",
                    "args": "FIRECRAWL_API_KEY=xxx",
                    "port": 8005
                }
            ]
        }  
    ]
}

Web 検索タスクにおける MCP サーバーのパフォーマンスを評価するには、次を実行します。

sh evaluation_websearch.sh YOUR_CONFIG_FILE

データベースクエリタスクにおける MCP サーバーのパフォーマンスを評価するには、次を実行します。

sh evaluation_db.sh YOUR_CONFIG_FILE

GAIA タスクにおける MCP サーバーのパフォーマンスを評価するには、次を実行します。

sh evaluation_gaia.sh YOUR_CONFIG_FILE

たとえば、上記の設定を configs/firecrawl.json ファイルに保存し、次のコマンドで起動します。

sh evaluation_websearch.sh firecrawl.json

データセットと実験結果

このフレームワークでは、評価用に 2 つのデータセットを提供しています。Web 検索タスクのデータセットは MCPBench/langProBe/WebSearch/data/websearch_600.jsonl にあり、Frames、ニュース、テクノロジーの各分野から、それぞれ 200 件の QA ペアが含まれています。評価データセットを自動構築するためのフレームワークは、後日オープンソースとして公開する予定です。

データベースクエリタスクのデータセットは MCPBench/langProBe/DB/data/car_bi.jsonl にあります。次の形式で独自のデータセットを追加できます。

{
  "unique_id": "",
  "Prompt": "",
  "Answer": ""
}

両方のタスクで、主要な MCP サーバーを評価しました。詳細な実験結果については、ドキュメントを参照してください。

🚰 引用

このプロジェクトが役に立った場合は、プロジェクトを引用するか、🌟を付けていただけると幸いです。

@misc{mcpbench,
  title={MCPBench: A Benchmark for Evaluating MCP Servers},
  author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
  howpublished = {\url{https://github.com/modelscope/MCPBench}},
  year={2025}
}

また、レポートを引用していただいてもかまいません。

@article{mcpbench_report,
      title={Evaluation Report on MCP Servers}, 
      author={Zhiling Luo, Xiaorong Shi, Xuanrui Lin, Jinyang Gao},
      year={2025},
      journal={arXiv preprint arXiv:2504.11094},
      url={https://arxiv.org/abs/2504.11094},
      primaryClass={cs.AI}
}