Web Search API Eval

Web Search API Eval：MCP サーバー

Claude、ChatGPT、Cursor、その他の AI アシスタントが、Web Search API Eval ベンチマーク（30 件のエージェントクエリにおける You.com、Tavily、Exa、Parallel）について質問に答えたり、独自のライブ検索のスポットチェックを実行したりできる MCP サーバーです。

次の 2 通りで利用できます。

	ホスト版（インストール不要）	ローカル版（npm）
接続先	https://websearch-api-eval.psberkeleymba.workers.dev/mcp	npx -y websearch-api-eval-mcp
対応環境	Claude、ChatGPT、任意のリモート MCP クライアント	Claude Desktop、Claude Code、Cursor、VS Code、任意の stdio MCP クライアント
ベンチマークツール	✅	✅
独自のキーを使った run_live_search	—	✅

インストール

Claude Code

claude mcp add websearch-api-eval -- npx -y websearch-api-eval-mcp

Claude Desktop、Cursor、VS Code（クライアントの MCP 設定に追加します）：

{
  "mcpServers": {
    "websearch-api-eval": {
      "command": "npx",
      "args": ["-y", "websearch-api-eval-mcp"],
      "env": {
        "YDC_API_KEY": "optional",
        "TAVILY_API_KEY": "optional",
        "EXA_API_KEY": "optional",
        "PARALLEL_API_KEY": "optional"
      }
    }
  }
}

キーは省略可能で、run_live_search のみに使用されます。キーを持っていないプロバイダーの設定は省略してください。Node.js 18 以降が必要です。

ホスト版、インストール不要： Claude で「Settings → Connectors → Add custom connector」を開き、ホスト版の URL を貼り付けます。ChatGPT では、同じ URL を指定し、認証なしで Developer mode のアプリを作成します。

ツール

ツール	返される内容
get_overall_results	主な結果、総合スコアカード、ユースケースごとの概要、各エージェントに適した API、開発者の利用状況
get_scorecard	overall、gtm、insurance、finance のいずれかの詳細なスコアカード
compare_providers	指標キーワードで絞り込める、2 つ以上のプロバイダーの並列比較
recommend_provider	エージェントのニーズに合う API と、その根拠となる数値
list_questions	ユースケースで絞り込み可能な 30 件の質問
get_question	1 件の質問：タスク、検索呼び出し、正解、ソース、各 API の返答とスコア
get_charts	公開されているグラフ。chart_id を指定すると画像も返されます
get_methodology	テストの実行方法と評価方法、10 個の指標とその基準、制限事項
how_to_run_locally	自分のマシンでベンチマーク全体を再実行する手順とキー
search、fetch	汎用検索とドキュメント取得（ChatGPT のリサーチ機能で使用）
run_live_search（ローカルのみ）	独自の API キーを使って各プロバイダーに 1 件のクエリを送信し、レイテンシ、結果数、上位の結果を返します

ベンチマークツールは読み取り専用で、公開済みの結果（2026 年 10 月 8 日に実行）を読み込みます。run_live_search は、独自のキーを使ってマシンからプロバイダーに直接リクエストを送り、独自のクレジットを使用します。1 回の呼び出しはスポットチェックであり、評価付きのベンチマークではありません。評価付きの完全な実行には、ハーネスを使用してください。

質問の例

• 「音声エージェントには、どの Web 検索 API が最速ですか？」
• 「金融分野で Exa と Parallel を比較してください。」
• 「質問 F5 の内容と、正解したプロバイダーを教えてください。」
• 「総合スコアカードのグラフを表示してください。」
• 「『FOMC minutes』をライブ検索して、プロバイダーを比較してください。」

データと更新

結果は、公開サイト上の data/*.json に由来し、Evaluation ページから data/build_data.py で生成されます。新しいベンチマークを実行した後、データを再生成してプッシュすると、ホスト版と npm 版の両サーバーに、再デプロイや新しいリリースなしで反映されます。

開発

cd mcp
npm install
npx wrangler dev        # hosted server locally at http://localhost:8787/mcp
npm run build           # npm package entry at dist/cli.js
npx @modelcontextprotocol/[email protected] node dist/cli.js   # call tools by hand
npx wrangler deploy     # deploy the hosted server
npm publish             # publish the npm package

公式の MCP TypeScript SDK で構築されています。レジストリエントリー：io.github.psinglap/websearch-api-eval（server.json）。

プライバシーとサポート

サインイン、Cookie、ストレージ、リクエストログはありません。プライバシーポリシー · 利用規約 · サポート · MIT ライセンス