MCP Deep Web Research Server (v0.3.0)

MCP ディープウェブリサーチサーバー（v0.3.0）

高度なウェブリサーチ向けの Model Context Protocol（MCP）サーバーです。

最新の変更

• ウェブページのコンテンツを直接抽出する visit_page ツールを追加
• MCP のタイムアウト制限内で動作するようパフォーマンスを最適化
  • デフォルトの maxDepth および maxBranching パラメーターを縮小
  • ページの読み込み効率を改善
  • 処理全体にタイムアウトチェックを追加
  • タイムアウト時のエラー処理を強化

このプロジェクトは、mzxrai による mcp-webresearch のフォークで、ディープウェブリサーチ機能を追加して強化したものです。基盤となる取り組みを行ったオリジナルの開発者に感謝します。

インテリジェントな検索キュー、強化されたコンテンツ抽出、ディープリサーチ機能により、リアルタイムの情報を Claude に取り込みます。

機能

• インテリジェントな検索キューシステム

  • レート制限付きの検索操作の一括実行
  • 進捗追跡機能付きのキュー管理
  • エラーからの復旧と自動再試行
  • 検索結果の重複排除

• 強化されたコンテンツ抽出

  • TF-IDF ベースの関連性スコアリング
  • キーワードの近接性分析
  • コンテンツセクションの重み付け
  • 可読性スコアリング
  • HTML 構造の解析を改善
  • 構造化データの抽出
  • コンテンツのクリーニングと書式設定を改善

• コア機能

  • Google 検索との連携
  • ウェブページのコンテンツ抽出
  • リサーチセッションの追跡
  • 書式設定を改善した Markdown 変換

前提条件

• Node.js >= 18（npm と npx を含む）
• Claude デスクトップアプリ

インストール

グローバルインストール（推奨）

# Install globally using npm
npm install -g mcp-deepwebresearch

# Or using yarn
yarn global add mcp-deepwebresearch

# Or using pnpm
pnpm add -g mcp-deepwebresearch

ローカルプロジェクトへのインストール

# Using npm
npm install mcp-deepwebresearch

# Using yarn
yarn add mcp-deepwebresearch

# Using pnpm
pnpm add mcp-deepwebresearch

Claude Desktop との連携

パッケージをインストールした後、claude_desktop_config.json に次の項目を追加します。

Windows

{
  "mcpServers": {
    "deepwebresearch": {
      "command": "mcp-deepwebresearch",
      "args": []
    }
  }
}

場所：%APPDATA%\Claude\claude_desktop_config.json

macOS

{
  "mcpServers": {
    "deepwebresearch": {
      "command": "mcp-deepwebresearch",
      "args": []
    }
  }
}

場所：~/Library/Application Support/Claude/claude_desktop_config.json

この設定により、必要に応じて Claude Desktop がウェブリサーチ MCP サーバーを自動的に起動できるようになります。

初回セットアップ

インストール後、次のコマンドを実行して必要なブラウザー依存関係をインストールします。

npx playwright install chromium

使い方

Claude とのチャットを開始し、ウェブリサーチが役立つプロンプトを送信するだけです。ディープウェブリサーチ向けにカスタマイズされた既成のプロンプトを使いたい場合は、このパッケージで提供している agentic-research プロンプトを使用できます。Claude Desktop でこのプロンプトを開くには、チャット入力欄のクリップアイコンをクリックし、Choose an integration → deepwebresearch → agentic-research の順に選択します。

ツール

1. deep_research

   • コンテンツ分析を伴う包括的な調査を実行します
   • 引数：

     {
       topic: string;
       maxDepth?: number;      // デフォルト：2
       maxBranching?: number;  // デフォルト：3
       timeout?: number;       // デフォルト：55000（55秒）
       minRelevanceScore?: number;  // デフォルト：0.7
     }
     

   • 戻り値：

     {
       findings: {
         mainTopics: Array<{name: string, importance: number}>;
         keyInsights: Array<{text: string, confidence: number}>;
         sources: Array<{url: string, credibilityScore: number}>;
       };
       progress: {
         completedSteps: number;
         totalSteps: number;
         processedUrls: number;
       };
       timing: {
         started: string;
         completed?: string;
         duration?: number;
         operations?: {
           parallelSearch?: number;
           deduplication?: number;
           topResultsProcessing?: number;
           remainingResultsProcessing?: number;
           total?: number;
         };
       };
     }
     

2. parallel_search

   • インテリジェントなキューイングを行い、複数の Google 検索を並列で実行します
   • 引数：{ queries: string[], maxParallel?: number }
   • 注：信頼性の高いパフォーマンスを確保するため、maxParallel は 5 に制限されています

3. visit_page

   • ウェブページにアクセスし、コンテンツを抽出します
   • 引数：{ url: string }
   • 戻り値：

     {
       url: string;
       title: string;
       content: string;  // Markdown 形式のコンテンツ
     }
     

プロンプト

agentic-research

Claude が徹底的なウェブ調査を行えるよう支援する、ガイド付き調査プロンプトです。このプロンプトでは、Claude に次のことを指示します。

• まず幅広く検索し、トピックの全体像を把握する
• 質の高い、信頼できる情報源を優先する
• 調査結果に基づいて、調査の方向性を段階的に絞り込む
• 進捗を随時共有し、対話形式で調査を誘導できるようにする
• 常に URL 付きで情報源を引用する

設定オプション

サーバーは環境変数を使用して設定できます。

• MAX_PARALLEL_SEARCHES：同時に実行する検索の最大数（デフォルト：5）
• SEARCH_DELAY_MS：検索間の遅延時間（ミリ秒）（デフォルト：200）
• MAX_RETRIES：失敗したリクエストの再試行回数（デフォルト：3）
• TIMEOUT_MS：リクエストのタイムアウト時間（ミリ秒）（デフォルト：55000）
• LOG_LEVEL：ログレベル（デフォルト：'info'）

エラー処理

よくある問題

1. レート制限

   • 症状：「Too many requests」エラー
   • 解決策：SEARCH_DELAY_MS を増やすか、MAX_PARALLEL_SEARCHES を減らします

2. ネットワークのタイムアウト

   • 症状：「Request timed out」エラー
   • 解決策：60 秒の MCP タイムアウト以内にリクエストが完了するようにします

3. ブラウザーの問題

   • 症状：「Browser failed to launch」エラー
   • 解決策：Playwright が正しくインストールされていることを確認します（npx playwright install）

デバッグ

これはベータ版ソフトウェアです。問題が発生した場合：

1. Claude Desktop の MCP ログを確認します：

   # On macOS
   tail -n 20 -f ~/Library/Logs/Claude/mcp*.log
   
   # On Windows
   Get-Content -Path "$env:APPDATA\Claude\logs\mcp*.log" -Tail 20 -Wait
   

2. デバッグログを有効にします：

   export LOG_LEVEL=debug
   

開発

セットアップ

# Install dependencies
pnpm install

# Build the project
pnpm build

# Watch for changes
pnpm watch

# Run in development mode
pnpm dev

テスト

# Run all tests
pnpm test

# Run tests in watch mode
pnpm test:watch

# Run tests with coverage
pnpm test:coverage

コード品質

# Run linter
pnpm lint

# Fix linting issues
pnpm lint:fix

# Type check
pnpm type-check

貢献

1. リポジトリをフォークします
2. フィーチャーブランチを作成します（git checkout -b feature/amazing-feature）
3. 変更をコミットします（git commit -m 'Add some amazing feature'）
4. ブランチにプッシュします（git push origin feature/amazing-feature）
5. Pull Request を作成します

コーディング規約

• TypeScript のベストプラクティスに従います
• テストカバレッジを 80% 以上に維持します
• 新機能と API をドキュメント化します
• 重要な変更については CHANGELOG.md を更新します
• セマンティックバージョニングに従います

パフォーマンスに関する考慮事項

• 可能な場合はバッチ操作を使用します
• 適切なエラー処理と再試行を実装します
• 大規模なデータセットでのメモリ使用量を考慮します
• 適切な場合は結果をキャッシュします
• 大容量のコンテンツにはストリーミングを使用します

要件

• Node.js >= 18
• Playwright（依存関係として自動的にインストールされます）

動作確認済みプラットフォーム

• macOS
• Windows
• Linux

ライセンス

MIT

クレジット

このプロジェクトは、mzxrai による mcp-webresearch の優れた取り組みを基盤としています。元のコードベースは、機能と性能を強化するための基礎となりました。

作者

qpd-v