Mcp_web_scrapper

MCP Server Scraper の始め方

このプロジェクトでは、glama.ai から MCP web サーバー をスクレイピングして抽出できます。以下の手順に従って、スクレイパーを効率よくセットアップして実行してください。

📦 前提条件

• Node.js
• npm

🔧 インストール

1. リポジトリをクローンします：

   git clone https://github.com/Neche-Stephen/mcp_web_scrapper
   cd mcp_web_scrapper
   

2. 依存関係をインストールします：

   npm install
   

---

🗃 既存のデータを確認する

新たにスクレイピングを実行する前に：

1. servers-json フォルダーが存在するか確認します。

2. 存在し、ファイルが含まれている場合は、以前にデータがスクレイピングされたことを意味します。

3. 新しいバッチを実行するには、servers-json フォルダーを削除します：

   rm -rf servers-json
   

---

ステップ 1：MCP Server のリンクをスクレイピングする

スクレイパーを実行して、ウェブサイトからすべての MCP Server のリンクを収集します：

node scraper.js

• スクレイパーがヘッドレスブラウザーを起動し、データの収集を開始します。
• 完了まで数分かかる場合があります。
• **「Closing browser」**というメッセージが表示されたら、スクレイピングは完了です。
• CTRL + C を押して、安全にプロセスを終了できます。

出力：スクレイピングしたすべてのリンクを含む server-links.json というファイルが、servers-json フォルダーに生成されます。

---

ステップ 2：サーバーデータを処理して抽出する

次に、各サーバーのリンクから詳細情報を取得して処理します：

node process-links.js

• スクリプトは server-links.json を読み込み、各リンクにアクセスして必要なデータをスクレイピングします。
• スクリプトの実行中は、ターミナルに進捗状況が表示されます。
• 完了を示す成功メッセージが表示されたら、CTRL + C を押してプロセスを終了します。

スクレイピングしたすべてのデータは、各 MCP サーバー名を付けた複数のファイルとして servers-json ディレクトリに保存されます