Web-Scraping-Agent-with-N8N-and-MCP-Server

Web-Scraping-Agent-with-N8N-and-MCP-Server

N8N と MCP サーバーを使用したウェブスクレイピングエージェント

🤖 MCP サーバーを使用した n8n の AI スクレイピングエージェント

このプロジェクトでは、MCP（Multi-Component Protocol） と Firecrawl を使用して、n8n で強力な AI 搭載ウェブスクレイピングエージェントを作成する方法を紹介します。このエージェントは、チャットメッセージを受け取り、スクレイピングによってインターネットから関連データを取得し、OpenAI または Claude のモデルを使用して適切に応答できます。

---

📌 プロジェクトの概要

ツールとメモリ機能を備えた自律型のスクレイピングエージェントを構築する、初心者にも取り組みやすい実践的なチュートリアルです。以下を使用します。

• 🧠 OpenAI Chat Model
• 🧰 MCP Tools
• 🗂️ Simple Memory
• 🌐 ウェブスクレイピング用の Firecrawl

---

🧠 エージェントのワークフロー（チャットによるトリガー）

チャットメッセージを受信すると、コアとなるエージェントが起動します。次の要素が含まれます。

• チャットモデル：OpenRouter 経由で OpenAI を使用します
• メモリ：Simple Memory を使用してコンテキストを保持します
• ツール：スクレイピングサーバーと通信する MCP Client に接続します

🔧 エージェントのセットアップ

---

🖥️ MCP サーバーのワークフロー（スクレイピングの処理）

これは、エージェントからのリクエストを受け取り、Firecrawl を使用してスクレイピングを実行し、構造化された結果を返す実際のスクレイピングバックエンドです。

🌐 MCP サーバーのセットアップ

---

🧩 使用するコンポーネント

コンポーネント	目的
Agent (Tools Agent)	AI、メモリ、スクレイピングを統括します
OpenAI Chat Model	ユーザーの質問を理解し、回答します
Simple Memory	過去のメッセージやメモリのコンテキストを保存します
MCP Client	MCP サーバーにタスクを転送します
MCP Server Trigger	スクレイピングバックエンドを起動します
Scrape Tool	Firecrawl を使用してウェブページのデータを抽出します

---

📚 学べること

• n8n で複数の AI エージェントを作成し、連携させる方法
• OpenAI のモデルをリアルタイムツールに接続する方法
• n8n 内に MCP サーバーをセットアップする方法
• Firecrawl を使った倫理的なスクレイピング
• エージェントをツールとして扱うパターンを使った、モジュール式 AI の構築

---

⚙️ 使用技術

• n8n
• OpenRouter
• Supabase（任意のデータベースストレージ用）
• QuickChart.io（任意の可視化用）
• スクレイピング用の Firecrawl
• [Claude / GPT-4]（LLM による推論用）
• MCP アーキテクチャ

---