Web-Scraping-Agent-with-N8N-and-MCP-Server

使用 N8N 和 MCP Server 构建网页抓取 Agent

使用 N8N 和 MCP Server 构建网页抓取 Agent

🤖 使用 MCP Server 在 n8n 中构建 AI 抓取 Agent

本项目演示如何在 n8n 中使用 MCP (Multi-Component Protocol) 和 Firecrawl 构建功能强大的 AI 网页抓取 Agent。该 Agent 可以接收聊天消息，通过抓取从互联网获取相关数据，并使用 OpenAI 或 Claude 模型智能地作出回应。

---

📌 项目概览

这是一个适合初学者、注重实践的教程，将介绍如何构建具备工具和记忆能力的自主抓取 Agent，使用：

• 🧠 OpenAI 聊天模型
• 🧰 MCP 工具
• 🗂️ 简单记忆
• 🌐 用于网页抓取的 Firecrawl

---

🧠 Agent 工作流（由聊天触发）

核心 Agent 会在收到聊天消息时触发，其中包括：

• 聊天模型：使用 OpenAI（通过 OpenRouter）
• 记忆：使用 Simple Memory 保留上下文
• 工具：连接到 MCP 客户端，由其与抓取服务通信

🔧 Agent 设置

---

🖥️ MCP 服务工作流（抓取处理程序）

这是实际的抓取后端，它会接收 Agent 的请求，使用 Firecrawl 执行抓取，并将结构化结果发回。

🌐 MCP 服务设置

---

🧩 使用的组件

组件	用途
Agent (Tools Agent)	协调 AI、记忆和抓取
OpenAI Chat Model	理解并回应用户查询
Simple Memory	存储之前的消息／记忆上下文
MCP Client	将任务转发给 MCP 服务
MCP Server Trigger	启动抓取后端
Scrape Tool	使用 Firecrawl 提取网页数据

---

📚 你将学到什么

• 如何在 n8n 中创建并协调多个 AI Agent
• 将 OpenAI 模型与实时工具连接起来
• 在 n8n 中设置 MCP Server
• 使用 Firecrawl 进行合乎道德的抓取
• 使用 Agent 即工具模式实现模块化 AI

---

⚙️ 使用的技术

• n8n
• OpenRouter
• Supabase（用于可选的数据库存储）
• QuickChart.io（用于可选的数据可视化）
• 用于抓取的 Firecrawl
• [Claude / GPT-4]（用于大模型推理）
• MCP 架构

---