mcpField
W
Web Crawler MCP by InsightfulPipe

Web Crawler MCP by InsightfulPipe

远程服务
insightfulpipe.com商业与营销03 周前更新
代码仓库访问官网

关于 Web Crawler MCP by InsightfulPipe

Web Crawler MCP by InsightfulPipe 是面向 AI 助手的远程网站抓取与 SEO 审计服务，提供可按账户控制的只读检查工具。它支持技术与内容分析、站点地图生成及品牌元素提取。

主要功能

  1. 01运行 33 项 SEO 检查
  2. 02生成 XML 站点地图和 robots.txt
  3. 03提取网站品牌元素
  4. 04检查速度、移动适配与安全
  5. 05按账户启用或关闭操作

适用场景

  1. 01审核网站技术 SEO 与内容质量
  2. 02排查失效链接和重定向
  3. 03生成网站 XML 站点地图
  4. 04查看网站品牌颜色、字体和标志

MCP 相关

这是供 MCP 客户端连接的远程 MCP 服务，向 AI 助手提供网站抓取与 SEO 检查工具。连接账户可单独控制各项操作；所列操作均为只读。

配置

远程服务无需本地安装。选择你使用的客户端，复制配置或使用一键安装。

服务地址https://crawler.insightfulmcp.com/
一键复制安装命令
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

命令在终端中运行；JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

工具

详细介绍

Insightful Pipe 的 Web Crawler MCP Server（SEO 爬虫）

MCP Compatible Insightful Pipe License

通过 MCP 和 AI 实现全面的 SEO 审核与网页爬取。

它是 Insightful Pipe MCP 服务集合的一部分。Web Crawler MCP 服务可让 Claude、ChatGPT、Cursor 和其他 AI 助手执行 SEO 审核、提取数据并分析网站。它提供 25+ 项专门的 SEO 检查、生成站点地图并提取品牌信息。

探索所有 MCP 服务

Web Crawler MCP Server

MCP 服务 URL

https://crawler.insightfulmcp.com/

什么是 Web Crawler MCP？

Web Crawler MCP 是一款远程模型上下文协议服务，为 AI 助手提供全面的 SEO 审核与网页爬取能力。此集成可帮助你：

  • 对任意 URL 运行 25+ 项专门的 SEO 检查
  • 生成 XML 站点地图和 robots.txt 文件
  • 从网站提取品牌设计元素
  • 审核技术 SEO、内容质量和安全性
  • 分析移动设备适配性和页面速度

安装

Claude
  1. 复制 MCP 服务 URL：https://crawler.insightfulmcp.com/
  2. 打开 Claude 连接器设置
  3. 滚动到底部并点击 添加自定义连接器
  4. 粘贴 URL 并点击 添加
  5. 点击 连接，如果出现提示，请登录 InsightfulPipe。随后，Claude 会将连接器列为已连接。
ChatGPT

自定义 MCP 服务通过 ChatGPT 的开发者模式添加。是否可用取决于你的 ChatGPT 方案，工作区管理员可能需要先启用该功能。

  1. 在 ChatGPT 设置中开启开发者模式
  2. 为远程 MCP 服务创建一个新应用，并粘贴 URL：https://crawler.insightfulmcp.com/
  3. 如果出现提示，请登录 InsightfulPipe。登录后，连接即完成。

参阅 OpenAI 指南：ChatGPT 中的开发者模式和 MCP 应用

Claude Code
claude mcp add --transport http crawler https://crawler.insightfulmcp.com/
Cursor

将服务添加到 ~/.cursor/mcp.json（所有项目）或 .cursor/mcp.json（单个项目）：

{
  "mcpServers": {
    "crawler": {
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

当 Cursor 显示 需要身份验证 时，点击 连接，如果出现提示，请登录 InsightfulPipe。

可用操作

33 项操作：33 项只读，0 项写入。

读取操作（33）
显示全部 33 项读取操作
操作描述
ai-crawler-checker检查 AI 训练机器人和爬虫的权限
amp-checker验证 AMP 的实现质量和可发现性
brand-extractor从网站提取品牌设计细节（颜色、字体、按钮、徽标）
canonical-checker验证规范 URL 和相互冲突的提示
character-encoding-checker验证声明的字符集及编码一致性
content-optimizer-checker分析页面内容质量和关键词密度
content-quality-checker评估可读性、字数和重复风险
deprecated-html-checker检测仍在使用的过时标签或属性
favicon-checker确认各设备上的 favicon/图标可发现性
headings-checker检查标题层级（H1-H6）是否存在结构缺漏
hreflang-checker检查国际化 hreflang 注释
image-optimization-checker检查替代文本、格式和压缩级别
indexability-checker检查影响索引的 robots/meta 指令
internal-linking-checker映射内部链接并发现优化机会
language-checker验证 html[lang] 属性和语言定位
link-analysis-checker检测页面上的失效或低质量链接
link-extractor提取页面中的所有链接并分类（内部和外部）
llms-txt-checker解析面向 AI 爬虫的 llms.txt 指令
meta-tags-checker检查页面中的 meta 标题/描述标签
mobile-responsive-checker审核响应式布局规则和断点
mobile-viewport-checker确保已设置 viewport meta 标签和响应式 meta 配置
page-load-checker测量页面体积和阻塞渲染的资源
page-speed-checker测量加载时间并突出显示缓慢的资源
robots-txt-checker解析 robots.txt 指令并突出显示阻止访问的问题
robots-txt-generator生成 robots.txt 内容，并可选择限制 AI 机器人
security-headers-checker检查 CSP/HSTS 和其他安全标头
seo-audit-checker全面审核 SEO，涵盖技术和内容问题
sitemap-generator抓取目标域名并生成 XML 站点地图
social-media-checker验证 Open Graph 和 Twitter Card 元数据
ssl-certificate-checker检查证书链、有效期和 HTTPS 强制策略
status-code-checker跟踪 URL 的 HTTP 状态/重定向链
structured-data-checker验证 Schema.org 标记和结构化数据覆盖情况
url-structure-checker评估 URL 中的关键词使用情况和简洁性

控制 AI 的操作权限

你可以决定 AI Agent 在每个已连接账户中可以执行哪些操作：

  • 为每个已连接账户单独开启或关闭操作，确保 Agent 只能看到你允许的操作。
  • 选择只读或读写连接。 只读连接只能启用读取操作。
  • 破坏性操作默认关闭。 删除等操作在管理员启用前处于禁用状态。
  • 按账户设置团队访问权限。 受限团队成员只能使用获准访问的账户，并且只能执行这些账户上已启用的读取操作。

使用示例

全面 SEO 审核
"Run a comprehensive SEO audit on https://example.com"
检查技术 SEO
"Check the robots.txt and indexability of https://example.com"
分析内部链接
"Map all the internal links on this page"
生成站点地图
"Generate an XML sitemap for https://example.com"
提取品牌元素
"Extract the brand colors, fonts, and logos from https://company.com"
安全审核
"Check the SSL certificate and security headers for this site"

为什么选择 Web Crawler MCP？

面向 SEO 专业人士
  • 全面审核 - 25+ 项专项检查
  • 技术 SEO - Robots、canonical、结构化数据
  • 内容分析 - 质量评分和优化
面向 Web 开发者
  • 调试问题 - 查找失效链接和重定向链
  • 性能 - 页面速度和资源分析
  • 安全 - SSL 和标头验证
面向代理机构
  • 客户审计 - 快速评估网站
  • 竞争分析 - 分析竞争对手的网站
  • 报告 - 以对话方式生成调查结果

安全与隐私

  • 安全请求 - 支持 HTTPS

定价

Web Crawler MCP 服务包含在每个 InsightfulPipe 套餐中，同时还包含所有其他 MCP 服务和 CLI。套餐价格从每月 $29.99 起，并可免费试用 7 天。请访问 insightfulpipe.com/pricing 查看当前套餐。

现成的技能和提示词

探索 Insightful Pipe 提供的更多 MCP 服务

访问 insightfulpipe.com/mcp-servers，了解我们为营销和分析提供的完整 MCP 服务集合。

SEO 和性能 MCP 服务
分析 MCP 服务

查看所有 MCP 服务 →

资源

支持

Insightful Pipe — 通过 MCP 服务提供 AI 驱动的营销分析。探索所有集成 →

许可证

MIT 许可证 - 详情请参阅 LICENSE。

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。