mcp-site-crawler-links-tables

用于链接和表格的 Site Crawler MCP 服务

这是一个 MCP 服务，适用于 Apify 上 Mamba Labs 的 Site Crawler for Links and Tables actor。抓取网站，并以行的形式获取其链接、下载链接、表格和列表。

内容

• 功能介绍
• 快速开始
• 前置条件
• 提示词示例
• 工具
• 输入
• 定价
• actor 完整文档
• 许可证

功能介绍

提供一个起始地址。actor 会通过普通 HTTP 抓取网站，并沿着链接和站点地图进行访问；随后按页面返回一行数据，其中包含内部链接、外部链接、文件下载链接、以行形式呈现的所有 HTML 表格，以及所有列表。输出是确定性的，不使用 AI。默认遵守 robots.txt。由 JavaScript 构建的页面返回的数据很少，因为不会运行浏览器。

所有工作都在 Apify 上运行。此程序包是一个轻量客户端，用于启动 actor 运行、等待运行完成并返回数据集中的行。

快速开始

你需要 Node.js 18 或更高版本，以及一个带有 API 令牌的 Apify 账号。

将以下内容添加到 Claude Desktop 配置（claude_desktop_config.json）、Cursor 或任何 MCP 客户端中：

{
  "mcpServers": {
    "mamba-site-crawler-links-tables": {
      "command": "npx",
      "args": [
        "-y",
        "@mambalabsdev/mcp-site-crawler-links-tables"
      ],
      "env": {
        "APIFY_TOKEN": "your-apify-token"
      }
    }
  }
}

重启客户端。crawl_site_links_tables 工具随即出现。

前置条件

• Node.js 18 或更高版本。
• 从 console.apify.com/account/integrations 获取 Apify API 令牌，并将其设为 APIFY_TOKEN。服务无需令牌即可列出其工具；调用工具时则需要令牌。

提示词示例

• “列出此网站上的所有外部下载链接。”
• “将这些页面中的所有表格提取为行。”
• “抓取此网站，并告诉我哪些页面链接到了其他域名。”

工具

crawl_site_links_tables。只有一个工具。参数示例：

{
  "start_urls": [
    "https://webscraper.io/test-sites/tables"
  ],
  "extract": [
    "tables",
    "links"
  ],
  "max_pages": 10,
  "max_depth": 1
}

输入

该 Actor 面向买家的所有输入。省略的输入将使用 Actor 自身的默认值。

输入	类型	必填	说明
start_urls	array	否	起始网页地址，最多 100 个。像 example.com 这样的纯域名会按 https 处理。
max_pages	number	否	整个运行过程中读取的页面数，最多 10,000。默认值为 100。
max_depth	number	否	从起始地址开始跟进的链接层数。0 表示只读取起始地址。默认值为 10。
same_domain_only	string	否	yes（默认）：仅跟进起始地址所在主机及其子域名上的链接。no：也跟进指向其他网站的链接，但不超过 Maximum pages。无论哪种设置，都会列出指向其他网站的链接。
extract	array	否	可选值：links、tables、lists、download_links。默认值为 links、tables、lists。download_links 会为每个文件链接额外生成一行，并按 download-link-row 计费；页面行中的 download_links 字段始终会填写，不额外收费。
download_extensions	array	否	视为下载链接的文件扩展名。默认值为 pdf、zip、xlsx、xls、docx、doc、pptx、csv、mp3、mp4、exe、dmg、msi、pkg、gz、tar、tgz、7z、rar、iso、apk。只列出文件，不会下载。
use_sitemap	string	否	yes（默认）：也将 /sitemap.xml 中的地址加入队列，以找到没有任何链接指向的页面。no：仅跟进链接。
obey_robots	string	否	yes（默认）：跳过 robots.txt 禁止访问的页面，并遵守其爬取延迟，最长 5 秒。no：仅在你有权访问时才读取这些页面。
max_charge_usd	string	否	可选。运行会在产生超出此金额的费用之前停止。始终会返回摘要行。
proxy_mode	string	否	pool（默认）：仅使用 Apify 代理池，按 page-row 计费；拒绝通过代理池访问的页面会生成免费的 blocked 行。auto：如果页面拒绝访问，则使用住宅地址重试；以此方式读取的页面按 residential-page-row 计费。residential：每个页面都使用住宅地址，并按 residential-page-row 计费。

定价

在 Apify 上按事件付费，费用计入你的 Apify 账户。价格以 USD 计。

事件	免费计划	Bronze	Silver	Gold
page-row，通过代理池读取一个页面	$0.006	$0.0057	$0.0054	$0.0051
residential-page-row，通过住宅地址读取一个页面，仅适用于 proxy_mode 为 auto 或 residential 的情况	$0.02	$0.019	$0.018	$0.017
download-link-row，一个单独的文件链接行，仅当 extract 包含 download_links 时计费	$0.0001	$0.000095	$0.00009	$0.000085
apify-actor-start，每次运行启动	$0.0055	$0.0055	$0.0055	$0.0055

失败或拒绝访问的页面、摘要行、被 robots.txt 跳过的页面以及被拒绝的输入均免费。Mamba Labs 承担运行产生的平台费用，包括 Apify 代理流量。Mamba Labs 承担运行产生的平台费用，包括 Apify 代理流量。

Actor 完整文档

apify.com/mambalabs/site-crawler-links-tables

许可证

MIT。请参阅 LICENSE。