mcpField
M
mcp-ai-list-extractor-any-website

mcp-ai-list-extractor-any-website

本地服务
github.com/mambalabsdev浏览器自动化02 天前更新

关于 mcp-ai-list-extractor-any-website

此 MCP 服务端启动 Apify Actor,从公开网页列表中提取结构化数据,适合收集职位或商品等条目。它使用用户提供的 API 密钥将页面文本交给所选模型处理,并返回带有页面内容校验的数据行。

主要功能

  1. 01从公开列表页提取数据行
  2. 02指定字段或由模型选择
  3. 03跟随分页链接
  4. 04使用提供商 API 密钥
  5. 05标记页面中未找到的值

适用场景

  1. 01从招聘页面收集职位和链接
  2. 02跨多个页面提取商品名称和价格
  3. 03检查公开网页是否可读取

MCP 相关

它向 MCP 客户端提供 `extract_list_from_website` 工具。该工具启动 Apify Actor 运行,等待完成并返回数据集行。

配置

本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
"mcpServers": {
"com-mambabuilt-mcp-ai-list-extractor-any-website": {
"command": "npx",
"args": [
"-y",
"@mambalabsdev/mcp-ai-list-extractor-any-website"
],
"env": {
"APIFY_TOKEN": "<APIFY_TOKEN>"
}
}
}
}
启动命令npx -y @mambalabsdev/mcp-ai-list-extractor-any-website
需要配置的环境变量
APIFY_TOKEN密钥Apify API token from https://console.apify.com/account/integrations

本地服务需要在你的电脑上安装运行环境(如 Node.js 18+)。各客户端的配置文件位置不同,请参考客户端文档。

安装包
npm@mambalabsdev/mcp-ai-list-extractor-any-website1.0.2

工具

1

收录的工具列表 · 更新于 2 天前

参数类型必填说明
modelstring否你的模型提供商的模型名称。默认值:openai gpt-4o-mini、anthropic claude-haiku-4-5-20251001、gemini gemini-2.5-flash、groq llama-3.3-70b-versatile。
fieldsarray否每个条目必须包含的确切键,且每页的列都相同。留空则由模型选择。在 Clay 中,将一列包装成包含一个条目的列表。
api_keystring否你自己的密钥。它只会发送给你选择的提供商,不会存储、记录或发送给模型。不提供密钥时,actor 可免费读取最多 3 个地址,且不会向模型发送任何内容。
providerenum否使用你提供的密钥读取页面的 API 提供商:openai(默认)、anthropic、gemini 或 groq。openai | anthropic | gemini | groq
max_itemsnumber否运行在处理完此数量的条目后停止。默认值为 1000。
start_urlsarray否无需登录即可访问的公开列表页面,例如招聘页面或分类页面。需要 JavaScript 的页面或拒绝普通请求的页面会返回一行免费结果。
obey_robotsboolean否yes(默认)或 no。被禁止访问的页面会返回一行免费结果。
max_charge_usdstring否如果某个页面将超过此金额,则会在模型调用前停止。这会限制此 Actor 的费用,不会限制你向服务提供商支付的账单。
what_to_extractstring否用普通文字描述,例如:每个职位:职位名称、公司、城市、链接。提供密钥时必填。
max_pages_per_urlnumber否通过跟随下一页链接,从每个地址读取的页数。默认值为 3,最多 100。模型处理每一页都会产生费用。
max_chars_per_pagenumber否超过此长度的页面文本不会发送,从而限制你的提供商账单。默认值为 40000。结果行会说明文本何时被截断。

详细介绍

适用于任意网站的 AI 列表提取器 MCP 服务

MCP Registry npm version npm downloads license

这是一个 MCP 服务,适用于 Apify 上的 Mamba Labs AI List Extractor for Any Website actor。使用你自己的大模型密钥,将任意公开列表页转换为数据行。

内容

功能说明

提供网页地址、对某个条目的简单文字描述,以及你自己的 OpenAI、Anthropic、Gemini 或 Groq 密钥。Actor 会通过普通 HTTP 读取每个页面,将页面文本发送给你的模型,并为每个条目返回一行数据,同时标记页面上未找到的值。你直接向服务提供商付费,并按页面为此 Actor 付费。它不会运行 JavaScript,也无法绕过拒绝访问的情况。

所有工作都在 Apify 上运行。此软件包是一个轻量客户端,用于启动 Actor 运行、等待运行完成并返回数据集行。

快速开始

你需要 Node.js 18 或更高版本,以及一个带有 API 令牌的 Apify 账户。

将以下内容添加到 Claude Desktop 配置文件(claude_desktop_config.json)、Cursor 或任意 MCP 客户端中:

{
  "mcpServers": {
    "mamba-ai-list-extractor-any-website": {
      "command": "npx",
      "args": [
        "-y",
        "@mambalabsdev/mcp-ai-list-extractor-any-website"
      ],
      "env": {
        "APIFY_TOKEN": "your-apify-token"
      }
    }
  }
}

重启客户端。随后会出现 extract_list_from_website 工具。

前置条件

  • Node.js 18 或更高版本。
  • 从 console.apify.com/account/integrations 获取 Apify API 令牌,并将其设置为 APIFY_TOKEN。服务无需令牌即可列出工具;调用工具时则需要令牌。

示例提示词

  • “使用我的 OpenAI 密钥,从这个招聘页面提取所有职位名称、公司和链接。”
  • “提取这个分类页面中的所有产品和价格,并继续抓取后续 5 个页面。”
  • “在使用我的密钥前,检查是否能读取这 3 个页面。”

工具

extract_list_from_website。只有一个工具。参数示例:

{
  "start_urls": [
    "https://quotes.toscrape.com/"
  ],
  "what_to_extract": "every quote: text, author, tags",
  "provider": "openai",
  "max_pages_per_url": 1
}

输入

该 actor 面向买家的所有输入。省略的输入将使用 actor 自身的默认值。

输入类型必填描述
start_urlsarray否无需登录即可访问的公开列表页面,例如招聘页面或分类页面。需要 JavaScript 或拒绝普通请求的页面会返回一条免费记录。
what_to_extractstring否用普通文字描述,例如:每个职位的标题、公司、城市、链接。提供密钥时必需。
fieldsarray否每个条目必须包含的确切键,确保每个页面的列相同。留空则由模型选择。在 Clay 中,将一列用只包含一个条目的列表包裹。
providerstring否使用哪家服务商的 API 读取页面,使用你自己的密钥:openai(默认)、anthropic、gemini 或 groq。
api_keystring否你自己的密钥。它只会发送给你选择的服务商,不会存储、记录或发送给模型。未提供密钥时,actor 会免费读取最多 3 个地址,且不会向模型发送任何内容。
modelstring否你所选服务商的模型名称。默认值:openai gpt-4o-mini、anthropic claude-haiku-4-5-20251001、gemini gemini-2.5-flash、groq llama-3.3-70b-versatile。
max_pages_per_urlnumber否通过跟随下一页链接,从每个地址读取的页面数。默认值为 3,最多 100。模型回答的每个页面都会收费。
max_itemsnumber否运行在达到此条目数后停止。默认值为 1000。
max_chars_per_pagenumber否超出此长度的页面文本不会发送,以限制你的服务商账单。默认值为 40000。若文本被截断,记录中会注明。
obey_robotsboolean否yes(默认)或 no。被禁止访问的页面会返回一条免费记录。
max_charge_usdstring否在某个页面会超过此金额之前停止,且不会调用模型。这限制的是此 actor 的费用,不是你的服务商账单。

定价

在 Apify 上按事件付费,费用计入你的 Apify 账户。价格以 USD 计。

事件免费计划BronzeSilverGold
page-extracted,模型回答的一个页面,无论页面上有多少条目$0.01$0.0095$0.009$0.0085
apify-actor-start,每次运行启动$0.012$0.012$0.012$0.012

收费页面中的条目、被拒绝的页面、服务商调用失败、未提供密钥的运行以及被拒绝的输入均免费。Mamba Labs 承担运行的平台费用。Mamba Labs 承担运行的平台费用,包括 Apify 代理流量。

Actor 完整文档

apify.com/mambalabs/ai-list-extractor-any-website

许可证

MIT。请参阅 LICENSE。

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。