关于 mcp-ai-list-extractor-any-website
此 MCP 服务端启动 Apify Actor,从公开网页列表中提取结构化数据,适合收集职位或商品等条目。它使用用户提供的 API 密钥将页面文本交给所选模型处理,并返回带有页面内容校验的数据行。
主要功能
- 01从公开列表页提取数据行
- 02指定字段或由模型选择
- 03跟随分页链接
- 04使用提供商 API 密钥
- 05标记页面中未找到的值
适用场景
- 01从招聘页面收集职位和链接
- 02跨多个页面提取商品名称和价格
- 03检查公开网页是否可读取
MCP 相关
它向 MCP 客户端提供 `extract_list_from_website` 工具。该工具启动 Apify Actor 运行,等待完成并返回数据集行。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
1收录的工具列表 · 更新于 2 天前
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| model | string | 否 | 你的模型提供商的模型名称。默认值:openai gpt-4o-mini、anthropic claude-haiku-4-5-20251001、gemini gemini-2.5-flash、groq llama-3.3-70b-versatile。 |
| fields | array | 否 | 每个条目必须包含的确切键,且每页的列都相同。留空则由模型选择。在 Clay 中,将一列包装成包含一个条目的列表。 |
| api_key | string | 否 | 你自己的密钥。它只会发送给你选择的提供商,不会存储、记录或发送给模型。不提供密钥时,actor 可免费读取最多 3 个地址,且不会向模型发送任何内容。 |
| provider | enum | 否 | 使用你提供的密钥读取页面的 API 提供商:openai(默认)、anthropic、gemini 或 groq。openai | anthropic | gemini | groq |
| max_items | number | 否 | 运行在处理完此数量的条目后停止。默认值为 1000。 |
| start_urls | array | 否 | 无需登录即可访问的公开列表页面,例如招聘页面或分类页面。需要 JavaScript 的页面或拒绝普通请求的页面会返回一行免费结果。 |
| obey_robots | boolean | 否 | yes(默认)或 no。被禁止访问的页面会返回一行免费结果。 |
| max_charge_usd | string | 否 | 如果某个页面将超过此金额,则会在模型调用前停止。这会限制此 Actor 的费用,不会限制你向服务提供商支付的账单。 |
| what_to_extract | string | 否 | 用普通文字描述,例如:每个职位:职位名称、公司、城市、链接。提供密钥时必填。 |
| max_pages_per_url | number | 否 | 通过跟随下一页链接,从每个地址读取的页数。默认值为 3,最多 100。模型处理每一页都会产生费用。 |
| max_chars_per_page | number | 否 | 超过此长度的页面文本不会发送,从而限制你的提供商账单。默认值为 40000。结果行会说明文本何时被截断。 |
详细介绍
适用于任意网站的 AI 列表提取器 MCP 服务
这是一个 MCP 服务,适用于 Apify 上的 Mamba Labs AI List Extractor for Any Website actor。使用你自己的大模型密钥,将任意公开列表页转换为数据行。
内容
功能说明
提供网页地址、对某个条目的简单文字描述,以及你自己的 OpenAI、Anthropic、Gemini 或 Groq 密钥。Actor 会通过普通 HTTP 读取每个页面,将页面文本发送给你的模型,并为每个条目返回一行数据,同时标记页面上未找到的值。你直接向服务提供商付费,并按页面为此 Actor 付费。它不会运行 JavaScript,也无法绕过拒绝访问的情况。
所有工作都在 Apify 上运行。此软件包是一个轻量客户端,用于启动 Actor 运行、等待运行完成并返回数据集行。
快速开始
你需要 Node.js 18 或更高版本,以及一个带有 API 令牌的 Apify 账户。
将以下内容添加到 Claude Desktop 配置文件(claude_desktop_config.json)、Cursor 或任意 MCP 客户端中:
{
"mcpServers": {
"mamba-ai-list-extractor-any-website": {
"command": "npx",
"args": [
"-y",
"@mambalabsdev/mcp-ai-list-extractor-any-website"
],
"env": {
"APIFY_TOKEN": "your-apify-token"
}
}
}
}
重启客户端。随后会出现 extract_list_from_website 工具。
前置条件
- Node.js 18 或更高版本。
- 从 console.apify.com/account/integrations 获取 Apify API 令牌,并将其设置为
APIFY_TOKEN。服务无需令牌即可列出工具;调用工具时则需要令牌。
示例提示词
- “使用我的 OpenAI 密钥,从这个招聘页面提取所有职位名称、公司和链接。”
- “提取这个分类页面中的所有产品和价格,并继续抓取后续 5 个页面。”
- “在使用我的密钥前,检查是否能读取这 3 个页面。”
工具
extract_list_from_website。只有一个工具。参数示例:
{
"start_urls": [
"https://quotes.toscrape.com/"
],
"what_to_extract": "every quote: text, author, tags",
"provider": "openai",
"max_pages_per_url": 1
}
输入
该 actor 面向买家的所有输入。省略的输入将使用 actor 自身的默认值。
| 输入 | 类型 | 必填 | 描述 |
|---|---|---|---|
start_urls | array | 否 | 无需登录即可访问的公开列表页面,例如招聘页面或分类页面。需要 JavaScript 或拒绝普通请求的页面会返回一条免费记录。 |
what_to_extract | string | 否 | 用普通文字描述,例如:每个职位的标题、公司、城市、链接。提供密钥时必需。 |
fields | array | 否 | 每个条目必须包含的确切键,确保每个页面的列相同。留空则由模型选择。在 Clay 中,将一列用只包含一个条目的列表包裹。 |
provider | string | 否 | 使用哪家服务商的 API 读取页面,使用你自己的密钥:openai(默认)、anthropic、gemini 或 groq。 |
api_key | string | 否 | 你自己的密钥。它只会发送给你选择的服务商,不会存储、记录或发送给模型。未提供密钥时,actor 会免费读取最多 3 个地址,且不会向模型发送任何内容。 |
model | string | 否 | 你所选服务商的模型名称。默认值:openai gpt-4o-mini、anthropic claude-haiku-4-5-20251001、gemini gemini-2.5-flash、groq llama-3.3-70b-versatile。 |
max_pages_per_url | number | 否 | 通过跟随下一页链接,从每个地址读取的页面数。默认值为 3,最多 100。模型回答的每个页面都会收费。 |
max_items | number | 否 | 运行在达到此条目数后停止。默认值为 1000。 |
max_chars_per_page | number | 否 | 超出此长度的页面文本不会发送,以限制你的服务商账单。默认值为 40000。若文本被截断,记录中会注明。 |
obey_robots | boolean | 否 | yes(默认)或 no。被禁止访问的页面会返回一条免费记录。 |
max_charge_usd | string | 否 | 在某个页面会超过此金额之前停止,且不会调用模型。这限制的是此 actor 的费用,不是你的服务商账单。 |
定价
在 Apify 上按事件付费,费用计入你的 Apify 账户。价格以 USD 计。
| 事件 | 免费计划 | Bronze | Silver | Gold |
|---|---|---|---|---|
page-extracted,模型回答的一个页面,无论页面上有多少条目 | $0.01 | $0.0095 | $0.009 | $0.0085 |
apify-actor-start,每次运行启动 | $0.012 | $0.012 | $0.012 | $0.012 |
收费页面中的条目、被拒绝的页面、服务商调用失败、未提供密钥的运行以及被拒绝的输入均免费。Mamba Labs 承担运行的平台费用。Mamba Labs 承担运行的平台费用,包括 Apify 代理流量。
Actor 完整文档
apify.com/mambalabs/ai-list-extractor-any-website
许可证
MIT。请参阅 LICENSE。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。