关于 mcp-news-site-article-archive
mcp-news-site-article-archive 是按日期范围采集指定新闻网站全文的 MCP 服务。它通过站点地图和 Internet Archive 索引查找文章,也可读取已从网站下架页面的存档副本。
主要功能
- 01按日期范围搜索新闻网站
- 02从站点地图查找文章
- 03使用 Internet Archive 索引
- 04返回文章全文和元数据
- 05读取缺失页面的存档副本
适用场景
- 01收集某网站过去一个月的文章
- 02建立多年新闻报道档案
- 03获取过去政治新闻的全文
MCP 相关
向 MCP 客户端提供 collect_news_site_articles 工具。该服务启动 Apify Actor 并返回数据集行。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
1收录的工具列表 · 更新于 1 天前
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| sites | array | 否 | 新闻网站域名,例如 techcrunch.com,最多 20 个。 |
| date_to | string | 否 | 最新发布日期,格式为 YYYY-MM-DD。默认值:今天。 |
| date_from | string | 否 | 最早发布日期,格式为 YYYY-MM-DD。默认值:Date to 前 30 天。 |
| min_words | number | 否 | 字数较少的页面不计为文章,且免费。默认值为 80。 |
| obey_robots | boolean | 否 | yes(默认):跳过 robots.txt 禁止访问的页面并计数。no:仍然读取这些页面。 |
| url_contains | array | 否 | 可选。仅保留地址中包含任一指定文本的页面,例如 /politics/。 |
| max_charge_usd | string | 否 | 可选。费用超过此金额前,运行将停止。摘要行始终会返回。 |
| use_archive_copy | boolean | 否 | yes(默认):如果网站对页面返回 404、410、500、502 或 504,则从 Internet Archive 读取,按存档行价格收费。拒绝访问和付费墙页面绝不会从存档读取。no:已失效的页面返回免费行。 |
| use_archive_index | boolean | 否 | yes(默认):站点地图中的地址用完后,还会从 Internet Archive 捕获索引中查找地址,该索引涵盖站点地图已不再列出的年份。no:仅使用站点地图。 |
| max_articles_per_site | number | 否 | 每个网站返回的文章数,最多 5,000 篇。默认值为 100。 |
详细介绍
新闻网站文章档案 MCP 服务
这是一个用于 Apify 上 Mamba Labs 新闻网站文章档案 Actor 的 MCP 服务。可获取指定新闻网站在过去某个日期范围内发布的文章全文和日期。
内容一览
功能介绍
指定新闻网站和日期范围。该 Actor 会在网站的站点地图和 Internet Archive 捕获索引中查找文章地址,通过普通 HTTP 读取每个页面,并为每篇文章返回一行数据,包含全文、发布日期、标题、作者和栏目。网站上已删除的页面可以从 Internet Archive 的存档副本中读取。对于付费墙拦截或拒绝访问的页面,会返回不含正文的免费数据行。
所有工作都在 Apify 上运行。此软件包是一个轻量客户端,用于启动 Actor 运行、等待其完成并返回数据集行。
快速开始
你需要 Node.js 18 或更高版本,以及拥有 API 令牌的 Apify 账户。
将以下内容添加到 Claude Desktop 配置文件(claude_desktop_config.json)、Cursor 或任何 MCP 客户端中:
{
"mcpServers": {
"mamba-news-site-article-archive": {
"command": "npx",
"args": [
"-y",
"@mambalabsdev/mcp-news-site-article-archive"
],
"env": {
"APIFY_TOKEN": "your-apify-token"
}
}
}
}
重启客户端后,即可看到 collect_news_site_articles 工具。
前提条件
- Node.js 18 或更高版本。
- 从 console.apify.com/account/integrations 获取 Apify API 令牌,并将其设置为
APIFY_TOKEN。服务无需令牌也会列出该工具;调用工具时则需要令牌。
提示词示例
- “获取该新闻网站在 2016 年 1 月发布的所有文章。”
- “收集这三个新闻网站过去 10 年的报道。”
- “提取该网站去年政治栏目的全文。”
工具
collect_news_site_articles。共一个工具。参数示例:
{
"sites": [
"techcrunch.com"
],
"date_from": "2016-01-01",
"date_to": "2016-01-31",
"max_articles_per_site": 5
}
输入
该 actor 面向买家的所有输入。省略的输入将使用 actor 自带的默认值。
| 输入 | 类型 | 必填 | 描述 |
|---|---|---|---|
sites | array | 否 | 按域名指定新闻网站,例如 techcrunch.com,最多 20 个。 |
date_from | string | 否 | 最早发布日期,格式为 YYYY-MM-DD。默认值:Date to 之前 30 天。 |
date_to | string | 否 | 最晚发布日期,格式为 YYYY-MM-DD。默认值:今天。 |
max_articles_per_site | number | 否 | 每个网站返回的文章数,最多 5,000 篇。默认值为 100。 |
url_contains | array | 否 | 可选。仅保留包含任一指定文本的网址,例如 /politics/。 |
min_words | number | 否 | 少于此词数的页面不计为文章,且免费。默认值为 80。 |
use_archive_index | boolean | 否 | yes(默认):站点地图中的地址用尽后,还会在 Internet Archive 快照索引中查找地址,该索引涵盖站点地图不再列出的年份。no:仅使用站点地图。 |
use_archive_copy | boolean | 否 | yes(默认):如果网站对某个页面返回 404、410、500、502 或 504,则从 Internet Archive 读取该页面,并按存档行价格计费。被拒绝访问和有付费墙的页面绝不会从存档读取。no:已失效的页面返回免费行。 |
obey_robots | boolean | 否 | yes(默认):跳过 robots.txt 禁止抓取的页面,并将其计入统计。no:仍然读取这些页面。 |
max_charge_usd | string | 否 | 可选。运行将在产生超过此金额的费用前停止。始终返回汇总行。 |
定价
在 Apify 上按事件付费,费用计入你的 Apify 账户。价格以 USD 计。
| 事件 | 免费套餐 | Bronze | Silver | Gold |
|---|---|---|---|---|
article-row,从发布者页面读取一篇文章 | $0.003 | $0.00285 | $0.0027 | $0.00255 |
archived-article-row,仅当文章页面已从网站下线时,从 Internet Archive 副本读取一篇文章 | $0.003 | $0.00285 | $0.0027 | $0.00255 |
apify-actor-start,每次运行启动 | $0.021 | $0.021 | $0.021 | $0.021 |
被拒绝访问、有付费墙、已失效或超出范围的页面、汇总行以及被拒绝的输入均免费。Mamba Labs 承担运行的平台费用,包括 Apify 代理流量。Mamba Labs 承担运行的平台费用,包括 Apify 代理流量。
Actor 完整文档
apify.com/mambalabs/news-site-article-archive
许可证
MIT。参见 LICENSE。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。