mcpField
A
AI-First Scraper

AI-First Scraper

本地服务
github.com/yubinkim444浏览器自动化29 周前更新
代码仓库

关于 AI-First Scraper

AI-First Scraper 是面向 MCP Agent 的网页抓取与搜索服务，可将网页、PDF 和搜索结果转换为 Markdown。适合需要获取便于处理的网页内容而非原始 HTML 的用户。

主要功能

  1. 01抓取网页并转为 Markdown
  2. 02抓取 PDF 并转为 Markdown
  3. 03并行抓取最多 25 个 URL
  4. 04搜索网页并返回 Markdown 页面

适用场景

  1. 01提取网页内容供 Agent 分析
  2. 02批量整理多个 URL 的页面
  3. 03搜索文章并获取可处理的正文

MCP 相关

该 MCP 服务向兼容客户端提供 `fetch_page`、`fetch_pages_batch` 和 `search_web` 工具，分别用于抓取单页、批量抓取和搜索网页。

#web-scraping#markdown#search#ai-agents#rag

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "uvx",
      "args": [
        "ai-first-scraper-mcp"
      ],
      "env": {
        "SCRAPER_URL": "<SCRAPER_URL>",
        "SEARCH_URL": "<SEARCH_URL>",
        "AFS_TIMEOUT": "<AFS_TIMEOUT>"
      }
    }
  }
}
启动命令uvx ai-first-scraper-mcp
需要配置的环境变量
SCRAPER_URLURL of the ai-first-scraper instance to use. Default: https://ai-first-scraper.onrender.com
SEARCH_URLURL of the ai-first-search instance to use. Default: https://ai-first-search.onrender.com
AFS_TIMEOUTUpstream HTTP timeout in seconds. Default: 45

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包
pypiai-first-scraper-mcp1.0.2

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

ai-first-scraper-mcp

让 Claude Desktop、Cursor 或 Cline 直接接入无广告的网页抓取工具和搜索引擎。 三个工具，只需一行配置。

PyPI Python MCP License: MIT

功能

为任何兼容 MCP 的 Agent 添加三个工具：

工具功能
fetch_page抓取一个 URL → 返回整洁的 Markdown（HTML 或 PDF）。
fetch_pages_batch并行抓取最多 25 个 URL → 分别返回 Markdown。
search_web执行网页搜索，并返回已转换为 Markdown 的前 k 个结果页面。

再也不用担心“模型调用 curl，然后试图解析 80kB 的广告 HTML”。 你的 Agent 会收到整洁的 Markdown，可直接用于推理。

由 ai-first-scraper 和 ai-first-search API 提供支持。

安装

最快方式 — uvx（无需安装，按需从 PyPI 运行）
// claude_desktop_config.json  /  cline_mcp_settings.json  /  ~/.cursor/mcp.json
{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "uvx",
      "args": ["ai-first-scraper-mcp"]
    }
  }
}

重启你的客户端（Claude Desktop / Cursor / Cline）。上述三个工具 将自动显示。

替代方式 — pip install
pip install ai-first-scraper-mcp

{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "ai-first-scraper-mcp"
    }
  }
}

配置文件位置

客户端配置路径
Claude Desktop（macOS）~/Library/Application Support/Claude/claude_desktop_config.json
Claude Desktop（Windows）%APPDATA%\Claude\claude_desktop_config.json
Cursor~/.cursor/mcp.json
Cline（VS Code）~/Library/Application Support/Code/User/globalStorage/saoudrizwan.claude-dev/settings/cline_mcp_settings.json

指向你自己的后端（可选）

默认情况下，此服务会调用公开的 ai-first-scraper.onrender.com 和 ai-first-search.onrender.com 实例。如果想自行托管，请在 MCP 配置中设置环境 变量：

{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "uvx",
      "args": ["ai-first-scraper-mcp"],
      "env": {
        "SCRAPER_URL": "https://your-scraper.example.com",
        "SEARCH_URL":  "https://your-search.example.com",
        "AFS_TIMEOUT": "60"
      }
    }
  }
}

验证是否正常工作

打开你的 MCP 客户端，并向 Agent 提问：

“使用 search_web 工具查找最近关于 MCP 的 3 篇文章， 并将每篇文章总结为 5 个要点。”

你应该会看到 Agent 调用 search_web，获取每条结果对应的 Markdown， 并生成摘要，全程无需接触原始 HTML。

配套项目

  • ai-first-scraper — 此 MCP 服务分发请求至其调用的 URL 专用 Markdown 清理工具。
  • ai-first-search — 搜索 → 抓取 → Markdown 工作流。
  • mcp-rec — 记录并回放任何 MCP 服务的流量，用于测试和错误报告。
  • llm-cache-proxy — OpenAI/Anthropic API 调用的本地缓存。
  • promptlocker — 提示词的锁文件。
  • context-diff — 查看是什么占满了你的 Claude Code 上下文窗口。
  • agentwatch — 面向浏览器 AI Agent 的叠加层。

本地开发

git clone https://github.com/yubinkim444/ai-first-scraper-mcp.git
cd ai-first-scraper-mcp

uv sync                    # or: pip install -e .
ai-first-scraper-mcp       # speaks MCP over stdio

若要使用本地客户端进行测试，请将其 MCP 配置指向同一条命令。

关于作者

由 yubinkim444 构建，他还开发了 Kay's Records — 一款适用于 iOS 和 Android 的应用。

如果这个项目为你节省了时间，试用一下这款应用就是最好的感谢方式。

许可证

MIT © yubinkim444

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。