mcpField
F
fastCRW

fastCRW

远程服务
fastcrw.com浏览器自动化1.2k今天更新

关于 fastCRW

fastCRW 是一个可自托管的开源 Rust 爬虫与搜索工具,可将 URL 转换为 markdown 或结构化 JSON,适用于为 AI Agent 提供网页数据。它提供本地二进制和托管 API 两种运行方式。

主要功能

  1. 01单一引擎支持搜索、抓取、映射、爬取和提取
  2. 02本地运行为小型 Rust 二进制文件
  3. 03输出 markdown、HTML、链接、截图或 schema JSON
  4. 04爬取默认遵循 robots.txt
  5. 05通过 MCP 服务接入 AI 编码工具

适用场景

  1. 01为 AI Agent 抓取网页并转换为 markdown
  2. 02对站点进行有边界的爬取并收集页面
  3. 03从多个 URL 中提取结构化字段

MCP 相关

fastCRW 提供 MCP 服务,可由 npx crw-mcp 安装到 Claude Code、Cursor 等 AI 工具中,向 MCP 客户端暴露搜索与抓取能力。

配置

远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。

服务地址https://fastcrw.com/mcp
一键复制安装命令
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

工具

详细介绍

fastCRW

fastCRW

用一个引擎完成搜索、抓取、映射、爬取和提取,将 URL 转换为简洁的markdown或结构化的 JSON。

可作为轻量级 Rust 二进制文件在本地运行,也可使用托管 API。

领取 1000 个免费额度 → · 安装 · 文档

无需信用卡。使用 GitHub 继续。

crates.io PyPI npm crw-mcp CI 许可证 GitHub 星标

一条命令完成安装

curl -fsSL https://fastcrw.com/install | sh

本地运行,免费且无需账号。要使用 Cloud,只需将密钥粘贴到同一条命令中,即可安装二进制文件、连接密钥,并为你已有的 AI 编码工具注册 MCP 服务:

curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... sh
crw search "rust tutorials"

如果 Claude Code、Cursor、Codex、Gemini CLI、OpenCode 和 Windsurf 已配置好,安装程序会自动检测;不会改动其他内容,密钥也会保存在 ~/.config/crw/config.toml 中,而不会复制到每个工具中。添加 CRW_NO_AGENTS=1 可跳过此步骤,也可以单独运行 crw setup 进行交互式选择。

1000 个免费额度,无需信用卡。 提供托管代理、JS 渲染和搜索,无需运行或维护任何内容。 获取我的免费密钥 →

支持 macOS 和 Linux,兼容 Intel 和 ARM。 查看更多安装选项 →

功能

操作结果
抓取将单个 URL 转换为 markdown、HTML、链接、屏幕截图或 schema JSON
爬取按限定范围爬取网站并收集其页面
映射发现 URL,无需抓取每个页面
搜索搜索网络,并可选择抓取指定结果
提取从一个或多个 URL 中提取结构化字段

查看完整 API →

为什么选择 fastCRW

在 Firecrawl 自己公开的 1,000 个 URL 数据集上,fastCRW 找回的真实信息比 Crawl4AI 和 Firecrawl 更多,中位延迟与最快者持平,空闲时仅占用 ~14 MB 内存。

fastCRW 与 Crawl4AI 和 Firecrawl 在真实信息召回率、独有找回信息、中位延迟、下载大小和召回深度方面的对比

方法、完整数据,以及如何复现

在另一个完全不同的基准测试中,评估的是答案准确率,而非抓取召回率, fastCRW 正确回答了 600 道 AA-Omniscience 问题中的 90.0%。Artificial Analysis Search Index 上列出的所有产品都低于它。

AA-Omniscience 答案准确率。fastCRW 为 90.0%,领先于 Artificial Analysis Search Index 上的所有产品:Firecrawl 为 73,Exa 为 70,You.com 为 69,Parallel 为 68,Tavily 为 64,不使用搜索时为 38。

完整的 14 款产品对比、对照测试,以及如何复现

选择使用方式

CLI
crw https://example.com            # scrape, works right after install
crw search "rust async runtime"    # search, after `crw setup`
Python SDK

使用云服务?获取 API 密钥,然后导出一次:

export CRW_API_KEY="crw_live_..."
pip install crw
from crw import CrwClient

client = CrwClient()
page = client.scrape("https://example.com", formats=["markdown"])

print(page["markdown"])
Node.js
npm install crw-sdk
import { CrwClient } from "crw-sdk";

const client = new CrwClient();

const page = await client.scrape("https://example.com", {
  formats: ["markdown"],
});

console.log(page.markdown);

本地模式和更多 SDK 示例 → · REST API →

面向 AI Agent 的 MCP
npx -y crw-mcp@latest install

此操作会在检测到的 AI 工具中安装 CRW skill 和 MCP 服务。crw setup 也能完成这一步,因此选择任一种方式即可。 手动设置 →

选择运行位置

托管 API本地 / 可自托管
适用于无需基础设施,并由托管服务扩展数据控制、私有网络或自定义基础设施
开始使用创建 API 密钥,然后运行 crw setup安装并运行 crw <URL>
运维托管代理、计费和托管功能由你选择渲染器、搜索、身份验证、代理和容量

不同部署方式的功能和响应格式可能有所不同: /v1/capabilities · 响应格式

自托管指南 →

了解更多

贡献

此工作区需要 Rust 1.85 或更高版本:

git clone https://github.com/fastcrw/crw
cd crw
make check-fast

阅读贡献指南 →

贡献者

有了这些人的贡献,crw 才变得更好。感谢大家:

us paoloantinori behramcelen rqi14 santhreal AsheTheWings gjija adambenhassen atirna cdebled VIVAAN-DHAWAN alkaz-nodemaven mj520

引擎和 MCP 服务: AGPL-3.0。Python 和 TypeScript SDK:MIT。 嵌入许可:[email protected]。

Star 历史

Star 历史图表

请遵守网站政策。默认情况下,抓取和映射会遵循 robots.txt。

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。