Fastcrw

Name: Fastcrw
Author: us

本地服务

fastcrw.com浏览器自动化1.2k今天更新

代码仓库访问官网

关于 Fastcrw

fastCRW 是用 Rust 编写的网页抓取、爬取与搜索工具，提供 MCP 服务，可在本地以单个二进制文件运行，也可使用托管 API。它兼容 Firecrawl 的 /scrape、/crawl、/search 接口，适合需要为 AI Agent 提供网页数据的开发者。

主要功能

01单个 Rust 二进制文件，可本地运行
02兼容 Firecrawl 的 /scrape、/crawl、/search 接口
03支持 scrape、crawl、map、search、extract 操作
04输出 markdown 或结构化 JSON
05遵循 robots.txt 进行爬取与 map

适用场景

01为 AI Agent 或 LLM 提供网页的 markdown 内容
02从多个 URL 中提取结构化字段
03在 AI 编码工具中通过 MCP 调用网页搜索与抓取

MCP 相关

fastCRW 提供 MCP 服务，将网页抓取、爬取、搜索等能力暴露给 MCP 客户端，例如 Claude Code、Cursor 等 AI 编码工具。

#web-scraping #crawling #data-extraction #ai-agents #rag #llm #markdown #search #self-hosted #firecrawl-alternative #browser-automation #structured-data #mcp-server #claude #curso

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "crw": {
      "command": "npx",
      "args": [
        "-y",
        "crw-mcp"
      ],
      "env": {
        "CRW_API_KEY": "<CRW_API_KEY>"
      }
    }
  }
}

启动命令npx -y crw-mcp

需要配置的环境变量

CRW_API_KEY密钥

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

npmcrw-mcpstdio

工具

收录的工具列表 · 更新于 3 周前

参数	类型	必填	说明
excludeTags	array	否	要排除的 CSS 选择器
formats	array	否	输出格式（默认值为 ["markdown"]）
includeTags	array	否	要包含的 CSS 选择器
maxLength	integer	否	每个内容字段的最大字符数；0 = 不限（默认约为 15000）
onlyMainContent	boolean	否	移除导航栏和页脚；仅保留主要内容（默认值为 true）
renderJs	boolean	否	强制渲染 JS（true），仅使用 HTTP（false），省略时自动选择
renderer	enum	否	固定使用渲染器；非 auto 值会强制固定，并意味着 renderJs:true（默认值为 auto）。'camoufox' 需要服务器配置启用 camoufox tier。auto \| lightpanda \| chrome \| playwright \| camoufox
url	string	是	要抓取的 URL
waitFor	integer	否	JS 渲染后等待晚到内容的毫秒数

详细介绍

fastCRW

用一个引擎完成搜索、抓取、映射、爬取和提取，将 URL 转换为简洁的markdown或结构化的 JSON。

可作为轻量级 Rust 二进制文件在本地运行，也可使用托管 API。

领取 1000 个免费额度 → · 安装 · 文档

_{无需信用卡。使用 GitHub 继续。}

一条命令完成安装

curl -fsSL https://fastcrw.com/install | sh

本地运行，免费且无需账号。要使用 Cloud，只需将密钥粘贴到同一条命令中，即可安装二进制文件、连接密钥，并为你已有的 AI 编码工具注册 MCP 服务：

curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... sh

crw search "rust tutorials"

如果 Claude Code、Cursor、Codex、Gemini CLI、OpenCode 和 Windsurf 已配置好，安装程序会自动检测；不会改动其他内容，密钥也会保存在 ~/.config/crw/config.toml 中，而不会复制到每个工具中。添加 CRW_NO_AGENTS=1 可跳过此步骤，也可以单独运行 crw setup 进行交互式选择。

1000 个免费额度，无需信用卡。 提供托管代理、JS 渲染和搜索，无需运行或维护任何内容。获取我的免费密钥 →

支持 macOS 和 Linux，兼容 Intel 和 ARM。查看更多安装选项 →

功能

操作	结果
抓取	将单个 URL 转换为 markdown、HTML、链接、屏幕截图或 schema JSON
爬取	按限定范围爬取网站并收集其页面
映射	发现 URL，无需抓取每个页面
搜索	搜索网络，并可选择抓取指定结果
提取	从一个或多个 URL 中提取结构化字段

查看完整 API →

为什么选择 fastCRW

在 Firecrawl 自己公开的 1,000 个 URL 数据集上，fastCRW 找回的真实信息比 Crawl4AI 和 Firecrawl 更多，中位延迟与最快者持平，空闲时仅占用 ~14 MB 内存。

_{方法、完整数据，以及如何复现}

在另一个完全不同的基准测试中，评估的是答案准确率，而非抓取召回率， fastCRW 正确回答了 600 道 AA-Omniscience 问题中的 90.0%。Artificial Analysis Search Index 上列出的所有产品都低于它。

_{完整的 14 款产品对比、对照测试，以及如何复现}

选择使用方式

CLI

crw https://example.com            # scrape, works right after install
crw search "rust async runtime"    # search, after `crw setup`

Python SDK

使用云服务？获取 API 密钥，然后导出一次：

export CRW_API_KEY="crw_live_..."
pip install crw

from crw import CrwClient

client = CrwClient()
page = client.scrape("https://example.com", formats=["markdown"])

print(page["markdown"])

Node.js

npm install crw-sdk

import { CrwClient } from "crw-sdk";

const client = new CrwClient();

const page = await client.scrape("https://example.com", {
  formats: ["markdown"],
});

console.log(page.markdown);

本地模式和更多 SDK 示例 → · REST API →

面向 AI Agent 的 MCP

npx -y crw-mcp@latest install

此操作会在检测到的 AI 工具中安装 CRW skill 和 MCP 服务。crw setup 也能完成这一步，因此选择任一种方式即可。手动设置 →

选择运行位置

	托管 API	本地 / 可自托管
适用于	无需基础设施，并由托管服务扩展	数据控制、私有网络或自定义基础设施
开始使用	创建 API 密钥，然后运行 `crw setup`	安装并运行 `crw <URL>`
运维	托管代理、计费和托管功能	由你选择渲染器、搜索、身份验证、代理和容量

不同部署方式的功能和响应格式可能有所不同： /v1/capabilities · 响应格式

自托管指南 →

了解更多

贡献

此工作区需要 Rust 1.85 或更高版本：

git clone https://github.com/fastcrw/crw
cd crw
make check-fast

阅读贡献指南 →

贡献者

有了这些人的贡献，crw 才变得更好。感谢大家：

引擎和 MCP 服务： AGPL-3.0。Python 和 TypeScript SDK：MIT。嵌入许可：[email protected]。

Star 历史

_{请遵守网站政策。默认情况下，抓取和映射会遵循 robots.txt。}

支持 Markdown

登录后评论

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

阅读入门指南

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。