Fastcrw

Name: Fastcrw
Author: us

ローカル

fastcrw.comブラウザ自動化1.2k今日更新

リポジトリ公式サイト

Fastcrw について

fastCRW は Rust で書かれた Web スクレイピング、クロール、検索のツールで、MCP サーバーを備えています。単一のバイナリとしてローカルで実行することも、マネージド API を利用することもできます。Firecrawl 互換の /scrape、/crawl、/search エンドポイントを提供し、AI エージェント向けにWebデータを必要とする開発者を対象としています。

主な機能

01ローカルで実行できる単一の Rust バイナリ
02Firecrawl 互換の /scrape、/crawl、/search エンドポイント
03scrape、crawl、map、search、extract の操作
04markdown または構造化 JSON の出力
05デフォルトで robots.txt に従うクロールと map

活用シーン

01AI エージェントや LLM へのWebページの markdown 提供
02複数の URL からの構造化フィールドの抽出
03AI コーディングツールから MCP 経由で Web 検索とスクレイピングを呼び出す

MCP 対応

fastCRW は MCP サーバーとして、スクレイピング、クロール、検索の機能を Claude Code や Cursor などの MCP クライアントに公開します。

#web-scraping #crawling #data-extraction #ai-agents #rag #llm #markdown #search #self-hosted #firecrawl-alternative #browser-automation #structured-data #mcp-server #claude #curso

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定

{
  "mcpServers": {
    "crw": {
      "command": "npx",
      "args": [
        "-y",
        "crw-mcp"
      ],
      "env": {
        "CRW_API_KEY": "<CRW_API_KEY>"
      }
    }
  }
}

起動コマンドnpx -y crw-mcp

設定が必要な環境変数

CRW_API_KEYシークレット

ローカルサーバーにはマシン上の実行環境（Node.js 18 以上など）が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ

npmcrw-mcpstdio

ツール

掲載時のツール一覧 · 3 週間前に更新

パラメーター	型	必須	説明
excludeTags	array	いいえ	除外する CSS セレクター
formats	array	いいえ	出力形式（デフォルトは ["markdown"]）
includeTags	array	いいえ	含める CSS セレクター
maxLength	integer	いいえ	コンテンツフィールドごとの最大文字数。0 = 無制限（デフォルトは約 15000）
onlyMainContent	boolean	いいえ	ナビゲーションとフッターを除去し、メインコンテンツのみを取得します（デフォルトは true）
renderJs	boolean	いいえ	JS レンダリングを強制（true）、HTTP のみ（false）。省略すると自動選択します
renderer	enum	いいえ	レンダラーを固定します。auto 以外を指定すると強制固定され、renderJs:true も指定されます（デフォルトは auto）。'camoufox' を使用するには、サーバーで camoufox tier が有効になっている必要があります。auto \| lightpanda \| chrome \| playwright \| camoufox
url	string	はい	スクレイピングする URL
waitFor	integer	いいえ	JS レンダリング後、遅れて読み込まれるコンテンツを待つ時間（ミリ秒）

詳細

fastCRW

URL をクリーンなMarkdownまたは構造化された JSONに変換します。検索、スクレイピング、マッピング、クロール、抽出を1つのエンジンで実行できます。

小さな Rust バイナリとしてローカルで実行するか、マネージド API を利用できます。

無料クレジットを1000件獲得 → · インストール · ドキュメント

_{クレジットカードは不要です。GitHub で続行できます。}

1コマンドでインストール

curl -fsSL https://fastcrw.com/install | sh

ローカルで無料で実行でき、アカウントは不要です。Cloud を利用するには、同じコマンドにキーを貼り付けてください。バイナリがインストールされ、キーが接続され、MCP サーバーがすでに利用している AI コーディングツールに登録されます。

curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... sh

crw search "rust tutorials"

Claude Code、Cursor、Codex、Gemini CLI、OpenCode、Windsurf は、すでに設定されていれば自動的に検出されます。それ以外には変更を加えません。また、キーは各ツールにコピーされず、~/.config/crw/config.toml に保存されます。この手順を省略するには CRW_NO_AGENTS=1 を追加するか、crw setup を単独で実行して対話形式で選択してください。

無料クレジット1000件、クレジットカード不要。 マネージドプロキシ、JS レンダリング、検索を利用でき、実行や更新が必要なものはありません。無料キーを取得 →

macOS と Linux に対応し、Intel と ARM の両方で利用できます。その他のインストール方法 →

できること

操作	結果
スクレイピング	1つの URL を Markdown、HTML、リンク、スクリーンショット、またはスキーマ JSON に変換
クロール	範囲を限定したサイトのクロールを行い、そのページを収集
マッピング	すべてのページをスクレイピングせずに URL を検出
検索	ウェブを検索し、選択した結果をスクレイピングすることも可能
抽出	1つまたは複数の URL から構造化フィールドを生成

API の全容を見る →

fastCRW を選ぶ理由

Firecrawl が公開している 1,000 URL のデータセットでは、fastCRW は Crawl4AI と Firecrawl より多くの正解情報を取得し、最速の中央値レイテンシーに並び、アイドル時の RAM 使用量は 約 14 MB でした。

_{評価方法、全データ、再現方法}

まったく別のベンチマークである、スクレイピングの再現率ではなく回答精度の評価では、fastCRW は AA-Omniscience の 600 問のうち 90.0% に正しく回答します。Artificial Analysis Search Index に掲載されているすべての製品を上回っています。

_{全 14 製品の比較、対照実行、再現方法}

利用方法を選択する

CLI

crw https://example.com            # scrape, works right after install
crw search "rust async runtime"    # search, after `crw setup`

Python SDK

クラウドを利用しますか？API キーを取得し、一度だけエクスポートしてください。

export CRW_API_KEY="crw_live_..."
pip install crw

from crw import CrwClient

client = CrwClient()
page = client.scrape("https://example.com", formats=["markdown"])

print(page["markdown"])

Node.js

npm install crw-sdk

import { CrwClient } from "crw-sdk";

const client = new CrwClient();

const page = await client.scrape("https://example.com", {
  formats: ["markdown"],
});

console.log(page.markdown);

ローカルモードとその他の SDK の例 → · REST API →

AI エージェント向け MCP

npx -y crw-mcp@latest install

検出された AI ツールに CRW スキルと MCP サーバーをインストールします。crw setup でもこの手順を実行できるため、どちらか一方で十分です。手動セットアップ →

実行場所を選択する

	マネージド API	ローカル／セルフホスト可能
最適な用途	インフラ管理不要で、スケーリングも任せたい場合	データ管理、プライベートネットワーク、カスタムインフラ
開始方法	API キーを作成し、`crw setup` を実行	`crw <URL>` をインストールして実行
運用	プロキシ、課金、ホスト型の機能をマネージドで提供	レンダラー、検索、認証、プロキシ、容量を自分で選択

機能やレスポンス形式はデプロイ方法によって異なる場合があります。 /v1/capabilities · レスポンス形式

セルフホストガイド →

詳細情報

コントリビューション

ワークスペースには Rust 1.85 以降が必要です。

git clone https://github.com/fastcrw/crw
cd crw
make check-fast

コントリビューターガイドを読む →

貢献者

crwは、以下の皆さんのおかげでより良いものになっています。皆さん、ありがとうございます。

エンジンとMCPサーバー： AGPL-3.0。PythonおよびTypeScript SDK：MIT。組み込みライセンスについては、[email protected]までお問い合わせください。

スター履歴

_{ウェブサイトのポリシーを遵守してください。クロールとマッピングでは、デフォルトで robots.txt に従います。}

Markdown 対応

ログインしてコメント

基本情報

ライセンス: AGPL-3.0
作者: us
言語: rust
トランスポート: stdio
掲載日: 2026年4月13日
最終更新: 今日

問題を報告

MCP は初めてですか？

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

入門ガイドを読む

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。