CRW Web Scraper

fastCRW

URL をクリーンなMarkdownまたは構造化された JSONに変換します。検索、スクレイピング、マッピング、クロール、抽出を1つのエンジンで実行できます。

小さな Rust バイナリとしてローカルで実行するか、マネージド API を利用できます。

無料クレジットを1000件獲得 → · インストール · ドキュメント

_{クレジットカードは不要です。GitHub で続行できます。}

1コマンドでインストール

curl -fsSL https://fastcrw.com/install | sh

ローカルで無料で実行でき、アカウントは不要です。Cloud を利用するには、同じコマンドにキーを貼り付けてください。バイナリがインストールされ、キーが接続され、MCP サーバーがすでに利用している AI コーディングツールに登録されます。

curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... sh

crw search "rust tutorials"

Claude Code、Cursor、Codex、Gemini CLI、OpenCode、Windsurf は、すでに設定されていれば自動的に検出されます。それ以外には変更を加えません。また、キーは各ツールにコピーされず、~/.config/crw/config.toml に保存されます。この手順を省略するには CRW_NO_AGENTS=1 を追加するか、crw setup を単独で実行して対話形式で選択してください。

無料クレジット1000件、クレジットカード不要。 マネージドプロキシ、JS レンダリング、検索を利用でき、実行や更新が必要なものはありません。 無料キーを取得 →

macOS と Linux に対応し、Intel と ARM の両方で利用できます。 その他のインストール方法 →

できること

API の全容を見る →

fastCRW を選ぶ理由

Firecrawl が公開している 1,000 URL のデータセットでは、fastCRW は Crawl4AI と Firecrawl より多くの正解情報を取得し、最速の中央値レイテンシーに並び、アイドル時の RAM 使用量は 約 14 MB でした。

_{評価方法、全データ、再現方法}

まったく別のベンチマークである、スクレイピングの再現率ではなく回答精度の評価では、fastCRW は AA-Omniscience の 600 問のうち 90.0% に正しく回答します。Artificial Analysis Search Index に掲載されているすべての製品を上回っています。

_{全 14 製品の比較、対照実行、再現方法}

利用方法を選択する

CLI

crw https://example.com            # scrape, works right after install
crw search "rust async runtime"    # search, after `crw setup`

Python SDK

クラウドを利用しますか？API キーを取得し、一度だけエクスポートしてください。

export CRW_API_KEY="crw_live_..."
pip install crw

from crw import CrwClient

client = CrwClient()
page = client.scrape("https://example.com", formats=["markdown"])

print(page["markdown"])

npm install crw-sdk

import { CrwClient } from "crw-sdk";

const client = new CrwClient();

const page = await client.scrape("https://example.com", {
  formats: ["markdown"],
});

console.log(page.markdown);

ローカルモードとその他の SDK の例 → · REST API →

AI エージェント向け MCP

npx -y crw-mcp@latest install

検出された AI ツールに CRW スキルと MCP サーバーをインストールします。crw setup でもこの手順を実行できるため、どちらか一方で十分です。 手動セットアップ →

実行場所を選択する

機能やレスポンス形式はデプロイ方法によって異なる場合があります。 /v1/capabilities · レスポンス形式

セルフホストガイド →

詳細情報

• クイックスタート
• API リファレンス
• ベンチマーク
• Firecrawl からの移行
• セルフホスト

コントリビューション

ワークスペースには Rust 1.85 以降が必要です。

git clone https://github.com/fastcrw/crw
cd crw
make check-fast

コントリビューターガイドを読む →

貢献者

crwは、以下の皆さんのおかげでより良いものになっています。皆さん、ありがとうございます。

エンジンとMCPサーバー： AGPL-3.0。PythonおよびTypeScript SDK：MIT。 組み込みライセンスについては、[email protected]までお問い合わせください。

スター履歴

_{ウェブサイトのポリシーを遵守してください。クロールとマッピングでは、デフォルトで robots.txt に従います。}