fastCRW について
fastCRW は、URL を markdown や構造化 JSON に変換するオープンソースの Rust 製クローラー兼検索ツールです。AI エージェント向けのウェブデータ取得に使われ、小型のバイナリをセルフホストするか、マネージド API として利用できます。
主な機能
- 01検索・スクレイピング・マップ・クロール・抽出を単一エンジンで実行
- 02ローカル実行向けの小型 Rust バイナリ
- 03markdown・HTML・リンク・スクリーンショット・schema JSON を出力
- 04クロールとマップはデフォルトで robots.txt に従う
- 05検出された AI コーディングツールに MCP サーバーを登録
活用シーン
- 01AI エージェント向けにウェブページを markdown へ変換
- 02範囲を限定したサイトクロールでページを収集
- 03複数の URL から構造化フィールドを抽出
MCP 対応
fastCRW は MCP サーバーを提供し、npx crw-mcp により Claude Code や Cursor などの AI ツールへインストールできます。検索とスクレイピング機能を MCP クライアントに公開します。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
https://fastcrw.com/mcpclaude mcp add --transport http us-fastcrw https://fastcrw.com/mcp{"mcpServers":{"us-fastcrw":{"type":"http","url":"https://fastcrw.com/mcp"}}}Cursor で開く{"servers":{"us-fastcrw":{"type":"http","url":"https://fastcrw.com/mcp"}}}VS Code で開く{"mcpServers":{"us-fastcrw":{"type":"http","url":"https://fastcrw.com/mcp"}}}{"mcpServers":{"us-fastcrw":{"serverUrl":"https://fastcrw.com/mcp"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
ツール
詳細
fastCRW
URL をクリーンなMarkdownまたは構造化された JSONに変換します。検索、スクレイピング、マッピング、クロール、抽出を1つのエンジンで実行できます。
小さな Rust バイナリとしてローカルで実行するか、マネージド API を利用できます。
無料クレジットを1000件獲得 → · インストール · ドキュメント
クレジットカードは不要です。GitHub で続行できます。
1コマンドでインストール
curl -fsSL https://fastcrw.com/install | sh
ローカルで無料で実行でき、アカウントは不要です。Cloud を利用するには、同じコマンドにキーを貼り付けてください。バイナリがインストールされ、キーが接続され、MCP サーバーがすでに利用している AI コーディングツールに登録されます。
curl -fsSL https://fastcrw.com/install | CRW_API_KEY=crw_live_... sh
crw search "rust tutorials"
Claude Code、Cursor、Codex、Gemini CLI、OpenCode、Windsurf は、すでに設定されていれば自動的に検出されます。それ以外には変更を加えません。また、キーは各ツールにコピーされず、~/.config/crw/config.toml に保存されます。この手順を省略するには CRW_NO_AGENTS=1 を追加するか、crw setup を単独で実行して対話形式で選択してください。
無料クレジット1000件、クレジットカード不要。 マネージドプロキシ、JS レンダリング、検索を利用でき、実行や更新が必要なものはありません。 無料キーを取得 →
macOS と Linux に対応し、Intel と ARM の両方で利用できます。 その他のインストール方法 →
できること
| 操作 | 結果 |
|---|---|
| スクレイピング | 1つの URL を Markdown、HTML、リンク、スクリーンショット、またはスキーマ JSON に変換 |
| クロール | 範囲を限定したサイトのクロールを行い、そのページを収集 |
| マッピング | すべてのページをスクレイピングせずに URL を検出 |
| 検索 | ウェブを検索し、選択した結果をスクレイピングすることも可能 |
| 抽出 | 1つまたは複数の URL から構造化フィールドを生成 |
fastCRW を選ぶ理由
Firecrawl が公開している 1,000 URL のデータセットでは、fastCRW は Crawl4AI と Firecrawl より多くの正解情報を取得し、最速の中央値レイテンシーに並び、アイドル時の RAM 使用量は 約 14 MB でした。
まったく別のベンチマークである、スクレイピングの再現率ではなく回答精度の評価では、fastCRW は AA-Omniscience の 600 問のうち 90.0% に正しく回答します。Artificial Analysis Search Index に掲載されているすべての製品を上回っています。
利用方法を選択する
CLI
crw https://example.com # scrape, works right after install
crw search "rust async runtime" # search, after `crw setup`
Python SDK
クラウドを利用しますか？API キーを取得し、一度だけエクスポートしてください。
export CRW_API_KEY="crw_live_..."
pip install crw
from crw import CrwClient
client = CrwClient()
page = client.scrape("https://example.com", formats=["markdown"])
print(page["markdown"])
Node.js
npm install crw-sdk
import { CrwClient } from "crw-sdk";
const client = new CrwClient();
const page = await client.scrape("https://example.com", {
formats: ["markdown"],
});
console.log(page.markdown);
ローカルモードとその他の SDK の例 → · REST API →
AI エージェント向け MCP
npx -y crw-mcp@latest install
検出された AI ツールに CRW スキルと MCP サーバーをインストールします。crw setup でもこの手順を実行できるため、どちらか一方で十分です。
手動セットアップ →
実行場所を選択する
| マネージド API | ローカル／セルフホスト可能 | |
|---|---|---|
| 最適な用途 | インフラ管理不要で、スケーリングも任せたい場合 | データ管理、プライベートネットワーク、カスタムインフラ |
| 開始方法 | API キーを作成し、crw setup を実行 | crw <URL> をインストールして実行 |
| 運用 | プロキシ、課金、ホスト型の機能をマネージドで提供 | レンダラー、検索、認証、プロキシ、容量を自分で選択 |
機能やレスポンス形式はデプロイ方法によって異なる場合があります。
/v1/capabilities · レスポンス形式
詳細情報
コントリビューション
ワークスペースには Rust 1.85 以降が必要です。
git clone https://github.com/fastcrw/crw
cd crw
make check-fast
貢献者
crwは、以下の皆さんのおかげでより良いものになっています。皆さん、ありがとうございます。
エンジンとMCPサーバー： AGPL-3.0。PythonおよびTypeScript SDK：MIT。 組み込みライセンスについては、[email protected]までお問い合わせください。
スター履歴
ウェブサイトのポリシーを遵守してください。クロールとマッピングでは、デフォルトで robots.txt に従います。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。