Deepcrawl

---

あらゆるウェブサイトをクローン、スクレイピング、クロールできます。 Firecrawlの無料代替ツールです。APIキー不要、レート制限なし、サブスクリプション不要です。

クイックスタート

Cursor（ワンクリック）： 上の「Cursorにインストール」ボタンをクリックしてください。

MCP設定を手動で行う場合：

{
  "mcpServers": {
    "deepcrawl-mcp": {
      "command": "npx",
      "args": ["-y", "deepcrawl-mcp@latest"]
    }
  }
}

CLI：

npx deepcrawl-mcp@latest

ツール

deepcrawl_scrape

単一ページをスクレイピングし、整形されたMarkdownを返します。タイトル、説明、リンク、画像、メタデータを抽出します。ナビゲーション、フッター、広告、トラッキング情報は除去されます。

"Scrape https://example.com and give me the main content"

パラメーター	デフォルト	説明
url	必須	スクレイピングするページのURL
mainContentOnly	true	メインコンテンツのみを抽出します（ナビゲーション／フッターを除外）
includeLinks	true	検出したリンクを含めます
includeImages	true	画像URLを含めます

deepcrawl_clone

すべてのアセット（HTML、CSS、JS、画像、フォント、ファビコン）を含むページ全体をクローンします。すべてのファイルをローカルフォルダーにダウンロードし、URLを相対パスに書き換えます。ブラウザーでindex.htmlを開けば動作します。

"Clone https://competitor.com into a local folder"

パラメーター	デフォルト	説明
url	必須	クローンするページのURL
outputDir	~/deepcrawl-clones/<domain>	出力フォルダー
depth	0	リンクの深さ：0 = 単一ページ、1以上 = リンクをたどります

deepcrawl_crawl

内部リンクをたどってサイト全体をクロールします。すべてのページを整形されたMarkdownとして返します。コンテンツ分析、SEO監査、RAGパイプラインへの入力に最適です。

"Crawl https://docs.example.com and return all pages as markdown"

パラメーター	デフォルト	説明
url	必須	開始URL
maxPages	20	クロールするページの最大数（最大：100）
includeImages	false	各ページの画像URLを含めます

deepcrawl_map

sitemap.xmlの解析とホームページのリンククロールを通じて、サイト内のすべてのURLを検出します。クロールを実行する前に使うと、サイトの対象範囲を確認できます。

"Map all pages on https://example.com"

パラメーター	デフォルト	説明
url	必須	サイトのURL
maxUrls	200	検出するURLの最大数

Firecrawl との比較

	deepcrawl	Firecrawl
価格	無料	月額 $19 以上
API キー	不要	必須
レート制限	なし	あり
Markdown へのスクレイピング	対応	対応
サイト全体のクロール	対応	対応
サイトマップ	対応	対応
アセットを含むクローン	対応	非対応
JS のレンダリング	対応（Playwright 経由）	対応
ボット対策の回避	部分対応（UA ローテーション、ヘッダー、遅延）	対応

deepcrawl は静的サイトをそのまま処理できます。JS を多用する SPA（React、Next.js、SvelteKit）を完全にレンダリングするには、Playwright をインストールしてください。

npm install -g playwright
npx playwright install chromium

インストールすると、deepcrawl は Playwright を自動検出し、JS のレンダリングを有効にします。任意のツールで jsRender: true を指定すると有効になります。また、すべてのツールには、基本的なボット検出を回避するための UA ローテーション、実際のブラウザーに近いヘッダー、ランダムな遅延も含まれています。

Soflution のその他のプロジェクト

• brandcheck - 27 のプラットフォームでブランド名の利用可否を確認
• depsonar - 依存関係の監査、セキュリティスキャン、ライセンスの確認

ライセンス

MIT