searxNcrawl

ウェブサイト · クイックスタート · ドキュメント · 開発者向け · クラウド（予定） · 変更履歴

_{uvx searxncrawl 0.31.0 とローカルの SearXNG を使った、実際の MCP クライアント（fastmcp）のセッションです。search を実行し、最上位の結果を crawl で Markdown に変換します。表示用に出力を短縮しています。docs/assets/demo/ を使って再現できます。}

searxNcrawl は、AI エージェントにウェブ検索とクリーンな Markdown クロールを提供するオープンソースの MCP サーバーおよび CLI ツールキットです。Crawl4AI を基盤としています。検索では、設定されたプロバイダーである SearXNG および／または You.com に並列でクエリを送信し、結果を統合します。お使いのハードウェア上で動作し、SearXNG を使えば API キーは不要で、searxng-mcp よりも優れています。

ウェブ検索 独自の SearXNG インスタンスおよび／または You.com API に並列でクエリを送信します。結果は統合され、プロバイダー名が付与され、言語と期間で絞り込まれます。	ページのクロール 1 つまたは複数の URL を Markdown または JSON に変換します。繰り返し出現するブロックを削除し、必要に応じてリンクを除去できます。	サイトのクロール 深度とページ数の上限を設定してサイト全体をクロールします。ドキュメント向けに調整されています。
認証付きクロール crawl-capture でログインセッションを一度取得すれば、ログインが必要なページをクロールできます。	STDIO と HTTP ローカルの MCP クライアントに接続するか、ホストと CORS による保護機能を備えた HTTP エンドポイントを公開できます。	CLI と Python API コマンドラインから crawl、search、crawl-capture を実行するか、Python にインポートして使えます。

SEARXNG_URL=http://your-searxng:8888 uvx searxncrawl

クイックスタート

uv が必要です。また、search ツールを使うには、検索プロバイダーが少なくとも 1 つ必要です。JSON 出力を有効にした SearXNG インスタンス、および／または You.com API キー（YDC_API_KEY）を用意してください。SearXNG をまだお持ちでない場合は、Docker で起動できます。クロールはどちらもなくても動作します。

エージェントに追加する

マシン上のすべてのエージェントに、1 ステップで設定できます

uvx searxncrawl setup

setup は Claude Code、Codex、Gemini CLI、Cursor、VS Code、Claude Desktop を検出し、SearXNG の URL と、任意で You.com API キー（入力は非表示で、出力されません）を尋ねます。設定変更をそれぞれ表示し、確認後にのみ適用します。変更するファイルはすべて事前にバックアップされ、setup --remove で元に戻せます。その他のオプションについては、MCP サーバーをご覧ください。

エージェントごとに設定する場合

以下のボタンとコマンドは、SearXNG が http://localhost:8888 で稼働していることを前提としています。別の場所で稼働している場合は SEARXNG_URL を変更するか、You.com を利用する場合は YDC_API_KEY を追加してください。

Claude Code

claude mcp add searxncrawl --env SEARXNG_URL=http://localhost:8888 -- uvx searxncrawl

Codex

codex mcp add searxncrawl --env SEARXNG_URL=http://localhost:8888 -- uvx searxncrawl

VS Code

code --add-mcp '{"name":"searxncrawl","command":"uvx","args":["searxncrawl"],"env":{"SEARXNG_URL":"http://localhost:8888"}}'

Cursor（~/.cursor/mcp.json）、Claude Desktop、および mcpServers 形式を使用するその他のクライアント

{
  "mcpServers": {
    "searxncrawl": {
      "command": "uvx",
      "args": ["searxncrawl"],
      "env": { "SEARXNG_URL": "http://localhost:8888" }
    }
  }
}

最初のクロール時に、Playwright の Chromium が一度ダウンロードされます（約 550 MB）。Docker、HTTP トランスポート、その他の設定については、インストールとMCP サーバーをご覧ください。

エージェントに依頼する

Search for the Crawl4AI quick start, crawl the official page and summarise
how to run a first crawl.

エージェントは search を呼び出して検索結果を選び、crawl を呼び出します。生の HTML ではなく、整形された Markdown が返されます。

ターミナルを使う

uvx --from searxncrawl crawl https://modelcontextprotocol.io/docs/getting-started/intro
SEARXNG_URL=http://localhost:8888 uvx --from searxncrawl search "model context protocol" --max-results 5

仕組み

flowchart LR
    agent["AI agent<br/>Claude Code · Codex<br/>Cursor · VS Code"]
    server["searxNcrawl<br/>MCP server"]
    searxng["SearXNG (your instance)<br/>and/or You.com API"]
    browser["Crawl4AI +<br/>Playwright Chromium"]
    results["Merged results<br/>attributed per provider"]
    markdown["Deduplicated<br/>Markdown or JSON"]

    agent -- "MCP · STDIO or HTTP" --> server
    server -- "search" --> searxng --> results
    server -- "crawl · crawl_site" --> browser --> markdown

結果はツールの応答としてエージェントに返されます。検索とクロールは search と crawl の CLI コマンドでも利用でき、クロールは Python API からも利用できます。

searxNcrawl は 3 つの MCP ツールを提供します。

ツール	機能
search	設定されたプロバイダー（SearXNG、You.com）に並列で問い合わせ、各結果のソースを含む、統合・重複排除されたリストを返します。フィルター：言語、期間、セーフサーチ、ページング。SearXNG ではカテゴリとエンジンも指定できます。
crawl	Chromium で 1 つ以上の URL をレンダリングし、メタデータと参照情報を含む Markdown または JSON を返します。
crawl_site	起点 URL からリンクをたどります。深さ、ページ数、タイムアウトの上限があり、ドキュメントサイト向けに調整されています。

どちらのクロールツールも、ページ内の Markdown で繰り返されるセクションを除外し（dedup_mode="exact"）、コンテキストを小さくするためにリンクを削除でき（remove_links）、ログインが必要なページには Playwright の storage_state を指定できます。パラメーターの詳細は、MCP ツールリファレンスをご覧ください。

searxNcrawl を選ぶ理由

ホスト型の検索・クロール API はすぐに使い始められますが、すべての呼び出しが他者のサービスを経由し、リクエストごと、またはクレジットごとに課金されます。searxNcrawl は、ご自身のマシンまたはサーバーで動作します。

	searxNcrawl	Firecrawl	Tavily	Exa
検索とクロールを自分のハードウェアで実行	✅ Python パッケージまたは Docker。You.com のクエリは You.com に送信されます	✅ セルフホストスタック（Docker Compose）、またはホスト型 API	❌ ホスト型 API	❌ ホスト型 API
API キー	SearXNG では不要。You.com では必要	ホスト型 API：必要。セルフホスト：デフォルトでは不要	必要	任意。匿名利用はレート制限あり
呼び出しごとの費用	SearXNG では無料。You.com は各プランに準じます	ホスト型：毎月無料クレジットがあり、その後は有料クレジット。セルフホスト：無料	毎月無料クレジットがあり、その後は有料クレジット	毎月無料クレジットがあり、その後はリクエストごとに課金
検索バックエンド	ご自身の SearXNG（有効にしたエンジン）、および／または You.com	ホスト型：Firecrawl の検索。セルフホスト：設定されていれば SearXNG、そうでなければ DuckDuckGo	Tavily の検索 API	Exa の検索インデックス
ライセンス	MIT	AGPL-3.0	MCP サーバーは MIT、API はプロプライエタリ	MCP サーバーは MIT、API はプロプライエタリ

セルフホストの Firecrawl でも SearXNG 経由で検索できます。Firecrawl は複数のサービス（API、Playwright サービス、Redis、RabbitMQ、PostgreSQL など）で構成されるスタックとして動作します。一方、searxNcrawl は単一の Python プロセスと Chromium で動作し、SearXNG を使う場合はそのインスタンスも必要です。searxNcrawl 用の Firecrawl 互換 API はロードマップに記載されています。

ほかのサービスがより適している場合：検索プロバイダーやブラウザーを自分で運用したくないなら、ホスト型 API のほうが手間がかかりません。また、Exa のセマンティック検索インデックスや Firecrawl の抽出機能は、現時点の searxNcrawl の機能を超えています。この比較は、2026 年 10 月時点で各プロジェクトの公開リポジトリとドキュメントに基づいています。訂正を歓迎します。Firecrawl はその所有者の商標です。searxNcrawl は Firecrawl とは提携していません。

よくある質問

SearXNG は必要ですか？

search ツールでのみ必要です。また、You.com（YDC_API_KEY）を使用しない場合に限ります。crawl と crawl_site は、検索プロバイダーがなくても動作します。SearXNG はデフォルトで HTML のみを提供するため、JSON 出力を有効にする必要があります（settings.yml の search.formats）。公開インスタンスでは有効になっていない場合があり、自動リクエストがレート制限されることもよくあるため、自分で実行してください。インストールに Docker のワンライナーがあります。

JavaScript を多用するページにも対応していますか？

はい。ページは Markdown に変換される前に、Crawl4AI を通じて Playwright の Chromium でレンダリングされるため、クライアントサイドのコンテンツも取得されます。

ログインが必要なページもクロールできますか？

はい。crawl-capture で一度セッションを取得してから、保存した storage_state ファイルを crawl または crawl_site に渡してください。セッションの取得をご覧ください。

リモートで実行したり、チームで共有したりできますか？

はい。--transport http を指定して起動する（デフォルトのポートは 8000）か、Docker Compose スタック（ポート 9555）を使用し、MCP クライアントから http://<host>:<port>/mcp を指定してください。ホストと Origin の許可リストでエンドポイントを保護します。MCP サーバーをご覧ください。

最初のクロールが遅いのはなぜですか？

初回のクロールでは、Playwright の Chromium（ディスク上で約 550 MB）をダウンロードします。2 回目以降は再利用されます。ブラウザーを別途用意する環境では、PLAYWRIGHT_AUTO_INSTALL=false を設定してください。

searxng-mcp を使っていました。何が変わりましたか？

searxng-mcp は非推奨となり、searxNcrawl に置き換えられました。SearXNG の検索のみを行い、ランダムな公開インスタンスを選ぶこともできました。searxNcrawl ではページとサイトのクロール機能が追加されましたが、ランダムな公開インスタンスの選択には対応していないため、ご自身の SEARXNG_URL（または You.com のキー）が必要です。

ホスト型のバージョンはありますか？

まだありません。searxNcrawl Cloud を計画中です。ロードマップをご覧ください。

ロードマップ

• Firecrawl 互換 API（計画中）：searxNcrawl を、Firecrawl API 向けに構築されたツールのドロップインバックエンドとして使用します。
• searxNcrawl Cloud（計画中）：SearXNG とブラウザーを自分で実行したくないチーム向けのマネージドエンドポイントです。詳細とウェイトリスト。

アイデアや投票はディスカッションでお寄せください。

ドキュメント

ガイド	内容
インストール	uvx、Docker Compose、pip、uv、検索プロバイダー、環境変数
MCP サーバー	STDIO および HTTP トランスポート、クライアント設定、Host と CORS の保護
MCP ツール	crawl、crawl_site、search のパラメーター
CLI	crawl、search、crawl-capture
Python API	crawl_page、crawl_site、クローラー設定の上書き
出力形式	Markdown と JSON の構造、CrawledDocument
セッションの取得	保存したブラウザーセッションを使用した、認証済みクロール
MCP レジストリ	server.json と公開手順
アーキテクチャ	コントリビューター向けのモジュールと機能

貢献

バグ報告、機能のアイデア、プルリクエストを歓迎します。貢献ガイドを読み、大きな変更の場合はまずイシューを作成してください。コーディングエージェント向けのプロジェクト規約はAGENTS.mdに記載されています。セキュリティポリシーに記載の方法で、脆弱性を非公開で報告してください。

ライセンス

MIT — © 2026 DDM – Das Digitale Momentum GmbH & Co KG

---

_{DDM – Das Digitale Momentum GmbH & Co. KGがメンテナンスしています（ドイツ、ムーフ） · www.searxncrawl.io · すべてのオープンソースプロジェクト}