crawlbit

CrawlBit MCP

AI エンジンがウェブサイトを見つけ、読み取り、認識できるかという問いに答える、4 つの無料ツールです。

アカウントも API キーも登録も不要です。ここでは LLM を実行しないため、あなたにも私たちにも費用はかかりません。

"Can ChatGPT read stripe.com?"
"Why does AI never mention my store?"
"Where is my brand missing outside my own site?"

普段使う言葉で質問してください。AI クライアントが適切なツールを選びます。

---

インストール

Node.js 18 以降が必要です。

Claude Code

claude mcp add crawlbit -- npx -y crawlbit-mcp

Claude Desktop

claude_desktop_config.json に追加します。

{
  "mcpServers": {
    "crawlbit": {
      "command": "npx",
      "args": ["-y", "crawlbit-mcp"]
    }
  }
}

Cursor

.cursor/mcp.json に追加します。

{
  "mcpServers": {
    "crawlbit": {
      "command": "npx",
      "args": ["-y", "crawlbit-mcp"]
    }
  }
}

クライアントを再起動すると、4 つのツールが表示されます。

---

4 つのツール

ツール	回答する内容
crawlbit_crawler_watch	GPTBot、OAI-SearchBot、ClaudeBot、PerplexityBot、Google-Extended はこのサイトを読み取れますか？
crawlbit_entity_check	このブランドは、AI が認識できる明確なエンティティとして伝わりますか？
crawlbit_offpage_gaps	このブランドは、自社ウェブサイト以外でどこに掲載されていませんか？
crawlbit_shopping	AI ショッピングエージェントはこれらの商品を理解し、おすすめできますか？

こちらをお試しください

Check whether AI crawlers can read example.com
Does example.com read as a clear brand entity to AI?
Where is example.com missing off-page, and which gap should we close first?
Compare example.com and competitor.com on AI crawler access

ツールは組み合わせて使えます。おすすめの順序は、まずクローラーのアクセス確認（クローラーがブロックされていたら、ほかの確認はすべて無意味です）、次にエンティティの確認、最後にオフページのギャップ確認です。

---

このツールでできないこと

SEO ツールは誇大な主張をするくらいなら、ないほうがましです。そのため、できないことを率直に説明します。

• AI が実際にブランドを引用しているかどうかは検証しません。 それには、ChatGPT、Perplexity、Claude に実際の購入者の質問を投げかけ、回答を読み、あなたの代わりにどのブランドが挙げられているかを報告する必要があります。実行のたびに実費がかかるため、この無料のツールには含まれていません。これら 4 つのツールが測定するのは、引用が可能になる条件です。これは、より限定的な主張です。
• crawler_watch が読み取るのは robots.txt だけです。 CDN、ファイアウォール、レート制限のレイヤーで行われるブロックは確認できません。ここで問題がなくても、実際にはクローラーを拒否しているサイトもあります。
• entity_check が読み取るのは、サイトが自らについて公開している情報です。 ウェブのほかの場所でのブランドの評判については何もわかりません。
• shopping が調べるのは、公開されている構造化データです。 プラットフォームに非公開で送信されたマーチャントフィードは確認できません。

4 つすべてで良いスコアが出ても引用されない場合、ほとんどの場合、答えは同じです。技術的な問題ではなく、第三者のページでの言及が少なすぎるのです。存在しない解決策を売り込むのではなく、このツールはその事実を正直に伝えます。

---

ツールが 4 つだけの理由

CrawlBit は包括的な技術監査も実施し、llms.txt も生成します。どちらも LLM を使用するため、実行のたびに費用がかかり、ここでは提供していません。

これは期待を持たせるためではなく、意図的に設けた線引きです。人気が出るほど費用が膨らむ無料ツールは、成功した途端にレート制限や機能縮小の対象になるか、提供が中止されます。そして、その影響を受けるのはインストールしてくれた人たちです。このサーバーで動くものはすべて無料なので、後から撤回する必要もありません。監査と llms.txt ジェネレーターは crawlbit.app で利用できます。

---

レート制限

API では IP ごとにレート制限を設けています。通常の会話で制限に達することはありません。また、サーバーはお使いのマシン上で動作するため、利用枠をほかのユーザーと共有することはありません。制限に達した場合は、スタックトレースではなく、わかりやすいメッセージが表示されます。

---

設定

変数	デフォルト	用途
CRAWLBIT_BASE_URL	https://www.crawlbit.app	サーバーの接続先を別のインスタンスに設定します

---

プライバシー

サーバーはローカルで動作し、データを保存しません。お使いのマシンから送信されるデータは、分析のために CrawlBit API へ送る、確認対象の URL だけです。アカウントがないため、リクエストを個人と結び付けることもできません。

---

概要

AI における可視性を測定し、引用につながるオフページ対策を行う CrawlBit が開発しました。ここで提供する無料ツールは、測定にあたる部分です。有料サービスはそのもう一方ですが、このツールを使うために確認する必要はありません。

MIT ライセンスです。Issue とプルリクエストを歓迎します。