GEO Inspector

geo-inspector-mcp

ウェブサイトがほかの AI システムにどのように情報を示しているかを調べるための、4 つのツールを AI アシスタントに提供する MCP サーバーです：ブロックしている AI クローラー、llms.txt の公開状況、提供しているスキーママークアップ、インデックス登録の指示設定を確認できます。

npm で公開され、公式の MCP Registry に io.github.Bigsupe55/geo-inspector-mcp として登録されています。Claude Code、Claude Desktop、または任意の MCP クライアントで利用できます。

_{上記のツール出力は、MCP stdio 経由でビルド済みサーバーを操作し、nytimes.com、docs.anthropic.com、 stripe.com を実際に実行して得られた結果をそのまま掲載したものです。サイトマップの一覧は件数にまとめています。それ以外は編集していません。npm run demo で再生成できます。}

このプロジェクトの目的

AI アシスタントは、人々がコンテンツを見つけて引用する主な手段になりつつあります。ウェブサイトは、AI クローラー向けの robots.txt ルール、新たに広まりつつある llms.txt 規格、schema.org の構造化データ、メタディレクティブといった、いくつかの設定ファイルを通じて、AI システムに対する意図を示しています。これらを手作業で確認するには、curl、頭の中で処理する robots.txt パーサー、view-source を使い分ける必要があります。このサーバーを使えば、Claude に質問するだけでこれらすべてを確認できます。

クイックスタート

npx -y geo-inspector-mcp

インストールはこれで完了です。MCP クライアントから接続してください。

Claude Code

claude mcp add geo-inspector -- npx -y geo-inspector-mcp

Claude Desktop（claude_desktop_config.json）

{
  "mcpServers": {
    "geo-inspector": {
      "command": "npx",
      "args": ["-y", "geo-inspector-mcp"]
    }
  }
}

「nytimes.com がブロックしている AI クローラーは？」や「stripe.com は llms.txt を公開していますか？」のように質問できます。

ツール

ツール	確認する内容	質問の例
check_robots_txt	RFC 9309 に準拠して、GPTBot、ClaudeBot、PerplexityBot、Google-Extended、CCBot などの AI クローラーが許可またはブロックされているか、またサイトマップを確認します	「OpenAI は example.com で学習できますか？」
fetch_llms_txt	/llms.txt と /llms-full.txt の有無、および仕様への適合性を確認します	「example.com は llms.txt を採用していますか？」
detect_schema_markup	JSON-LD ブロック、schema.org のタイプ一覧、AI 関連タイプ、sameAs による曖昧性の解消を確認します	「この記事にはどのような構造化データがありますか？」
check_meta_directives	メタ robots タグ（noai/noimageai やボット固有のタグを含む）と X-Robots-Tag ヘッダーを確認します	「このページはインデックス登録できますか？」

すべてのツールは、読みやすい要約と、プログラムから利用できる構造化 JSON（structuredContent）を返します。

構築の仕組み

MCP サーバーの興味深い点はツールではなく、そのツールを取り巻く契約です。

すべてのツールは2つのものを返します。 モデルが推論に使う読みやすい概要と、後続の処理で計算が必要な場合に使う structuredContent です。この分離によって、別のスコアリングレイヤー（ai-visibility-audit）は、モデルが文章として読んでいるのと同じ呼び出しから、決定論的な数値を導き出せます。モデルが自分のツール出力をデータに戻すために解析する必要はありません。

パーサーは純粋関数です。 robots.txt、llms.txt、JSON-LD、メタディレクティブはそれぞれ独立して解析され、I/O は行わず、フィクスチャーベースのテストがあります。ツールハンドラーは薄いシェルで、取得、解析、整形を行います。これによりネットワークなしで動作をテストでき、テストスイートの実行時に記録するフィクスチャーもアクセスするサイトも不要になります。

すべてのネットワークアクセスは1つのヘルパーを経由します。 サイズ上限、リダイレクト回数の上限、タイムアウトを設定した単一の取得経路です。MCP サーバーは、他者のエージェントループ内で、そのエージェントの API 予算が適用された状態で動作するため、ハングしたり、上限のないレスポンスをストリーミングしたりするツールは、セッションを台無しにするおそれがあります。単一の制御ポイントを設けることで、新しいツールでこうした制限を設定し忘れることがありません。

robots.txt の解析は正規表現ではなく RFC 9309 に準拠しています。 このツールの価値は、特定のクローラーが許可されているかどうかを正しく判定することにあるためです。最長一致が優先され、ユーザーエージェントグループは統合され、Allow はより広範な Disallow を上書きできます。

開発

npm install
npm test        # vitest unit + integration tests
npm run build   # bundle to dist/
npx @modelcontextprotocol/inspector node dist/index.js   # poke it interactively

パーサーはフィクスチャーベースのテストを備えた純粋関数で、すべての HTTP 通信は上限付きでリダイレクト回数を制限した単一の取得ヘルパーを経由します。

デモ GIF の再生成

npm run demo          # build, capture, render

または、手順ごとに実行することもできます。

npm run demo:capture  # drives the built server over MCP stdio, writes scripts/demo-data.json
npm run demo:render   # renders docs/demo.gif from that JSON (needs: pip install Pillow)

demo-data.json はコミット済みのため、オフラインでレンダリングでき、GIF の内容も監査可能です。ツールが現在返す内容と差分を比較してください。キャプチャースクリプトは何もモックしないため、サイトの robots.txt が変わればデモもそれに合わせて変わります。パイプライン内で人が記述するテキストは、人間が入力する質問の行だけです。調査するサイトは scripts/capture-demo.mjs の先頭で設定します。

関連プロジェクト

ai-visibility-audit は、このプロジェクトの上位にあるワークフローレイヤーです。4つのツールを連携させ、スコア付きのクライアント向けレポートを作成します。このリポジトリは生のツールを提供します。

ライセンス

MIT。詳細は LICENSE をご覧ください。