geo-crawlers

AI クローラーアクセス分析スキル

目的

このスキルでは、AI クローラー（AI 企業がウェブコンテンツの発見、インデックス作成、学習に使用するボット）からのウェブサイトへのアクセス可否を分析します。AI クローラーがブロックされていると、コンテンツの品質にかかわらず、そのサイトのコンテンツは AI 生成の回答に表示されません。クローラーからのアクセスは、GEO の基礎となる技術要件です。

重要な知見

2026 年初頭の時点で、多くのウェブサイトが、従来の SEO 設定から引き継がれた過度に厳しい robots.txt ルールによって、意図せず AI クローラーをブロックしています。Originality.ai による 2025 年の調査では、上位 1,000 サイトの 35% 以上が少なくとも 1 つの主要な AI クローラーをブロックし、5～10% はすべての AI クローラーをブロックしていることがわかりました。AI クローラーをブロックすることは、AI 生成の検索結果で見えなくなる最も手っ取り早い方法です。

---

AI クローラー完全リファレンス

Tier 1：AI 検索での可視性に不可欠（推奨：許可）

これらのクローラーは、ユーザーが積極的に回答を探す AI 検索製品を支えています。ブロックすると、AI 生成の回答での可視性が直接低下します。

GPTBot

• 運営元： OpenAI
• ユーザーエージェント： GPTBot
• ユーザーエージェント文字列全体： Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)
• 目的： ChatGPT のウェブブラウジング、プラグイン、検索機能向けにコンテンツを取得します。GPTBot がアクセスしたコンテンツは、OpenAI モデルの改善に使用される場合があります。
• ブロックした場合の影響： コンテンツは ChatGPT Search の検索結果に表示されず、ユーザーが ChatGPT にウェブの閲覧を依頼した際にもアクセスできなくなります。許可すべき AI クローラーの中で、最も影響が大きいものです。
• 推奨： 許可 -- 2025 年時点で、ChatGPT の週間アクティブユーザー数は 3 億人を超えています。GPTBot をブロックすると、最大級の AI 検索プラットフォームの 1 つからコンテンツが除外されます。

OAI-SearchBot

• 運営元： OpenAI
• ユーザーエージェント： OAI-SearchBot
• ユーザーエージェント文字列全体： Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; OAI-SearchBot/1.0; +https://docs.openai.com/bots/overview)
• 目的： ChatGPT の検索機能を支えるために特化しています。GPTBot とは異なり、OAI-SearchBot がアクセスしたコンテンツはモデルの学習には使用されず、リアルタイムの検索結果のみに使用されます。
• ブロックした場合の影響： GPTBot を許可していても、コンテンツは ChatGPT の検索結果に表示されません。
• 推奨： 許可 -- 学習には使用されない検索専用クローラーです。ブロックする戦略上の理由はありません。

ChatGPT-User

• 運営元： OpenAI
• ユーザーエージェント： ChatGPT-User
• ユーザーエージェント文字列全体： Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ChatGPT-User/1.0; +https://openai.com/bot)
• 目的： ChatGPT ユーザーが特定の URL にアクセスするよう明示的にモデルに依頼した場合に使用されます。ユーザーに代わって動作するブラウザーエージェントのようなものです。
• ブロックした場合の影響： ユーザーがページの閲覧や要約を依頼しても、ChatGPT はアクセスできません。その結果、ユーザーが直接開始したトラフィックを妨げます。
• 推奨： 許可 -- このボットをブロックすると、コンテンツの利用を積極的に試みるユーザーが、ChatGPT を通じてアクセスできなくなります。

ClaudeBot

• 運営元： Anthropic
• ユーザーエージェント： ClaudeBot
• ユーザーエージェント文字列全体： ClaudeBot/1.0; +https://www.anthropic.com/claude-bot
• 目的： ウェブ検索、引用、分析ツールなどの Claude の機能向けにウェブコンテンツを取得します。
• ブロックした場合の影響： ウェブ検索や、ユーザーが Claude に特定の URL の分析を依頼した際に、Claude がコンテンツにアクセスできなくなります。
• 推奨： 許可 -- Claude は市場シェアを伸ばしている主要な AI アシスタントです。ClaudeBot をブロックすると、AI 検索での露出が減少します。

PerplexityBot

• 運営元: Perplexity AI
• ユーザーエージェント: PerplexityBot
• 完全なユーザーエージェント文字列: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)
• 目的: 出典を明記し、元ページへの直接リンクを添えた回答を提供する、Perplexity の AI 検索エンジンを支えます。
• ブロックした場合の影響: コンテンツは Perplexity の検索結果に表示されなくなります。Perplexity は常に出典へのリンクを表示するため、AI 検索サービスの中でも優れた参照トラフィック源の一つです。
• 推奨: 許可 -- Perplexity は実際の参照トラフィックをもたらし、常に出典を明記します。パブリッシャーや企業にとって価値の高い AI クローラーです。

---

Tier 2：より広範な AI エコシステムで重要（推奨：許可）

これらのクローラーは、大規模な AI プラットフォームや検索エコシステムで利用されています。許可すると、コンテンツのリーチが広がります。

Google-Extended

• 運営元: Google
• ユーザーエージェント: Google-Extended
• 目的: Google が Gemini モデルのトレーニングや AI Overviews の改善にコンテンツを利用するかどうかを制御します。重要な注意点: Google-Extended をブロックしても、Google 検索のランキングや検索結果への表示には影響しません。これらは標準の Googlebot によって制御されます。
• ブロックした場合の影響: コンテンツが Gemini のトレーニングや AI Overviews の改善に利用されなくなる可能性があります。ただし、標準的な検索インデックス登録に基づいて、コンテンツが AI Overviews に表示されることはあります。
• 推奨: 許可 -- ブロックしてもコンテンツ保護のメリットはわずかですが、Google の AI 機能での露出が減ります。通常の検索ランキングには影響しないため、ブロックする唯一の理由は、トレーニングデータへの利用に対する理念上の異議です。

GoogleOther

• 運営元: Google
• ユーザーエージェント: GoogleOther
• 目的: 調査、単発のクロール、AI 関連のデータ収集など、検索ランキング以外のさまざまな目的で Google に使用されます。
• ブロックした場合の影響: 検索ランキングへの影響はわずかです。Google の AI 研究や実験的な機能での露出が減る可能性があります。
• 推奨: 許可 -- リスクは低く、AI 機能に取り込まれる可能性を高めるメリットが見込めます。

Applebot-Extended

• 運営元: Apple
• ユーザーエージェント: Applebot-Extended
• 目的: Apple Intelligence の機能、Siri、Apple の AI 製品をトレーニングおよび改善するために Apple が使用します。標準の Applebot（Siri 検索と Spotlight の候補表示を支えるもの）とは別です。
• ブロックした場合の影響: コンテンツが Apple Intelligence の機能で利用されなくなる可能性があります。標準の Siri と Spotlight の機能には影響しません（これらは Applebot によって制御されます）。
• 推奨: 許可 -- Apple Intelligence はすべての Apple デバイス（アクティブデバイス20億台以上）に統合されています。Apple の AI 機能で露出することの戦略的価値は高まっています。

Amazonbot

• 運営元: Amazon
• ユーザーエージェント: Amazonbot
• 完全なユーザーエージェント文字列: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (compatible; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot)
• 目的: Alexa の回答や Amazon の AI 機能向けにコンテンツをインデックス登録します。
• ブロックした場合の影響: コンテンツは Alexa の音声応答や Amazon の AI 搭載検索機能に表示されなくなります。
• 推奨: 許可 -- 音声検索の最適化に役立ちます。Tier 1 のクローラーより優先度は低いものの、許可するデメリットはありません。

FacebookBot

• 運営元: Meta
• ユーザーエージェント: FacebookBot
• 目的: Facebook、Instagram、WhatsApp、Meta AI アシスタント全体の AI 機能で Meta に使用されます。
• ブロックした場合の影響: コンテンツが Meta AI からアクセスできなくなる可能性があります。Facebook と Instagram のリンクプレビューは別のクローラーが処理するため、影響を受けません。
• 推奨: 許可 -- Meta AI は合計30億人以上のユーザーを抱えるアプリに組み込まれています。AI での露出における重要性が高まっています。

Tier 3：トレーニング専用クローラー（方針に応じて許可またはブロック）

これらのクローラーは、主にライブ検索機能ではなく、AI モデルのトレーニングに使用されます。これらをブロックしても、AI 検索での可視性には影響しません。

CCBot

• 運営者： Common Crawl（非営利団体）
• User-Agent： CCBot
• User-Agent の完全な文字列： CCBot/2.0 (https://commoncrawl.org/faq/)
• 目的： Common Crawl データセットを構築します。このデータセットは、多くの AI 企業（Google、Meta、Stability AI など）でトレーニングデータとして使用されています。
• ブロックの影響： コンテンツは今後の Common Crawl データセットに含まれなくなります。ライブ AI 検索製品には影響しません。
• 推奨事項： 状況に応じて判断 -- 長期的に AI トレーニングでの利用を最大化したい場合は許可します。トレーニングデータの使用を管理したい場合はブロックします。検索での可視性には影響しません。

anthropic-ai

• 運営者： Anthropic
• User-Agent： anthropic-ai
• 目的： Anthropic が AI の安全性に関する研究と Claude モデルのトレーニングに使用します。ライブ機能を担う ClaudeBot とは別のものです。
• ブロックの影響： コンテンツは Claude のトレーニングに使用されなくなります。Claude のライブ検索やウェブブラウジング機能には影響しません（これらは ClaudeBot によって制御されます）。
• 推奨事項： 状況に応じて判断 -- CCBot と同様です。トレーニングでの利用を望む場合は許可し、トレーニングデータを管理したい場合はブロックします。ライブ AI 検索には影響しません。

Bytespider

• 運営者： ByteDance
• User-Agent： Bytespider
• 目的： TikTok の AI 機能や Doubao（中国における同社の ChatGPT 競合製品）など、さまざまな ByteDance の AI 製品に使用されます。
• ブロックの影響： コンテンツは ByteDance の AI 製品に使用されなくなります。欧米市場の企業への影響はごくわずかです。
• 推奨事項： 欧米のほとんどの企業ではブロック（積極的なクロール動作が報告されており、検索での可視性向上のメリットはわずかです）。中国・アジア市場を対象とする場合は許可します。

cohere-ai

• 運営者： Cohere
• User-Agent： cohere-ai
• 目的： Cohere のモデルのトレーニングに使用されます。Cohere はエンタープライズ向け AI ソリューションと Coral チャット製品を提供しています。
• ブロックの影響： コンテンツは Cohere のモデルのトレーニングに使用されなくなります。消費者向けサービスへの直接的な影響はごくわずかです。
• 推奨事項： 状況に応じて判断 -- 優先度は低いです。一般的なトレーニングデータに関する方針に基づいて、許可またはブロックします。

---

推奨事項の一覧

クローラー	Tier	推奨事項	理由
GPTBot	1	許可	ChatGPT Search（3 億人以上のユーザー）を支えます
OAI-SearchBot	1	許可	検索専用で、トレーニングには使用されません
ChatGPT-User	1	許可	ユーザーが開始するブラウジング
ClaudeBot	1	許可	Claude のウェブ検索と分析
PerplexityBot	1	許可	AI 検索の中で最も優れた参照トラフィック
Google-Extended	2	許可	Gemini の機能。検索順位には影響しません
GoogleOther	2	許可	Google の AI 研究
Applebot-Extended	2	許可	Apple Intelligence（20 億台以上のデバイス）
Amazonbot	2	許可	Alexa と Amazon の AI
FacebookBot	2	許可	Meta AI（アプリユーザー 30 億人以上）
CCBot	3	状況に応じて判断	トレーニングデータ専用
anthropic-ai	3	状況に応じて判断	トレーニングデータ専用
Bytespider	3	ブロック	積極的なクローラーで、メリットはわずかです
cohere-ai	3	状況に応じて判断	トレーニングデータ専用

AI での可視性を最大化する設定（robots.txt）

AI 検索での可視性を最大化したいサイト向け：

# AI Crawlers - ALLOWED for AI search visibility
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: GoogleOther
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: FacebookBot
Allow: /

# AI Crawlers - BLOCKED (aggressive/low value)
User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

---

分析手順

ステップ 1：robots.txt を取得して解析する

1. WebFetch を使って [domain]/robots.txt を取得します。
2. すべての User-agent ディレクティブと、それに関連付けられた Allow／Disallow ルールを解析します。
3. 上記の参照リストにある各 AI クローラーについて、次を確認します。
   • そのクローラーを対象とする特定の User-agent ブロックがあるか確認します
   • 適用されるワイルドカード（User-agent: *）ブロックがあるか確認します
   • 有効なアクセス権を判定します：許可、ブロック、または記載なし（ワイルドカードのルールを継承）
4. AI クローラーのアクセスを遅くする可能性がある Crawl-delay ディレクティブがないか確認します。
5. Sitemap ディレクティブがあるか確認します（AI クローラーはサイトの発見にこれらを使用します）。

ステップ 2：Meta Robots タグを確認する

1. 主要なページを 5～10 件サンプルとして選び、HTML を取得して次の項目を確認します。
   • <meta name="robots" content="noindex"> -- すべてのボットをブロックします
   • <meta name="robots" content="nofollow"> -- リンクのたどりを防ぎます
   • <meta name="robots" content="noai"> -- AI による利用をブロックする、新たに登場したタグです
   • <meta name="robots" content="noimageai"> -- AI による画像学習をブロックします
   • ボット固有の Meta タグ：<meta name="GPTBot" content="noindex">
2. robots.txt の指示をページ単位で上書きしている設定があれば記録します。

ステップ 3：HTTP ヘッダーを確認する

1. 同じサンプルページについて、レスポンスヘッダーに次の項目がないか確認します。
   • X-Robots-Tag: noindex -- Meta noindex に相当する HTTP ヘッダーです
   • X-Robots-Tag: noai -- AI による利用をブロックする HTTP ヘッダーです
   • X-Robots-Tag: noimageai -- AI による画像学習をブロックします
   • ボット固有のヘッダー：X-Robots-Tag: GPTBot: noindex
2. HTTP ヘッダーは Meta タグより優先され、HTML 以外のリソースにも適用されることに注意してください。

ステップ 4：AI 専用ファイルを確認する

1. /llms.txt（AI クローラー向けのガイダンスに関する新たな標準）を確認します。
2. /.well-known/ai-plugin.json（OpenAI プラグインのマニフェスト）を確認します。
3. /ai.txt（AI 向けの ads.txt に類似した、提案中の標準）を確認します。
4. 各ファイルの有無と品質を記録します。

ステップ 5：JavaScript によるレンダリング要件を評価する

1. サイトがシングルページアプリケーション（SPA）か、JavaScript に大きく依存したレンダリングを行っているかを確認します。
2. AI クローラーによって、JavaScript のレンダリング能力は異なります。
   • GPTBot：JavaScript のレンダリング能力は限定的です
   • ClaudeBot：JavaScript のレンダリング能力は限定的です
   • PerplexityBot：JavaScript のレンダリング能力は限定的です
   • Googlebot：JavaScript を完全にレンダリングします（Google-Extended もこの機能を引き継ぎます）
3. 重要なコンテンツの表示に JavaScript によるレンダリングが必要な場合は、潜在的な問題として指摘します。
4. 対策として、サーバーサイドレンダリング（SSR）または静的サイト生成（SSG）が使われているか確認します。

ステップ 6：コンテンツシグナルを解析する

ステップ 1 ですでに取得した robots.txt を使って、Content-Signal: ディレクティブ（IETF ドラフト draft-romm-aipref-contentsignals）を検索します。

1. Content-Signal: で始まる行がないか、大文字と小文字を区別せずにすべての行を調べます。
2. 見つかった場合：
   • すべての key=value ペアを解析します（, で分割してから = で分割します）。
   • キーが既知のセットである ai-train、search、ai-personalization、ai-retrieval に含まれているか検証します。
   • 値が yes または no のみであるか検証します。
   • 不明なキーや無効な値は警告として指摘します。この仕様はまだ IETF ドラフトです。
   • 結果を 合格 として記録し、解析した値と平易な説明を提示します。
3. 見つからない場合：推奨事項 として記録します。サイトが AI の利用に関する希望を宣言していません。

追加の HTTP リクエストは不要です。robots.txt はステップ 1 ですでに取得しています。

ステップ 7：Cloudflare の管理対象 robots.txt を検出する

ステップ 1 ですでに取得した robots.txt を使って、# BEGIN Cloudflare Managed content で始まるブロックがないか、大文字と小文字を区別せずに確認します。

1. 見つかった場合、Cloudflare がサイト独自のファイルの前に、管理対象の robots.txt を追加しています。このブロックは GPTBot、ClaudeBot、Google-Extended、Applebot-Extended、Amazonbot、Bytespider、CCBot、meta-externalagent を拒否します。
2. サイト所有者独自のルールで AI クローラーを許可している場合は、重大な問題 として記録します。このブロックはサーバー上の robots.txt ファイルには現れず、ライブレスポンスにのみ現れるため、所有者は通常、有効になっていることに気づきません。
3. 推奨事項：Cloudflare ダッシュボードで［Security Settings］に移動し、［Bot traffic］で絞り込み、サイトを AI に利用させたい場合は［block training in robots.txt］をオフにします。学習のブロックが意図的な場合は、問題ではなく意図的な選択として記録します。

追加の HTTP リクエストは不要です。fetch_page.py robots は、この情報を cloudflare_managed: true として返します。

---

出力形式

GEO-CRAWLER-ACCESS.md というファイルを生成します。

# AI Crawler Access Report: [Domain]

**Analysis Date:** [Date]
**Domain:** [Domain]
**robots.txt Status:** [Found/Not Found/Error]

---

## Crawler Access Summary

| Crawler | Operator | Tier | Status | Impact |
|---|---|---|---|---|
| GPTBot | OpenAI | 1 | [Allowed/Blocked/Not Mentioned] | [Impact description] |
| OAI-SearchBot | OpenAI | 1 | [Status] | [Impact] |
| ChatGPT-User | OpenAI | 1 | [Status] | [Impact] |
| ClaudeBot | Anthropic | 1 | [Status] | [Impact] |
| PerplexityBot | Perplexity | 1 | [Status] | [Impact] |
| Google-Extended | Google | 2 | [Status] | [Impact] |
| GoogleOther | Google | 2 | [Status] | [Impact] |
| Applebot-Extended | Apple | 2 | [Status] | [Impact] |
| Amazonbot | Amazon | 2 | [Status] | [Impact] |
| FacebookBot | Meta | 2 | [Status] | [Impact] |
| CCBot | Common Crawl | 3 | [Status] | [Impact] |
| anthropic-ai | Anthropic | 3 | [Status] | [Impact] |
| Bytespider | ByteDance | 3 | [Status] | [Impact] |
| cohere-ai | Cohere | 3 | [Status] | [Impact] |

## AI Visibility Score: [X]/100

**Tier 1 Access:** [X/5 crawlers allowed]
**Tier 2 Access:** [X/5 crawlers allowed]
**Tier 3 Access:** [X/4 crawlers allowed]

---

## Critical Issues

[List any Tier 1 crawlers that are blocked]

## Recommendations

### Immediate Actions
[Specific robots.txt changes needed]

### robots.txt Recommendation

[AI クローラー向けの推奨 robots.txt の完全な内容]

### Additional Technical Findings
- **Meta Robots Tags:** [Findings]
- **X-Robots-Tag Headers:** [Findings]
- **JavaScript Rendering:** [Assessment]
- **llms.txt:** [Present/Absent]
- **Sitemap Accessibility:** [Assessment]

### Content Signals (IETF Draft)

**Status:** Present / Absent


| Signal Key | Value | Meaning |
|---|---|---|
| ai-train | no | Opted out of AI model training |
| search | yes | Permits use in AI-powered search results |


**Recommendation:** Add a `Content-Signal:` directive to robots.txt to declare AI usage preferences explicitly. Example:

`Content-Signal: ai-train=no, search=yes, ai-retrieval=yes`

See https://contentsignals.org/ for the full specification.

---

クローラーアクセスのスコアリング

AI クローラーアクセススコアは、次のように計算されます。

コンポーネント	重み	スコアリング
Tier 1 クローラーの許可	50%	許可された Tier 1 クローラーごとに20ポイント（5つのクローラーで最大100ポイント、50に換算）
Tier 2 クローラーの許可	25%	許可された Tier 2 クローラーごとに20ポイント（5つのクローラーで最大100ポイント、25に換算）
AI の一括ブロックなし	15%	User-agent: * Disallow: / がなく、noai メタタグもない場合に満点
AI 専用ファイルの有無	10%	llms.txt に5ポイント、AI クローラーがアクセスできるサイトマップに5ポイント

最終スコア = 重み付けされたすべてのコンポーネントの合計（上限100）。