ai-bot-log-audit

AI ボットログ監査

サーバーログを分析して、AI クローラーがコンテンツをどのように取得しているかを把握し、引用される可能性を最大限に高めるため、配置と構成を最適化します。Metehan Yeşilyurt のログファイル分析フレームワークに基づいています。

このスキルを使う場面

次のような場合に、このスキルを使ってください。

• サイト上の AI ボットのクロールパターンを監査する（取得する内容、頻度、取得しない内容）
• 引用されない原因を診断する — コンテンツは存在するのに、AI 検索で引用されない
• LLM の取得メカニズム（lost-in-the-middle、埋め込みの類似度）に合わせて コンテンツの配置を最適化する
• 異なる製品間で AI ボットの動作を比較する（Google、OpenAI、Anthropic、Perplexity）
• 推測ではなく、実際のクロールデータに基づいて GEO 戦略を 立案する
• AI ボットが優先するページと無視するページを 特定する

このスキルは、特に次の方に役立ちます。

• AI 検索を最適化対象に加える SEO 担当者
• AI トラフィックとコンテンツの抽出状況を監視するパブリッシャー
• ログファイル分析を行うテクニカル SEO 担当者
• AI 検索での認知度向上に向けた最適化対象を決めるコンテンツストラテジスト

---

方法論の基盤

専門家の情報源： Metehan Yeşilyurt（SEO コンサルタント、BrightonSEO、The Search Session の登壇者）

中心的な主張： ログファイル分析により、AI 検索の取得メカニズムを実際に把握できます。AI 製品（AI Overviews、AI Mode、Perplexity）ごとに取得パイプラインが根本的に異なるため、「AI 検索」に向けた最適化には、製品ごとのクロールと取得の動作を理解する必要があります。

「AI Overviews、AI Mode、Web Guide は、それぞれ取得動作がまったく異なる3つの製品です。『AI 検索』をひとつのものとして最適化することはできません。」— Metehan Yeşilyurt、The Search Session

重要な洞察： 従来の SEO から AI 検索の最適化への移行とは、決定論的な SERP でクリックを追い求めることから、機械生成テキストで引用を追い求めることへの転換です。ログファイルからは、引用選定の背後にあるメカニズムが明らかになります。

---

Claude が行うことと、あなたが決めること

Claude が行うこと	あなたが決めること
ログ分析の方法論を案内する	提供するログデータ
クロール動作のパターンを特定する	AI 製品の戦略的な優先順位
コンテンツ配置の最適化を提案する	コンテンツの作成・変更の範囲
取得動作と最適化アクションを対応付ける	変更に割り当てるリソース
監査テンプレートとチェックリストを作成する	実施する推奨事項

---

このスキルでできること

呼び出すと、次の手順を案内します。

1. ログの収集 — サーバーログから AI ボットのアクティビティを特定して抽出する
2. ボットの特定 — ユーザーエージェントを AI 製品に対応付ける
3. クロールパターンの分析 — AI ボットが取得する内容と無視する内容を把握する
4. 取得メカニズム — 各 AI 製品がコンテンツをどのように処理するかを理解する
5. 最適化アクション — AI に引用される可能性を高めるための具体的な変更

---

手順

フェーズ 1：AI ボットの特定

既知の AI クローラー（2026年）

ボットのユーザーエージェント	運営元	用途	robots.txt を尊重しますか？
GPTBot	OpenAI	トレーニングデータ＋ChatGPT Browse	はい
ChatGPT-User	OpenAI	ChatGPT でのリアルタイム閲覧	はい
OAI-SearchBot	OpenAI	SearchGPT／ChatGPT Search	はい
ClaudeBot	Anthropic	トレーニングデータの収集	はい
PerplexityBot	Perplexity	リアルタイム検索＋回答の生成	はい（ほとんどの場合）
Google-Extended	Google	Gemini／AI トレーニング（非推奨 — 現在は Googlebot に統合）	該当なし
Googlebot	Google	従来のクロール＋AI Overviews＋AI Mode	はい
Bytespider	ByteDance	TikTok の AI 機能向けトレーニング	はい
CCBot	Common Crawl	多数の AI モデルが使用するオープンデータセット	はい
Applebot-Extended	Apple	Apple Intelligence の機能	はい

ログ抽出コマンド

# Extract all AI bot hits from Apache/Nginx access logs
grep -iE "(GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|PerplexityBot|Bytespider|CCBot|Applebot-Extended)" access.log > ai_bots.log

# Count hits by bot
awk -F'"' '{print $6}' ai_bots.log | grep -oE "(GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|PerplexityBot|Bytespider|CCBot)" | sort | uniq -c | sort -rn

# Top pages crawled by AI bots
awk '{print $7}' ai_bots.log | sort | uniq -c | sort -rn | head -50

# Crawl frequency by day
awk '{print $4}' ai_bots.log | cut -d: -f1 | tr -d '[' | sort | uniq -c

# Response codes for AI bots (are they getting 200s or errors?)
awk '{print $9}' ai_bots.log | sort | uniq -c | sort -rn

---

フェーズ 2：クロールパターンの分析

確認すべき点

パターン	意味	対応
ボットがページを頻繁に取得する	ページが検索インデックスに含まれており、コンテンツが重要です	まずこのページを最適化します
ボットがページを一度取得した後、取得しなくなる	ページが評価され、優先度が下げられました	コンテンツの品質と鮮度を高めます
ボットがページを一度も取得しない	ページが見つかっていないか、ブロックされています	内部リンク、サイトマップ、robots.txtを確認します
ボットが404/500を受け取る	技術的な問題により、取得が妨げられています	すぐに修正します
ボットが取得しても引用しない	コンテンツは取得されましたが、回答には選ばれていません	構成、独自性、権威性を高めます

クロールバジェット分析

AI ボットにも、従来のボットと同様にクロールバジェットがあります。サイトの規模が大きい場合：

QUESTIONS TO ANSWER:
1. What % of pages are being crawled by AI bots?
2. Are high-value pages being fetched?
3. Are AI bots wasting time on low-value pages (tag pages, pagination)?
4. What's the crawl frequency — daily? weekly? sporadic?
5. Do different AI bots prioritize different pages?

ボットの動作の比較

各ボットがサイトとどのように異なる方法でやり取りするかを把握します：

ANALYSIS TEMPLATE:

GPTBot:
  Pages fetched: ___
  Top pages: ___
  Crawl frequency: ___
  Response codes: ___

PerplexityBot:
  Pages fetched: ___
  Top pages: ___
  Crawl frequency: ___
  Response codes: ___

ClaudeBot:
  Pages fetched: ___
  Top pages: ___
  Crawl frequency: ___
  Response codes: ___

---

フェーズ 3：検索の仕組みを理解する

AI 製品ごとに検索パイプラインは異なります。最適化には、その仕組みを理解する必要があります。

Perplexity：埋め込み類似度と情報源の多様化

Perplexityは埋め込みの高い類似度を使ってコンテンツとクエリを照合し、その後、情報源を積極的に多様化します。

これが意味すること：

• キーワードの一致よりも意味的な一致が重要です
• 唯一の最良の情報源になれば十分というわけではありません。Perplexityは情報源を多様化します
• コンテンツは検索可能であると同時に、ほかの情報源を補完するものである必要があります
• 構造化され、抽出しやすいコンテンツが有利です（表、定義、明確な主張など）

Google AI Overviews：検索インデックスとLLMレイヤー

AI Overviewsは、既存のGoogle検索ランキングの上に成り立っています。従来のSEOシグナルも重要です。

これが意味すること：

• 従来の検索で1ページ目にランクインしていなければ、AI Overviewsに表示される可能性は低くなります
• AIレイヤーはすでにランクインしているページから選択し、情報を統合します
• E-E-A-Tシグナルは検索ランキングから引き継がれます

Google AI Mode：複数ステップのクエリ展開

AI Modeは複雑な質問をサブクエリに分解し、それぞれについて情報を取得してから統合します。

これが意味すること：

• サブクエスチョンに答えるコンテンツが含まれます
• サイト全体でトピックを包括的に網羅することが重要です
• 関連トピック間の内部リンクは、AI Modeが回答をつなぎ合わせるのに役立ちます

---

フェーズ 4：LLMの脆弱性を把握する

既知のLLM処理上の弱点を理解することで、コンテンツが最大限に検索されるよう位置づけられます。

LLMの主な脆弱性 4 点

脆弱性	説明	最適化
新近性バイアス	LLMは、古い情報のほうが正確な場合でも、新しい情報をより重視します	コンテンツの日付を明記します。定期的に更新します。新しいタイムスタンプは検索上の優位性につながります
中間部分の見落とし	LLMは、コンテキストの中間部分よりも冒頭と末尾を適切に処理します	重要な主張、定義、統計をページやセクションの冒頭と末尾に配置します
データポイズニングの影響を受けやすいこと	LLMは、連携したコンテンツのパターンに影響されることがあります	対応できることはありませんが、競合他社がAIの回答を操作する可能性がある点に注意してください
プロンプトインジェクション	LLMは隠された指示によって操作されることがあります	SEOで対応できることではありませんが、セキュリティ監査では重要です

中間部分の見落とし：実践的なコンテンツ配置

SEOに最も活用しやすい脆弱性です：

PAGE STRUCTURE FOR LLM RETRIEVAL:

TOP (HIGH ATTENTION):
├── Key definition / direct answer
├── Critical statistics with context
└── Main claim / thesis

MIDDLE (LOW ATTENTION):
├── Supporting details
├── Tables and structured data (LLMs handle these well regardless of position)
├── Examples and elaboration
└── Supporting evidence

BOTTOM (HIGH ATTENTION):
├── Summary of key points
├── FAQ with direct answers
├── Conclusion with standalone claims
└── Updated date

「ページの末尾にFAQ、中間に表を置くのが、中間部分の見落としへの対策です。LLMは位置にかかわらず構造化データを適切に処理しますが、中間にある流し読み形式のテキストは優先度が下がります。」 — Metehan Yeşilyurt

---

フェーズ 5：監査レポートのテンプレート

AIボットのログ監査レポート

# AI Bot Log Audit: [Site Name]
**Date:** [Date]
**Period analyzed:** [Date range]
**Log source:** [Apache/Nginx/CDN]

## Executive Summary
[2-3 sentence overview of findings]

## Bot Activity Overview

| Bot | Total Hits | Unique Pages | Avg Daily Hits | Status |
|-----|-----------|-------------|----------------|--------|
| GPTBot | ___ | ___ | ___ | Active/Inactive |
| PerplexityBot | ___ | ___ | ___ | Active/Inactive |
| ClaudeBot | ___ | ___ | ___ | Active/Inactive |
| ChatGPT-User | ___ | ___ | ___ | Active/Inactive |

## Top Pages by AI Bot Activity
1. [URL] — [hits] hits — [which bots]
2. [URL] — [hits] hits — [which bots]
3. [URL] — [hits] hits — [which bots]

## Pages Not Crawled (Expected High-Value)
- [URL] — Likely cause: [blocked/not linked/low authority]
- [URL] — Likely cause: [___]

## Technical Issues
- [N] pages returning 404 to AI bots
- [N] pages returning 500 to AI bots
- robots.txt blocking: [yes/no — which bots?]

## Content Optimization Recommendations

### Priority 1: Fix Technical Issues
- [ ] [Specific fix]

### Priority 2: Optimize High-Traffic AI Pages
- [ ] Apply lost-in-the-middle structure to [page]
- [ ] Add entity schema to [page]
- [ ] Update freshness signals on [page]

### Priority 3: Improve Discoverability
- [ ] Internal link to [uncrawled page] from [crawled hub]
- [ ] Add to sitemap: [page]
- [ ] Create content for [gap topic]

## robots.txt Recommendations
[Current AI bot directives and recommended changes]

---

例

例 1：AI からのトラフィックを失っているパブリッシャー

コンテキスト： ニュースパブリッシャーが、AI からの流入トラフィックの減少に気づきました。ログを監査したところ、次のことが判明しました。

調査結果：

• robots.txt の変更後、GPTBot のアクセスが 60% 減少（誤ってブロックされていました）
• PerplexityBot はホームページと上位 5 件の記事のみをクロール
• ほとんどのコンテンツページで、AI ボットのアクセスがゼロ
• 3 か月前に変更した URL 構造に対して、AI ボットが 404 エラーのページにアクセス

対応策：

1. robots.txt を修正し、GPTBot と PerplexityBot を許可する
2. 古い URL 構造に 301 リダイレクトを追加する
3. クロール頻度の高いページから詳細なコンテンツへの内部リンクを改善する
4. datePublished と dateModified を含む記事スキーマを追加する
5. lost-in-the-middle 最適化を適用して、上位記事を再構成する

例 2：AI に引用されない SaaS ブログ

コンテキスト： SaaS 企業が毎週ブログ記事を公開していますが、ChatGPT や Perplexity の回答に一度も表示されません。

調査結果：

• ClaudeBot と GPTBot は定期的にクロールしている（技術的なアクセスに問題はありません）
• コンテンツが一般的な「〜のための 10 のヒント」という形式で、競合他社のものと区別がつかない
• 独自のデータ、事例研究、独自の知見がない
• 著者ページに Person スキーマがない
• ブランド検索ボリューム：月間 100（競合他社：3,000 以上）

対応策：

1. コンテンツ戦略を、一般的なガイドから独自調査を重視する方針に切り替える
2. すべての著者に、資格情報を含む Person スキーマを追加する
3. 独自のデータや主張を記事の冒頭と末尾に配置する（lost-in-the-middle）
4. ポッドキャストへの出演やゲスト投稿を通じて、主要な著者 2 名のエンティティ権威性を高める
5. 自社製品を比較対象の選択肢の 1 つとして含めた比較コンテンツを作成する

---

チェックリストとテンプレート

クイック監査チェックリスト

ACCESS CHECK
[ ] AI bots not blocked in robots.txt (check each bot separately)
[ ] AI bots getting 200 responses (not 403/404/500)
[ ] Sitemap accessible and up to date
[ ] Key pages present in sitemap

CRAWL PATTERNS
[ ] High-value pages are being crawled by AI bots
[ ] Crawl frequency is consistent (not declining)
[ ] AI bots not wasting budget on low-value pages
[ ] Multiple AI bots active (not just one)

CONTENT OPTIMIZATION
[ ] Key claims at beginning and end of pages (not buried in middle)
[ ] Tables and structured data for comparisons
[ ] FAQ sections at bottom of major pages
[ ] Content is updated with recent dates
[ ] Unique data or original insights present

ENTITY SIGNALS
[ ] Author/organization schema on relevant pages
[ ] Entity mentioned consistently across the site
[ ] Cross-platform entity presence established

---

スキルの範囲

このスキルでできること

• AI ボットのパターンを把握するためのサーバーログ分析のガイド
• さまざまな AI 製品の検索結果取得の仕組みの説明
• コンテンツ配置の最適化の提案
• 構造化された監査レポートの作成

このスキルでできないこと

• 実際のサーバーログへのアクセスや解析
• AI 検索結果のリアルタイムな照会
• AI の回答で引用されることの保証
• 複雑なログ分析における技術 SEO の専門知識の代替

---

参考資料

主な情報源：

• Metehan Yeşilyurt — 「ログファイル、AI ボット、AI 検索の実際の仕組み」（The Search Session、Advanced Web Ranking）
• Mark Williams-Cook — シグナル減衰の論説とクエリのファンアウト分析
• Lily Ray — エンティティ優先のフレームワークとクロスプラットフォームでの権威性

参考ツール：

• Screaming Frog Log File Analyzer
• GoAccess（オープンソースのログアナライザー）
• queryfan.com（クエリのファンアウト分析）

技術資料：

• OpenAI GPTBot のドキュメント
• Anthropic ClaudeBot のドキュメント
• Google Search Central — Googlebot と AI 機能

---

関連スキル

• llm-optimized-content — AI 検索向けのコンテンツ最適化（GEO）
• entity-seo-playbook — AI での可視性を高めるエンティティ権威性の構築
• lighthouse-audit — 技術 SEO とパフォーマンスの監査
• seo-content-writer — E-E-A-T に基づく SEO コンテンツの作成
• schema-markup — 構造化データの実装

---

スキルのメタデータ

name: ai-bot-log-audit
category: seo-tools
subcategory: geo
version: 1.0.0
author: GUIA
source_expert: Metehan Yeşilyurt (SEO Consultant, BrightonSEO speaker) — The Search Session podcast
difficulty: intermediate
mode: centaur
tags: [ai-bots, log-analysis, geo, ai-search, crawl-audit, perplexity, gptbot, claudebot, retrieval, lost-in-the-middle]
created: 2026-02-10
updated: 2026-02-10