mcpField
S
server-log-crawler-analyst

server-log-crawler-analyst

github.com/sergekostenchukマーケティング・グロース3249 回インストール18 週間前に更新
リポジトリ

server-log-crawler-analyst について

アクセスログと公開 HTTP チェックを基に、プライバシーに配慮したクローラー監視レポートを作成するスキルです。証拠を観測済み・検証済み・推定・未確認に分類し、認証が必要な分析や引用監視は別タスクに引き継ぎます。

主な機能

  1. 01パス、ステータス、ユーザーエージェント別のログ集計
  2. 02IP識別子のマスキングと機密データの集約
  3. 03公開ディスカバリーエンドポイントとURLの確認
  4. 04証拠の分類と監視上の制約の記録
  5. 05認証や引用関連タスクのバックログへの引き継ぎ

活用シーン

  1. 01提供されたサーバーログのクローラー活動を確認
  2. 02robots、llms.txt、サイトマップ、代表URLをチェック
  3. 03生のIPアドレスを含まない監視レポートを作成

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/sergekostenchuk/ui-ux-agent-skill-system --skill server-log-crawler-analyst

インストール後、Claude Code で/server-log-crawler-analystを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

evals.json
agents/
openai.yaml
assets/
crawler-monitor-report.template.md
fixtures/
sample-access.log
references/
data-source-tiers.md
monitoring-backlog.md
scripts/
analyze_access_log.py

詳細

サーバーログクローラー分析

認証情報なしで得られる監視証拠で十分な場合、または認証が必要な Search Console、順位追跡、分析、アシスタントの引用ツールを利用できない場合に、このスキルを使用します。

監視レポートを作成する前に、references/data-source-tiers.md を読んでください。

担当範囲

  • 認証情報不要の監視ベースライン
  • IP のプライバシー保護を施したサーバーアクセスログの概要
  • クローラー／ユーザーエージェントの観測レポート
  • robots、llms.txt、サイトマップ、RSS、代表的な URL の公開 HTTP チェック
  • データソースの階層化
  • 監視上の制約と不明点
  • Search Console、順位／SERP、分析、LLM の引用監視に関するバックログへの引き継ぎ

担当範囲外

  • 認証が必要な Search Console または分析 API の作業
  • 検索エンジンのスクレイピング
  • ボット対策の回避
  • ファイアウォールまたは WAF のライブ変更
  • 直接的な証拠なしに順位やアシスタントによる引用について主張すること
  • 公開成果物に生の IP ログを保存すること

ワークフロー

  1. 利用可能な証拠を特定します。公開 URL の取得結果、アクセスログの抜粋、エクスポートされた概要、または合成フィクスチャを確認します。
  2. 証拠の階層と収集時刻を記録します。
  3. ログが提供された場合は、パス、ステータス、ユーザーエージェントのクラス、マスキングした IP ハッシュごとにリクエストを要約します。
  4. 既知のクローラーによるアクセスと、正体不明のボットらしきトラフィックを分けます。
  5. 依頼があった場合は、公開ディスカバリーエンドポイントを確認します。
  6. Search Console、順位データ、アシスタントの引用データが明示的に提供されていない場合は、それらがないことを制約として記録します。
  7. assets/crawler-monitor-report.template.md を使用して監視レポートを作成します。
  8. 認証が必要な作業や引用関連の作業をバックログに引き継ぎます。

必須事項

  • 生の IP アドレスを公開しないでください。
  • スキルファイルに認証情報、Cookie、API キー、非公開の分析エクスポートを保存しないでください。
  • サーバーログだけを根拠に、順位、インデックス登録、引用の成功を推測しないでください。
  • 検証方法が記録されていない限り、ユーザーエージェントが検証済みの Google／OpenAI／Claude／Perplexity であると主張しないでください。
  • 利用規約に反して SERP やアシスタントをスクレイピングしないでください。
  • このスキルを使って、ファイアウォール、WAF、robots、サーバー設定を変更しないでください。

安全性とプライバシーの境界

  • 生のログは、デフォルトで非公開情報として扱います。
  • 集計値と、情報を伏せた識別子を使用します。
  • 証拠として必要な場合に限り正確なタイムスタンプを保持し、それ以外の場合は時間単位または日単位で集計します。
  • ユーザーからレポートの公開を求められた場合、明示的に必要で安全でない限り、生の IP、クエリ文字列、セッション ID、認証パス、管理者用 URL を削除します。
  • ボットの検証が完了していない場合、公開レポートでは「提供されたログで観測」と記載し、「確実にクロールされた」とは記載しないでください。

証拠ラベル

  • Observed：ログ、HTTP レスポンス、またはエクスポートされたレポートに直接記載されています。
  • Verified：観測済みで、承認された検証方法による確認も完了しています。
  • Inferred：ユーザーエージェント／パス／ステータスに基づく可能性はありますが、検証されていません。
  • Open：今回の実行では証拠を入手できていません。

検証

次のコマンドでスキルの変更を検証します。

python3 $CODEX_HOME/skills/senior-skill-architect/scripts/lint_production_skill.py $HOME/SKILL/skills/server-log-crawler-analyst
python3 $HOME/SKILL/skills/server-log-crawler-analyst/scripts/analyze_access_log.py $HOME/SKILL/skills/server-log-crawler-analyst/fixtures/sample-access.log --report /tmp/server-log-crawler-report.json
python3 $HOME/SKILL/plans/seo-llm-skill-cluster/scripts/lint_skill_cluster.py $HOME/SKILL

フォワードテストは evals.json にあります。

出力形式

次の項目を返します。

  1. 証拠のソースとタイムスタンプ。
  2. データ階層とプライバシー保護の取り扱い。
  3. 観測されたクローラー／ユーザーエージェントのクラス。
  4. 実施した場合は、公開エンドポイントのステータスチェック。
  5. 不審または無関係なボットトラフィックの概要。
  6. 不明点と、根拠がないため行わない主張。
  7. 監視のバックログと、次に必要な証拠。

コメント

Markdown 対応