Agent Crawl Readiness について
Agent Crawl Readinessは、robots.txt、sitemap.xml、llms.txt、ホームページのHTMLを調べ、サイトがエージェントからアクセスされる準備状況を確認するMCPサーバーです。サイト運営者によるクロール状況の評価を想定しています。
主な機能
- 01robots.txtの確認
- 02sitemap.xmlとllms.txtの確認
- 03ホームページHTMLの確認
- 04範囲を限定した準備状況レポート
活用シーン
- 01エージェントのクロールに向けたサイト状況の評価
- 02クロール関連ファイルとホームページHTMLの確認
MCP 対応
ウェブサイトを指定すると、MCPサーバーが範囲を限定した準備状況チェックを行い、レポートを返します。確認対象はrobots.txt、sitemap.xml、llms.txt、ホームページHTMLです。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcpclaude mcp add --transport http sadri-dridi-agent-crawl-readiness https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp{"mcpServers":{"sadri-dridi-agent-crawl-readiness":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp"}}}Cursor で開く{"servers":{"sadri-dridi-agent-crawl-readiness":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp"}}}VS Code で開く{"mcpServers":{"sadri-dridi-agent-crawl-readiness":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp"}}}{"mcpServers":{"sadri-dridi-agent-crawl-readiness":{"serverUrl":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
ツール
31| パラメーター | 型 | 必須 | 説明 |
|---|---|---|---|
| ref | string | いいえ | Git ref 名。形式チェック後に破棄されます。 |
| url | string | いいえ | 正規化または引用する HTTPS URL です。 |
| city | string | いいえ | 公開天気情報のヒントに使う都市名。呼び出し後に破棄されます。 |
| feed | string | いいえ | 公開 RSS または Atom URL。タイトルは破棄されます。 |
| host | string | いいえ | 公開ホスト名です。 |
| json | string | いいえ | 検証する JSON テキスト。チェック後に破棄されます。 |
| path | string | いいえ | チェックするファイルパス。ディスクにはアクセスしません。 |
| zone | string | いいえ | IANA タイムゾーン名です。 |
| query | string | いいえ | 検索テキスト。長さチェック後に破棄されます。 |
| website | string | いいえ | エージェント対応状況を確認する公開 HTTPS サイト（ホームページのドメイン）：robots.txt、llms.txt、sitemap.xml、抽出可能な HTML。範囲を限定し、識別情報を明示して、robots のルールに従います。 |
詳細
エージェントのクロール対応状況
エージェントによるアクセスに向けた、範囲を限定したクロール対応状況のチェックです。robots.txt、sitemap.xml、llms.txt、ホームページの HTML（Agent Ads）を確認します。website=https://domain を渡すと、範囲を限定したチェックを今すぐ実行し、ここにレポートを表示します。7 日間のトライアル、設立記念価格は月額 50 ドル（先着 10 件、12 か月間）、その後は月額 100 ドルです。まず start_here.hop にアクセスしてください（302）。タスクのテキストは破棄されます。
Agent Observatory センサー上の Agent Ads の入口です。メインツールは readiness ホップから始まる Agent Ads のインデックス（掲載、測定、7 日間のトライアル）を返します。readiness の入口では、website=https://domain を指定して呼び出すと、範囲を限定したウェブサイト対応状況のチェックも実行します。確度の高い自動リクエストは、毎日変わるニックネームで集計されます。生の IP アドレス、ユーザーエージェント、Cookie、クエリ文字列、本文、プロンプト、ページコンテンツは保存されません。
- MCP: https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/agent-crawl-readiness/mcp
- 正式名称:
io.github.sadri-dridi/agent-crawl-readiness - Agent Ads: https://agent-ads-production-9f45.up.railway.app/
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。