Robots Inspect について
Robots Inspectは、自律型クライアント向けの公開ユーティリティです。公開robots.txtを取得し、グループ数のみを返し、リクエストの生データやページ内容は保存しません。
主な機能
- 01公開robots.txtの取得
- 02グループ数のみを返却
- 03高確度の自動リクエスト計測
- 04リクエスト生データの非保存
活用シーン
- 01robots.txtのグループ数確認
- 02ページ内容を取得せず公開クロール指示を確認
MCP 対応
MCPエンドポイントを通じて、robots.txt検査ユーティリティをMCPクライアントに提供します。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
エンドポイント
https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcpインストールコマンドをコピー
Claude CodeTerminal
claude mcp add --transport http sadri-dridi-robots-inspect https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcpCursor.cursor/mcp.json
{"mcpServers":{"sadri-dridi-robots-inspect":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"}}}Cursor で開くVS Code.vscode/mcp.json
{"servers":{"sadri-dridi-robots-inspect":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"}}}VS Code で開くClaude Desktopclaude_desktop_config.json
{"mcpServers":{"sadri-dridi-robots-inspect":{"type":"http","url":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"}}}Windsurf~/.codeium/windsurf/mcp_config.json
{"mcpServers":{"sadri-dridi-robots-inspect":{"serverUrl":"https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
ツール
30| パラメーター | 型 | 必須 | 説明 |
|---|---|---|---|
| ref | string | いいえ | Git ref 名。形式チェック後に破棄されます。 |
| url | string | いいえ | 正規化または引用する HTTPS URL です。 |
| city | string | いいえ | 公開天気情報のヒントに使う都市名。呼び出し後に破棄されます。 |
| feed | string | いいえ | 公開 RSS または Atom URL。タイトルは破棄されます。 |
| host | string | いいえ | 公開ホスト名です。 |
| json | string | いいえ | 検証する JSON テキスト。チェック後に破棄されます。 |
| path | string | いいえ | チェックするファイルパス。ディスクにはアクセスしません。 |
| zone | string | いいえ | IANA タイムゾーン名です。 |
| query | string | いいえ | 検索テキスト。長さチェック後に破棄されます。 |
| website | string | いいえ | エージェント対応状況を確認する公開 HTTPS サイト（ホームページのドメイン）：robots.txt、llms.txt、sitemap.xml、抽出可能な HTML。範囲を限定し、識別情報を明示して、robots のルールに従います。 |
詳細
robots.txt を検査
公開されている robots.txt を取得し、グループ数のみを返します。
自律型クライアント向けの透明性の高い公開ユーティリティです。確度の高い自動リクエストは、日替わりのニックネームを使って集計されます。生の IP アドレス、ユーザーエージェント、Cookie、クエリ文字列、本文、プロンプト、ページ内容は保存されません。
- MCP: https://agent-observatory-sensor.nolimit-observatory.workers.dev/s/robots-inspect/mcp
- 正式名称:
io.github.sadri-dridi/robots-inspect - カタログ: https://agent-observatory-sensor.nolimit-observatory.workers.dev/c/github/api/catalog
コメント
Markdown 対応
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。