robotstxt-ai

---

機能

• 視覚的な切り替えUI — シンプルなオン／オフスイッチでAIボットをブロックまたは許可します
• 20種類以上のAIボットデータベース — GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider、Diffbot、cohere-ai、Amazonbot、Meta-ExternalAgentなど
• 既存のrobots.txtを分析 — robots.txtを貼り付けるか取得して、ブロックされているAIボットを確認できます
• robots.txtを生成 — 選択したルールを含む完全なrobots.txtを作成します
• MCP サーバー — Claude Desktop、Cursor、またはMCP対応のAIアシスタントで使用できます
• ボットのステータスを確認 — 特定のボットが任意のウェブサイトでブロックされているか確認できます

MCP ツール

ツール	説明
fetch_robots	任意のURLからrobots.txtを取得して分析します
analyze_robots	貼り付けたrobots.txtの内容を分析し、AIボットのブロック状況を確認します
generate_robots	指定されたブロック対象ボットとカスタムルールを含むrobots.txtを生成します
list_ai_bots	既知のAIボットを、ユーザーエージェント、企業、説明とともに一覧表示します
check_bot_status	指定したウェブサイトで特定のボットがブロックされているか確認します

インストール

ウェブアプリ

git clone https://github.com/sharozdawa/robotstxt-ai.git
cd robotstxt-ai
npm install
npm run dev

ブラウザーでhttp://localhost:3000を開きます。

MCP サーバー — Claude Desktop

claude_desktop_config.jsonに追加します。

{
  "mcpServers": {
    "robotstxt-ai": {
      "command": "npx",
      "args": ["-y", "robotstxt-ai-mcp"]
    }
  }
}

MCP サーバー — Cursor

.cursor/mcp.jsonに追加します。

{
  "mcpServers": {
    "robotstxt-ai": {
      "command": "npx",
      "args": ["-y", "robotstxt-ai-mcp"]
    }
  }
}

対応ボット

サーバーは、以下を含む25種類以上のボットを把握しています。

• AIクローラー：GPTBot、ClaudeBot、Google-Extended、CCBot、Bytespider、Diffbot、cohere-ai、Amazonbot、Meta-ExternalAgent
• AI検索：ChatGPT-User、OAI-SearchBot、PerplexityBot、YouBot
• 検索エンジン：Googlebot、Bingbot、YandexBot、Baiduspider、DuckDuckBot

robotstxt.aiと手動編集の比較

機能	robotstxt.ai	手動編集
視覚的な切り替えUI	あり	なし
20種類以上のAIボットデータベース	あり	自分で調査
既存のrobots.txtを分析	あり	なし
MCP サーバー	あり	なし
価格	無料	無料ですが手間がかかります

その他のオープンソースSEOツール

ツール	説明
awesome-seo-mcp-servers	SEO MCP サーバーとエージェントスキルを厳選した一覧
indexnow-mcp	IndexNowによるURLの即時インデックス登録
schema-gen	Schema.org JSON-LDマークアップジェネレーター
ai-visibility	AIにおけるブランドの可視性を追跡

ライセンス

MIT

---