Web Crawler MCP by InsightfulPipe

Insightful Pipe の Web Crawler MCP サーバー（SEO クローラー）

MCP を通じて、包括的な SEO 監査とウェブクローリングを AI で実行できます。

Insightful Pipe MCP Server Collection の一部です — Web Crawler MCP サーバーを使うと、Claude、ChatGPT、Cursor などの AI アシスタントが SEO 監査、データ抽出、ウェブサイト分析を実行できます。25 種類以上の専門的な SEO チェックを実行し、サイトマップを生成して、ブランド情報を抽出できます。

MCP サーバーの URL

https://crawler.insightfulmcp.com/

Web Crawler MCP とは？

Web Crawler MCP は、AI アシスタントに包括的な SEO 監査とウェブクローリング機能を提供するリモートの Model Context Protocol サーバーです。この連携により、次のことが可能になります。

• 任意の URL に対して、25 種類以上の専門的な SEO チェックを実行する
• XML サイトマップと robots.txt ファイルを生成する
• ウェブサイトからブランドのデザイン要素を抽出する
• テクニカル SEO、コンテンツ品質、セキュリティを監査する
• モバイル対応状況とページ速度を分析する

インストール

Claude

1. MCP サーバーの URL をコピーします：https://crawler.insightfulmcp.com/
2. Claude Connectors Settings を開きます
3. 一番下までスクロールして、Add custom connector をクリックします
4. URL を貼り付けて、Add をクリックします
5. Connect をクリックし、求められた場合は InsightfulPipe にサインインします。すると、Claude に接続済みのコネクターとして表示されます。

ChatGPT

カスタム MCP サーバーは、ChatGPT の Developer mode から追加します。利用できるかどうかは ChatGPT のプランによって異なり、ワークスペースの管理者による許可が必要な場合があります。

1. ChatGPT の設定で Developer mode をオンにします
2. リモート MCP サーバー用の新しいアプリを作成し、URL を貼り付けます：https://crawler.insightfulmcp.com/
3. 求められた場合は InsightfulPipe にサインインします。サインインすると接続が完了します。

OpenAI のガイドを参照してください：ChatGPT の Developer mode と MCP アプリ

Claude Code

claude mcp add --transport http crawler https://crawler.insightfulmcp.com/

Cursor

サーバーを ~/.cursor/mcp.json（すべてのプロジェクト）または .cursor/mcp.json（1 つのプロジェクト）に追加します。

{
  "mcpServers": {
    "crawler": {
      "url": "https://crawler.insightfulmcp.com/"
    }
  }
}

Cursor に Needs authentication と表示されたら、Connect をクリックし、求められた場合は InsightfulPipe にサインインします。

利用可能なアクション

33 個のアクション：読み取り 33 個、書き込み 0 個。

読み取りアクション（33）

33個の読み取りアクションをすべて表示

アクション	説明
ai-crawler-checker	AI 学習ボットとクローラーの権限を確認します
amp-checker	AMP の実装品質と発見可能性を検証します
brand-extractor	ウェブサイトからブランドデザインの詳細（色、フォント、ボタン、ロゴ）を抽出します
canonical-checker	canonical URL と競合するヒントを検証します
character-encoding-checker	宣言された文字セットとエンコーディングの一貫性を検証します
content-optimizer-checker	ページ上のコンテンツ品質とキーワード密度を分析します
content-quality-checker	読みやすさ、単語数、重複のリスクを評価します
deprecated-html-checker	使用されている古いタグや属性を検出します
favicon-checker	デバイスごとにファビコン／アイコンが検出可能か確認します
headings-checker	見出し階層（H1～H6）を確認し、構造上の欠落を見つけます
hreflang-checker	国際化に関する hreflang アノテーションを確認します
image-optimization-checker	alt テキスト、形式、圧縮レベルを確認します
indexability-checker	インデックス登録に影響する robots／meta ディレクティブを確認します
internal-linking-checker	内部リンクをマッピングし、改善の機会を提示します
language-checker	html[lang] 属性と言語ターゲティングを検証します
link-analysis-checker	ページ上のリンク切れや品質の低いリンクを検出します
link-extractor	ページ上のすべてのリンクを抽出し、分類します（内部リンクと外部リンク）
llms-txt-checker	AI クローラー向けの llms.txt 指示を解析します
meta-tags-checker	ページ全体の meta title／description タグを調査します
mobile-responsive-checker	レスポンシブレイアウトのルールとブレークポイントを監査します
mobile-viewport-checker	viewport meta タグとレスポンシブ用 meta 設定が適切に配置されているか確認します
page-load-checker	ページの容量とレンダリングをブロックするアセットを測定します
page-speed-checker	読み込み時間を測定し、遅いリソースを強調表示します
robots-txt-checker	robots.txt ディレクティブを解析し、ブロックに関する問題を強調表示します
robots-txt-generator	AI ボットの制限を任意で含めた robots.txt の内容を生成します
security-headers-checker	CSP／HSTS などのセキュリティヘッダーを確認します
seo-audit-checker	技術面とコンテンツ面の問題を網羅する包括的な SEO 監査を行います
sitemap-generator	対象ドメインをクロールして XML サイトマップを生成します
social-media-checker	Open Graph と Twitter Card のメタデータを検証します
ssl-certificate-checker	証明書チェーン、有効期限、HTTPS の強制適用を調査します
status-code-checker	URL の HTTP ステータス／リダイレクトチェーンを追跡します
structured-data-checker	Schema.org マークアップと構造化データの網羅状況を検証します
url-structure-checker	URL のキーワード使用状況と簡潔さを評価します

AI が実行できる操作を制御

接続したアカウントごとに、AI エージェントが実行できる操作を設定できます。

• アクションを個別に有効または無効にすることで、許可したアクションだけをエージェントに表示できます。
• 読み取り専用または読み取り／書き込みで接続します。 読み取り専用の接続では、読み取りアクションのみ有効にできます。
• 破壊的な操作はデフォルトで無効です。 削除などのアクションは、管理者が有効にするまで無効のままです。
• アカウントごとにチームのアクセスを設定します。 制限されたチームメンバーは、アクセスを許可されたアカウントのみを、そこで有効になっている読み取りアクションを使って利用できます。

使用例

SEO の完全監査

"Run a comprehensive SEO audit on https://example.com"

テクニカル SEO の確認

"Check the robots.txt and indexability of https://example.com"

内部リンクの分析

"Map all the internal links on this page"

サイトマップの生成

"Generate an XML sitemap for https://example.com"

ブランド要素の抽出

"Extract the brand colors, fonts, and logos from https://company.com"

セキュリティ監査

"Check the SSL certificate and security headers for this site"

Web Crawler MCP を選ぶ理由

SEO 担当者向け

• 包括的な監査 - 25種類以上の専門的なチェック
• テクニカル SEO - Robots、canonical、構造化データ
• コンテンツ分析 - 品質評価と最適化

ウェブ開発者向け

• 問題のデバッグ - リンク切れやリダイレクトチェーンの検出
• パフォーマンス - ページ速度とリソースの分析
• セキュリティ - SSL とヘッダーの検証

Agency 向け

• クライアント監査 - サイトをすばやく評価
• 競合分析 - 競合サイトを分析
• レポート作成 - 対話形式で調査結果を作成

セキュリティとプライバシー

• 安全なリクエスト - HTTPS に対応

料金

Web Crawler MCP サーバーは、ほかのすべての MCP サーバーおよび CLI とともに、InsightfulPipe のすべてのプランに含まれています。プランは月額 $29.99 からで、7 日間お試しいただけます。現在のプランについては、insightfulpipe.com/pricingをご覧ください。

すぐに使えるスキルとプロンプト

• SEO とマーケティング向け Claude スキル — 接続済みのデータを使って実行できる、すぐに使えるスキル
• 包括的な SEO サイト監査
• テクニカル SEO ヘルスチェック
• コンテンツ品質評価

Insightful Pipe の MCP サーバーをさらに見る

insightfulpipe.com/mcp-servers にアクセスして、マーケティングと分析向けの MCP サーバーの全コレクションをご覧ください。

SEO とパフォーマンス向け MCP サーバー

• PageSpeed MCP - パフォーマンス分析
• Google Search Console MCP - 検索分析
• Screenshot MCP - ビジュアルキャプチャ
• Google My Business MCP - ローカル SEO

分析向け MCP サーバー

• Google Analytics MCP - ウェブサイト分析
• Enrichment MCP - データエンリッチメント

すべての MCP サーバーを見る →

リソース

• ドキュメント
• 動画チュートリアル
• InsightfulPipe ブログ

サポート

• ドキュメント: insightfulpipe.com/docs
• すべての MCP サーバー: insightfulpipe.com/mcp-servers
• メール: [email protected]

---

Insightful Pipe — MCP サーバーを通じて、AI を活用したマーケティング分析を提供します。すべての連携を見る →

ライセンス

MIT ライセンス - 詳細についてはLICENSEをご覧ください。