mcp-site-crawler-links-tables

リンクとテーブル向けサイトクローラー MCP サーバー

Apify の Mamba Labs Site Crawler for Links and Tables アクター向け MCP サーバーです。ウェブサイトをクロールし、リンク、ダウンロードリンク、テーブル、リストを行として取得します。

内容

• できること
• クイックスタート
• 前提条件
• プロンプトの例
• ツール
• 入力
• 料金
• アクターの完全なドキュメント
• ライセンス

できること

開始アドレスを指定します。アクターは通常の HTTP でサイトをクロールし、リンクとサイトマップをたどって、ページごとに 1 行を返します。各行には内部リンク、外部リンク、ファイルのダウンロードリンク、行としてのすべての HTML テーブル、およびすべてのリストが含まれます。出力は決定的で、AI は使用しません。デフォルトでは robots.txt に従います。ブラウザーは実行されないため、JavaScript で構築されたページから得られる情報はほとんどありません。

すべての処理は Apify 上で実行されます。このパッケージは、アクターの実行を開始して完了を待ち、データセットの行を返す薄いクライアントです。

クイックスタート

Node.js 18 以降と、API トークンを持つ Apify アカウントが必要です。

以下を Claude Desktop の設定（claude_desktop_config.json）、Cursor、または任意の MCP クライアントに追加します。

{
  "mcpServers": {
    "mamba-site-crawler-links-tables": {
      "command": "npx",
      "args": [
        "-y",
        "@mambalabsdev/mcp-site-crawler-links-tables"
      ],
      "env": {
        "APIFY_TOKEN": "your-apify-token"
      }
    }
  }
}

クライアントを再起動すると、crawl_site_links_tables ツールが表示されます。

前提条件

• Node.js 18 以降。
• console.apify.com/account/integrations から取得した Apify API トークンを APIFY_TOKEN として設定します。トークンがなくてもサーバーにはツールが表示されますが、呼び出しにはトークンが必要です。

プロンプトの例

• 「このウェブサイトにある外部ダウンロードリンクをすべて一覧表示してください。」
• 「これらのページにあるすべてのテーブルを行として取り出してください。」
• 「このサイトをクロールして、他のドメインへのリンクがあるページを教えてください。」

ツール

crawl_site_links_tables。ツールは 1 つです。引数の例：

{
  "start_urls": [
    "https://webscraper.io/test-sites/tables"
  ],
  "extract": [
    "tables",
    "links"
  ],
  "max_pages": 10,
  "max_depth": 1
}

入力

アクターの購入者向け入力です。省略した入力には、アクター独自のデフォルト値が適用されます。

入力	型	必須	説明
start_urls	array	いいえ	クロール開始に使用するウェブアドレスです。最大100件です。example.com のようなドメインのみの指定は、https として扱われます。
max_pages	number	いいえ	実行全体で読み取るページ数です。最大10,000ページです。デフォルトは100です。
max_depth	number	いいえ	開始アドレスからたどるリンクの深さです。0の場合、開始アドレスのみを読み取ります。デフォルトは10です。
same_domain_only	string	いいえ	yes（デフォルト）：開始アドレスのホストとそのサブドメイン上のリンクのみをたどります。no：最大ページ数まで、他のサイトへのリンクもたどります。どちらの場合も、他のサイトへのリンクは一覧表示されます。
extract	array	いいえ	links、tables、lists、download_links のいずれかです。デフォルトは links、tables、lists です。download_links を指定すると、ファイルリンクごとに個別の行が追加され、download-link-row として課金されます。ページ行の download_links フィールドは、追加料金なしで常に入力されます。
download_extensions	array	いいえ	ダウンロードリンクとして扱うファイル拡張子です。デフォルトは pdf、zip、xlsx、xls、docx、doc、pptx、csv、mp3、mp4、exe、dmg、msi、pkg、gz、tar、tgz、7z、rar、iso、apk です。ファイルは一覧表示されますが、ダウンロードはされません。
use_sitemap	string	いいえ	yes（デフォルト）：/sitemap.xml 内のアドレスもキューに追加します。これにより、リンクからたどれないページも見つけられます。no：リンクのみをたどります。
obey_robots	string	いいえ	yes（デフォルト）：robots.txt で許可されていないページをスキップし、最大5秒のクロール遅延に従います。no：アクセスする権利がある場合に限り、それらのページも読み取ります。
max_charge_usd	string	いいえ	任意です。この金額を超える課金が発生する前に実行を停止します。サマリー行は常に返されます。
proxy_mode	string	いいえ	pool（デフォルト）：Apify プロキシプールのみを使用し、page-row として課金されます。ページがアクセスを拒否した場合は、無料のブロック行が記録されます。auto：拒否されたページを住宅用アドレスで再試行し、その方法で読み取ったページは residential-page-row として課金されます。residential：すべてのページで住宅用アドレスを使用し、residential-page-row として課金されます。

料金

Apify でイベントごとに支払い、Apify アカウントに請求されます。料金は米ドルです。

イベント	無料プラン	Bronze	Silver	Gold
page-row、プロキシプールで1ページを読み取り	$0.006	$0.0057	$0.0054	$0.0051
residential-page-row、住宅用アドレスで1ページを読み取り。proxy_mode が auto または residential の場合のみ	$0.02	$0.019	$0.018	$0.017
download-link-row、ファイルリンクの個別行1件。extract に download_links が含まれる場合のみ	$0.0001	$0.000095	$0.00009	$0.000085
apify-actor-start、実行開始ごと	$0.0055	$0.0055	$0.0055	$0.0055

失敗または拒否されたページ、サマリー行、robots.txt によってスキップされたページ、拒否された入力は無料です。実行にかかるプラットフォーム費用（Apify プロキシの通信費を含む）は、Mamba Labs が負担します。実行にかかるプラットフォーム費用（Apify プロキシの通信費を含む）は、Mamba Labs が負担します。

アクターのドキュメント全文

apify.com/mambalabs/site-crawler-links-tables

ライセンス

MIT。LICENSEを参照してください。