mcpField
P
PulpMiner

PulpMiner

リモート
pulpminer.comブラウザ自動化12 週間前に更新
リポジトリ公式サイト

PulpMiner について

PulpMiner MCP Server はウェブページの内容を JSON に変換し、抽出設定を再利用可能な REST API として保存できます。MCP クライアントを使う AI アシスタント向けで、保存済み API の呼び出しと一覧表示にも対応します。

主な機能

  1. 01ウェブページを JSON に変換
  2. 02指定形式で JSON を生成
  3. 03再利用可能な REST API を保存
  4. 04保存済み API の取得と一覧表示
  5. 05API キーの確認

活用シーン

  1. 01ウェブページから構造化データを抽出
  2. 02ページ抽出設定を API として保存
  3. 03動的 URL 変数で保存済み API を照会
  4. 04PulpMiner の認証情報設定を確認

MCP 対応

ウェブページの JSON 化、API 保存、データ取得、API 一覧、キー検証のツールを MCP クライアントに提供します。stdio と Streamable HTTP に対応します。

設定

リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。

エンドポイントhttps://mcp.pulpminer.com/mcp
インストールコマンドをコピー
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。

すべてのエンドポイント
Streamable HTTPhttps://mcp.pulpminer.com/mcp認証が必要
パッケージ
npmpulpminer-mcp0.1.0

ツール

5
パラメーター型必須説明
llmenumいいえHTML を JSON に変換するための LLM。llm_2 = OpenAI GPT(デフォルト)、llm_1 = Google Gemini、llm_3 = Groq(アカウントで有効な場合のみ使用可能。有効でない場合、API は 'bad request' を返します)。llm_1 | llm_2 | llm_3
urlstringはいデータ抽出元となるウェブページの完全な URL(http/https)。
scraperenumいいえスクレイパーのバックエンド。scraper_1(デフォルト、useSession に対応)または scraper_2。サイトがスクレイピングをブロックする場合は、もう一方を試してください。scraper_1 | scraper_2
renderJsbooleanいいえ抽出前にヘッドレスブラウザーで JavaScript をレンダリングします(デフォルトは true。クレジットが 0.1 増加)。
selectorstringいいえ抽出範囲をページの一部に限定する CSS セレクター。例:"main" または "#results"。デフォルト:body 全体。
jsonFormatobjectいいえ出力形式を定義するサンプル JSON。キー名によって出力形式が決まります。例:{"title": "", "price": "", "items": [{"name": ""}]}。キー名はそのまま保持され、値はページから抽出されます。
useSessionbooleanいいえ永続的なスクレイピングセッションを使用します(scraper_1 のみ。ライフタイムプランのアカウントでは無視されます)。
extraLLMInfostringいいえLLM への追加の自然言語指示。例:'最初の 10 件の製品のみ、価格は数値で'。

詳細

PulpMiner MCP サーバー

ソース:github.com/pulpminercom/pulpminer-mcp · 問題:github.com/pulpminercom/pulpminer-mcp/issues

PulpMiner 用の MCP サーバーです。AI アシスタント(Cursor、Claude Desktop、その他の MCP クライアント)から、次のことができます。

  • AI を使って、あらゆる Web ページから JSON を生成します。 PulpMiner がページをスクレイピングし、LLM が構造化 JSON に変換します。指定した形式に正確に合わせることもできます。
  • ページから JSON を生成する設定を、再利用可能な REST API として保存します(静的、または URL 内の {{ variables }} を使った動的な設定)。
  • 保存済み API からデータを取得し、API の一覧を表示します。

ツール

ツール内容バックエンドのエンドポイントクレジット
pulpminer_generate_jsonURL をスクレイピングし、AI で JSON に変換します(任意で jsonFormat のサンプル、CSS の selector、追加の指示を指定できます)POST /external/ai/json0.25(renderJs の場合は +0.1)
pulpminer_save_as_apiURL と JSON 形式(任意で動的 URL テンプレート、キャッシュも指定可能)を API として保存し、API ID とエンドポイントを返しますPOST /external/ai/json/save無料
pulpminer_fetch_api_data保存済み API を呼び出します(GET、または動的 API の場合は variables を指定して POST)GET/POST /external/{apiId}0.4(renderJs の場合は +0.1)
pulpminer_list_saved_apis保存済み API の一覧を表示します(ID、URL、動的 URL テンプレートとその変数)GET /external/api/url無料
pulpminer_check_api_keyAPI キーを検証し、設定済みの認証情報を表示しますGET /external/n8n/auth無料

オプション値はバックエンドと同じです。scraper は scraper_1(デフォルト)または scraper_2 です。llm は llm_2(OpenAI GPT、デフォルト)、llm_1(Google Gemini)、または llm_3(アカウントで有効になっている場合のみ Groq)です。

設定

環境変数必須説明
PULPMINER_API_KEYはいPulpMiner ダッシュボードの「API Keys」から取得した API キーです。apikey ヘッダーとして送信されます。すべてのツールで必要な認証情報はこれだけです。
PULPMINER_BASE_URLいいえデフォルトは https://api.pulpminer.com です
PULPMINER_TIMEOUT_MSいいえデフォルトは 300000 です(スクレイピングと LLM の処理には時間がかかる場合があります)

インストールとビルド

git clone https://github.com/pulpminercom/pulpminer-mcp.git
cd pulpminer-mcp
npm install
npm run build

実行します。

PULPMINER_API_KEY=... node dist/index.js          # stdio
PULPMINER_API_KEY=... node dist/index.js --http   # Streamable HTTP on http://127.0.0.1:3333/mcp

npm への公開後は、npx -y pulpminer-mcp で実行できます。

クライアントの設定

Cursor(~/.cursor/mcp.json または .cursor/mcp.json)
{
  "mcpServers": {
    "pulpminer": {
      "command": "npx",
      "args": ["-y", "pulpminer-mcp"],
      "env": { "PULPMINER_API_KEY": "your-api-key" }
    }
  }
}
Claude Desktop(claude_desktop_config.json)
{
  "mcpServers": {
    "pulpminer": {
      "command": "npx",
      "args": ["-y", "pulpminer-mcp"],
      "env": { "PULPMINER_API_KEY": "your-api-key" }
    }
  }
}

公開前は、ローカルビルドを使用してください:"command": "node", "args": ["/absolute/path/to/pulpminer-mcp/dist/index.js"]。

Streamable HTTP クライアント

--http を指定して起動し(環境変数 PORT、HOST を使用。デフォルトでは 127.0.0.1:3333 にバインド)、クライアントから http://127.0.0.1:3333/mcp に接続します。サーバーはステートレスです。各リクエストでは、独自の API キーを x-pulpminer-api-key ヘッダーで送信できます。このキーは PULPMINER_API_KEY より優先されます。これにより、ホスト型のマルチユーザーエンドポイントとして利用できます(HTTPS の背後に配置してください)。

{
  "mcpServers": {
    "pulpminer": {
      "url": "http://127.0.0.1:3333/mcp",
      "headers": { "x-pulpminer-api-key": "your-api-key" }
    }
  }
}

一般的な流れ

  1. pulpminer_generate_json { url, jsonFormat? }:JSON をプレビューします。
  2. pulpminer_save_as_api { url, jsonFormat, cache?, dynamicUrl? }:apiId と endpoint を返します。
  3. pulpminer_fetch_api_data { apiId, variables? }

動的 API の例:dynamicUrl: "https://example.com/search?q={{ query }}" を指定し、variables: { "query": "laptops" } を使って取得します。

開発

npm test        # builds, then runs scripts/smoke-test.mjs against a local mock API (no real calls)
npm run inspect # opens the MCP Inspector UI
npx @modelcontextprotocol/inspector --cli node dist/index.js --method tools/list

ホスト型サーバー(リモート)

remote/ は Cloudflare Worker で、Streamable HTTP(ステートレス)を介して同じツールを https://mcp.pulpminer.com/mcp で提供します。PulpMiner API キーを Authorization: Bearer <key>(または x-pulpminer-api-key)として送信してください。キーは PulpMiner API に転送されるだけで、保存されることはありません。

{ "mcpServers": { "pulpminer": { "url": "https://mcp.pulpminer.com/mcp", "headers": { "Authorization": "Bearer YOUR_API_KEY" } } } }

ローカル開発:cd remote && npm install && npm run dev(Node 22 以上)。

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。