PulpMiner について
PulpMiner MCP Server はウェブページの内容を JSON に変換し、抽出設定を再利用可能な REST API として保存できます。MCP クライアントを使う AI アシスタント向けで、保存済み API の呼び出しと一覧表示にも対応します。
主な機能
- 01ウェブページを JSON に変換
- 02指定形式で JSON を生成
- 03再利用可能な REST API を保存
- 04保存済み API の取得と一覧表示
- 05API キーの確認
活用シーン
- 01ウェブページから構造化データを抽出
- 02ページ抽出設定を API として保存
- 03動的 URL 変数で保存済み API を照会
- 04PulpMiner の認証情報設定を確認
MCP 対応
ウェブページの JSON 化、API 保存、データ取得、API 一覧、キー検証のツールを MCP クライアントに提供します。stdio と Streamable HTTP に対応します。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
https://mcp.pulpminer.com/mcpclaude mcp add --transport http pulpminercom-pulpminer https://mcp.pulpminer.com/mcp{"mcpServers":{"pulpminercom-pulpminer":{"type":"http","url":"https://mcp.pulpminer.com/mcp"}}}Cursor で開く{"servers":{"pulpminercom-pulpminer":{"type":"http","url":"https://mcp.pulpminer.com/mcp"}}}VS Code で開く{"mcpServers":{"pulpminercom-pulpminer":{"type":"http","url":"https://mcp.pulpminer.com/mcp"}}}{"mcpServers":{"pulpminercom-pulpminer":{"serverUrl":"https://mcp.pulpminer.com/mcp"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
https://mcp.pulpminer.com/mcp認証が必要ツール
5| パラメーター | 型 | 必須 | 説明 |
|---|---|---|---|
| llm | enum | いいえ | HTML を JSON に変換するための LLM。llm_2 = OpenAI GPT(デフォルト)、llm_1 = Google Gemini、llm_3 = Groq(アカウントで有効な場合のみ使用可能。有効でない場合、API は 'bad request' を返します)。llm_1 | llm_2 | llm_3 |
| url | string | はい | データ抽出元となるウェブページの完全な URL(http/https)。 |
| scraper | enum | いいえ | スクレイパーのバックエンド。scraper_1(デフォルト、useSession に対応)または scraper_2。サイトがスクレイピングをブロックする場合は、もう一方を試してください。scraper_1 | scraper_2 |
| renderJs | boolean | いいえ | 抽出前にヘッドレスブラウザーで JavaScript をレンダリングします(デフォルトは true。クレジットが 0.1 増加)。 |
| selector | string | いいえ | 抽出範囲をページの一部に限定する CSS セレクター。例:"main" または "#results"。デフォルト:body 全体。 |
| jsonFormat | object | いいえ | 出力形式を定義するサンプル JSON。キー名によって出力形式が決まります。例:{"title": "", "price": "", "items": [{"name": ""}]}。キー名はそのまま保持され、値はページから抽出されます。 |
| useSession | boolean | いいえ | 永続的なスクレイピングセッションを使用します(scraper_1 のみ。ライフタイムプランのアカウントでは無視されます)。 |
| extraLLMInfo | string | いいえ | LLM への追加の自然言語指示。例:'最初の 10 件の製品のみ、価格は数値で'。 |
詳細
PulpMiner MCP サーバー
ソース:github.com/pulpminercom/pulpminer-mcp · 問題:github.com/pulpminercom/pulpminer-mcp/issues
PulpMiner 用の MCP サーバーです。AI アシスタント(Cursor、Claude Desktop、その他の MCP クライアント)から、次のことができます。
- AI を使って、あらゆる Web ページから JSON を生成します。 PulpMiner がページをスクレイピングし、LLM が構造化 JSON に変換します。指定した形式に正確に合わせることもできます。
- ページから JSON を生成する設定を、再利用可能な REST API として保存します(静的、または URL 内の
{{ variables }}を使った動的な設定)。 - 保存済み API からデータを取得し、API の一覧を表示します。
ツール
| ツール | 内容 | バックエンドのエンドポイント | クレジット |
|---|---|---|---|
pulpminer_generate_json | URL をスクレイピングし、AI で JSON に変換します(任意で jsonFormat のサンプル、CSS の selector、追加の指示を指定できます) | POST /external/ai/json | 0.25(renderJs の場合は +0.1) |
pulpminer_save_as_api | URL と JSON 形式(任意で動的 URL テンプレート、キャッシュも指定可能)を API として保存し、API ID とエンドポイントを返します | POST /external/ai/json/save | 無料 |
pulpminer_fetch_api_data | 保存済み API を呼び出します(GET、または動的 API の場合は variables を指定して POST) | GET/POST /external/{apiId} | 0.4(renderJs の場合は +0.1) |
pulpminer_list_saved_apis | 保存済み API の一覧を表示します(ID、URL、動的 URL テンプレートとその変数) | GET /external/api/url | 無料 |
pulpminer_check_api_key | API キーを検証し、設定済みの認証情報を表示します | GET /external/n8n/auth | 無料 |
オプション値はバックエンドと同じです。scraper は scraper_1(デフォルト)または scraper_2 です。llm は llm_2(OpenAI GPT、デフォルト)、llm_1(Google Gemini)、または llm_3(アカウントで有効になっている場合のみ Groq)です。
設定
| 環境変数 | 必須 | 説明 |
|---|---|---|
PULPMINER_API_KEY | はい | PulpMiner ダッシュボードの「API Keys」から取得した API キーです。apikey ヘッダーとして送信されます。すべてのツールで必要な認証情報はこれだけです。 |
PULPMINER_BASE_URL | いいえ | デフォルトは https://api.pulpminer.com です |
PULPMINER_TIMEOUT_MS | いいえ | デフォルトは 300000 です(スクレイピングと LLM の処理には時間がかかる場合があります) |
インストールとビルド
git clone https://github.com/pulpminercom/pulpminer-mcp.git
cd pulpminer-mcp
npm install
npm run build
実行します。
PULPMINER_API_KEY=... node dist/index.js # stdio
PULPMINER_API_KEY=... node dist/index.js --http # Streamable HTTP on http://127.0.0.1:3333/mcp
npm への公開後は、npx -y pulpminer-mcp で実行できます。
クライアントの設定
Cursor(~/.cursor/mcp.json または .cursor/mcp.json)
{
"mcpServers": {
"pulpminer": {
"command": "npx",
"args": ["-y", "pulpminer-mcp"],
"env": { "PULPMINER_API_KEY": "your-api-key" }
}
}
}
Claude Desktop(claude_desktop_config.json)
{
"mcpServers": {
"pulpminer": {
"command": "npx",
"args": ["-y", "pulpminer-mcp"],
"env": { "PULPMINER_API_KEY": "your-api-key" }
}
}
}
公開前は、ローカルビルドを使用してください:"command": "node", "args": ["/absolute/path/to/pulpminer-mcp/dist/index.js"]。
Streamable HTTP クライアント
--http を指定して起動し(環境変数 PORT、HOST を使用。デフォルトでは 127.0.0.1:3333 にバインド)、クライアントから http://127.0.0.1:3333/mcp に接続します。サーバーはステートレスです。各リクエストでは、独自の API キーを x-pulpminer-api-key ヘッダーで送信できます。このキーは PULPMINER_API_KEY より優先されます。これにより、ホスト型のマルチユーザーエンドポイントとして利用できます(HTTPS の背後に配置してください)。
{
"mcpServers": {
"pulpminer": {
"url": "http://127.0.0.1:3333/mcp",
"headers": { "x-pulpminer-api-key": "your-api-key" }
}
}
}
一般的な流れ
pulpminer_generate_json { url, jsonFormat? }:JSON をプレビューします。pulpminer_save_as_api { url, jsonFormat, cache?, dynamicUrl? }:apiIdとendpointを返します。pulpminer_fetch_api_data { apiId, variables? }
動的 API の例:dynamicUrl: "https://example.com/search?q={{ query }}" を指定し、variables: { "query": "laptops" } を使って取得します。
開発
npm test # builds, then runs scripts/smoke-test.mjs against a local mock API (no real calls)
npm run inspect # opens the MCP Inspector UI
npx @modelcontextprotocol/inspector --cli node dist/index.js --method tools/list
ホスト型サーバー(リモート)
remote/ は Cloudflare Worker で、Streamable HTTP(ステートレス)を介して同じツールを https://mcp.pulpminer.com/mcp で提供します。PulpMiner API キーを Authorization: Bearer <key>(または x-pulpminer-api-key)として送信してください。キーは PulpMiner API に転送されるだけで、保存されることはありません。
{ "mcpServers": { "pulpminer": { "url": "https://mcp.pulpminer.com/mcp", "headers": { "Authorization": "Bearer YOUR_API_KEY" } } } }
ローカル開発:cd remote && npm install && npm run dev(Node 22 以上)。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。