mcpField
A
apify-scrapers

apify-scrapers

ローカル
github.com/jlucasmcrellブラウザ自動化06 週間前に更新

apify-scrapers について

apify-scrapersは、Apifyアカウント上でActorとして動作する40種類の公開データ抽出ツールを提供するMCPサーバーです。企業、市場、行政、研究データを扱うエージェントや自動化ワークフロー向けで、ツールカタログの選択と構造化された実行ステータスに対応します。

主な機能

  1. 01公開データ抽出ツール40種類
  2. 02リード、求人、申請、入札などを収集
  3. 03プロファイルによるツールカタログ選択
  4. 04構造化された結果と実行ステータス
  5. 05実行ごとのActor課金上限

活用シーン

  1. 01Google Mapsから営業リードリストを作成
  2. 02SEC提出書類や政府案件を監視
  3. 03求人情報や市場データを検索
  4. 04調査用の公開記録を収集

MCP 対応

Apify ActorをMCPクライアントから呼び出せるツールとして提供し、`uvx apify-data-scrapers` で導入できます。`APIFY_TOOL_PROFILE` により、選択したカタログにツールの検出と呼び出しを絞れます。

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定
{
"mcpServers": {
"jlucasmcrell-apify-scrapers": {
"command": "uvx",
"args": [
"apify-data-scrapers"
],
"env": {
"APIFY_TOOL_PROFILE": "<APIFY_TOOL_PROFILE>",
"APIFY_TOKEN": "<APIFY_TOKEN>"
}
}
}
}
起動コマンドuvx apify-data-scrapers
設定が必要な環境変数
APIFY_TOOL_PROFILEOptional tool selection: all, leads, market, government, or research. Restart after changing.
APIFY_TOKENシークレットApify API token for running actors

ローカルサーバーにはマシン上の実行環境(Node.js 18 以上など)が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ
pypiapify-data-scrapers1.4.0

ツール

40

掲載時のツール一覧 · 2 週間前に更新

パラメーター型必須説明
locationstringいいえ任意の都市または地域です。search_query にすでに含まれている場合は省略します。
max_resultsintegerいいえ抽出して返す商業リードレコードの最大数です。デフォルトは 10 です。
search_querystringはい対象業種と市区町村の市場所在地を組み合わせた地理検索クエリです(例:'HVAC contractors in Phoenix, AZ' または 'Commercial Electricians Dallas TX')。

詳細

mcp-name: io.github.jlucasmcrell/apify-scrapers

Apify Public Data MCP:本番データツールと公開記録を40種類提供

Python 3.10+ Node.js 18+ Apify Verified Glama MCP Server License: MIT Smithery Listed on mcpservers.org 1つのMCPサーバーで、AIエージェントが本番環境向けデータ抽出ツールを40種類利用できます。Google マップのビジネスリード、Google ニュース、Google オートコンプリート、LinkedIn と Glassdoor の求人、SEC EDGAR、USAspending、Grants.gov、TED の入札情報、NHTSA のリコール情報、FEC、EPA、ClinicalTrials.gov、openFDA、Europe PMC、GLEIF、CMS の事業者情報、Census のジオコーディング、州の企業登録情報、請負業者のライセンス、Airbnb、YouTube、Twitch、Google Playに対応しています。それぞれのActorは、お客様の**Apify**アカウントで実行されます。uvx apify-data-scrapersを使ってインストールするか(Claude Desktop、Cursor、あらゆるMCPクライアントに対応)、Python、Node.js、またはノーコードツールから同じActorを直接呼び出せます。

各Actorは、厳格なスキーマ検証、決定論的なフィールドマッピング、自己修復型のDOMセレクター、イベントごとの従量課金に対応しています(結果あたり**$0.00015から、Actor起動あたり$0.0005**から。実際の料金はApify Storeに表示される価格が優先されます)。


実行時の仕様と支出管理

バージョン1.1.0以降、呼び出し結果はMCPの構造化コンテンツとテキストの両方で{results, status, run?}を返します。ステータスはsuccess、partial、empty_unverified、errorのいずれかです。エラーには、安定したコードと再試行の指針が含まれます。行数がゼロでも、該当するレコードが存在しない証拠にはなりません。結果配列だけを解析していた既存の連携では、今後はresultsを参照してください。ネイティブのデータセットのフィールド名はそのまま保持されます。

各呼び出しでは、Actorのタイムアウトを120秒に設定し、イベントごとの従量課金の上限をデフォルトで1ドルに設定します。上限を変更するにはAPIFY_MAX_CHARGE_USDを設定してください。この上限は実行ごとのものであり、アカウント全体の支出上限ではありません。Actorのイベント料金以外に、プラットフォーム料金が発生する場合があります。最大4件の呼び出しを同時に実行できます。リクエストがキャンセルされると、クラウド上の実行を中断しようとします。中断を確認できない場合は、返された実行IDを確認してください。開始状況が不明確な場合、自動で再試行されることはありません。

MCP実行ファイルはPythonです。Node.jsファイルはActor APIを直接呼び出す例であり、別のMCPサーバーではありません。非公開のキュー登録済みActorは、この公開カタログには含まれていません。

クイックナビゲーション


ツールを選ぶ

目的に合ったツールプロファイルを選択して、インストール設定を生成します。

バージョン 1.2.0 では、任意の APIFY_TOOL_PROFILE 環境変数が追加されました。指定できる値は all(デフォルト)、leads、market、government、research です。これらは、以下のカタログの4つのカテゴリに対応しています。プロファイルを指定すると、ツールの検出と呼び出し、プロンプト、Actor カタログが制限されます。プロファイルを変更した後は、MCP サーバーを再起動し、クライアントを更新または再接続してください。カタログ全体を読み込む必要がない場合は、目的に合ったサーバーエントリのみを残してください。Actor API を直接呼び出す例に変更はありません。この設定は、Apify アカウントの権限を制限するものではありません。

最初のワークフローを選ぶ

目的こちらから始める想定される内容
地域の請負業者のリードリストを作成するダラスの電気工事業者のタスク例あらかじめ入力された内容を確認し、結果数を少なく設定してから実行し、データセットをエクスポートします。
企業の届出を追跡するSEC 届出監視チュートリアル企業と書式の種類を選び、重複するアラートを避けるために届出識別子を保持します。
医療提供者を長期的に比較するCMS 医療提供者監視チュートリアルスナップショットを保存し、リアルタイムの臨床結果ではなく、ソースデータセットの変更を比較します。
AI チャットインターフェースを使うChatGPT と Apify MCP の設定ご自身の Apify アカウントを接続し、Actor を明示的に選択します。

この MCP パッケージに別途サブスクリプションは必要ありません。Actor の実行料金は、表示されている Store の価格に基づいて Apify アカウントに請求されます。定期的な作業をスケジュールする前に、まず少量のデータで実行し、出力を確認してください。公開ソースのデータは、遅延、不完全、一時的に利用できない場合があります。


プライバシーポリシー

MCP サーバーは情報を収集しません。お使いのマシン上で実行され、環境変数から APIFY_TOKEN を読み取り、依頼された Actor をご自身の Apify アカウントで実行するために、Apify API にのみ外部接続します。テレメトリもログもなく、当社に送信されるデータもありません。ポリシー全文:apify.revenuesystemslabs.com/privacy。

Make.com テンプレート

公開済みの Make シナリオが 8 件あり、ワンクリックでご自身の Make アカウントにコピーできます。セットアップウィザードで、Apify トークンと送信先(Google Sheets または Slack)を指定します。

テンプレート実行する Actor
Google マップのリードを Google Sheets に出力google-maps-business-search
Glassdoor の求人を Google Sheets に出力glassdoor-jobs-scraper
カリフォルニア州の請負業者ライセンスを Google Sheets に出力ca-contractor-license-search
SEC EDGAR の提出書類アラートを Slack に送信sec-edgar-filings-search
Google ニュースの検索結果を Google Sheets に出力google-news-search
Grants.gov の助成金情報を Google Sheets に出力grants-gov-opportunity-search
TED EU の入札情報を Google Sheets に出力ted-eu-tender-search
NHTSA の車両リコール情報を Google Sheets に出力nhtsa-vehicle-recall-search

ユースケースガイド

エージェントによく寄せられる質問ごとにページを用意し、その作業に使うツール、引数、返されるフィールド、料金を一覧にしています。

テーマを絞ったエンドツーエンドのチュートリアル:


利用可能なエクストラクターとストア掲載情報

以下のすべてのエクストラクターは、Apify Store の掲載情報であると同時に、同じサーバーの MCP ツールでもあります。各セクションでは、購入者が知りたい疑問を取り上げています。

ビジネスインテリジェンスとリード獲得

こちらも利用できます:国境を越えた企業登記検索。利用可能な場合、英国、フランス、GLEIF の記録を組み合わせます。

ツールストアリンク主な出力フィールド最適な用途
Google マップのビジネスリードcaptainhandsome/google-maps-business-search名前、電話番号、ウェブサイト、評価、レビュー、住所、座標、営業時間B2B リード獲得、地域代理店の見込み顧客開拓
ウェブサイトの技術スタックとECスキャナーcaptainhandsome/tech-stack-detectortechnologies、cms、ecommerce_platform、payments、emails複数の企業ウェブサイトを対象とした競合技術の調査や、B2B リードの評価に最適です。
米国の事業体登記簿captainhandsome/us-business-entity-search法人名、届出番号、管轄、ステータス法務デューデリジェンス、法人登記の確認
アラバマ州の事業体検索captainhandsome/al-business-entity-search事業体 ID、事業体名、所在地、事業体の種類、ステータス会社名でアラバマ州の事業体を検索し、事業体 ID をエクスポート
フロリダ州 Sunbiz の事業体検索captainhandsome/fl-sos-new-filings事業体名、書類番号、ステータス、事業体の種類、届出日フロリダ州 Sunbiz の会社名検索結果を検索し、法人名をエクスポート
フロリダ州 Sunbiz の役員・登録代理人検索captainhandsome/fl-sunbiz-officer-search役員名、事業体名、書類番号、詳細 URL、事業体の種類役員名または登録代理人名でフロリダ州 Sunbiz を検索し、役員をエクスポート
フランスの企業検索captainhandsome/french-company-searchsiren、名前、法人名、略称、ステータス名前、事業内容、郵便番号でフランスの公式企業登記簿を検索
GLEIF LEI 検索captainhandsome/gleif-lei-searchlei、legal_name、registered_as、legal_form_name、statusKYC と取引先のデューデリジェンスに最適です。オンボーディング前に、企業の法人識別子、登録ステータス、国内登記簿の登録番号を確認できます。
米国の請負業者ライセンスcaptainhandsome/us-contractor-license-search請負業者名、ライセンス番号、分類、ステータス、州専門業者の資格確認、下請け業者のデューデリジェンス
カリフォルニア州の請負業者ライセンス検索captainhandsome/ca-contractor-license-search請負業者名、名前の種類、ライセンス番号、市、ステータス請負業者名でカリフォルニア州 CSLB の記録を検索し、エクスポート
求人、マーケット、消費者インテリジェンス
ツールストアリンク主な出力フィールド最適な用途
Glassdoor Jobs & Salariescaptainhandsome/glassdoor-jobs-scraper職種、企業、推定給与、評価、勤務地、求人 URL、掲載日採用インテリジェンス、報酬ベンチマーク
LinkedIn Public Jobscaptainhandsome/linkedin-public-jobs-search職種、雇用主、勤務地、直接応募 URL、掲載期間採用、テック人材のモニタリング
Airbnb Vacation Rentalscaptainhandsome/airbnb-listings-searchタイトル、部屋タイプ、1泊あたりの料金、評価、レビュー数、リスティング URL不動産調査、市場価格の追跡
Google Play App Reviewscaptainhandsome/google-play-reviews-scraperレビュー本文、星評価、高評価数、日付、レビュアー名アプリストアのセンチメント分析、競合他社のフィードバック
Apple App Store Reviewscaptainhandsome/app-store-reviews-searchapp_name、review_rating、review_body、review_version、app_average_ratingiOS レビューの分析、ASO 調査、クロスプラットフォームのセンチメント分析
YouTube Video Searchcaptainhandsome/youtube-search-scraperタイトル、動画 URL、チャンネル、再生回数、再生時間、公開日コンテンツの追跡、クリエイターへのアプローチ
Twitch Live Streamscaptainhandsome/twitch-live-streams-scraper配信者のユーザー名、タイトル、視聴者数、言語、カテゴリeスポーツ分析、ライブ配信のモニタリング
政府・公的記録

以下も利用できます:SEC Form 4 のインサイダー取引、OFAC の制裁情報、CourtListener の訴訟情報、NVD/CISA の脆弱性情報。

ツールストアリンク主な出力フィールド最適な用途
SEC EDGAR の企業提出書類captainhandsome/sec-edgar-filings-searchティッカー、CIK、フォーム(10-K、10-Q、8-K)、提出日、主要書類の URL財務デューデリジェンス、株式調査、コンプライアンス
USAspending の連邦政府契約captainhandsome/usaspending-federal-awards受給者ベンダー、契約金額、契約機関、説明、日付政府調達、調達インテリジェンス
Grants.gov の助成金募集情報captainhandsome/grants-gov-opportunity-search募集番号、機関、締切日、助成金額の範囲、応募資格、連絡先連邦助成金の見込み案件の調査と資金調達のモニタリング
TED の欧州入札情報captainhandsome/ted-eu-tender-search発注者、国、CPV コード、締切日、推定金額、元資料欧州の調達案件や入札機会の発見
NHTSA の車両リコール情報captainhandsome/nhtsa-vehicle-recall-searchキャンペーン番号、部品、不具合、影響、対処方法、対象台数車両の安全性確認とリコールのモニタリング
FEC の選挙資金検索captainhandsome/fec-campaign-finance-searchレコード種別、ID、名前、政党、役職州別に米国連邦の候補者、PAC、選挙献金を検索
EPA ECHO の施設コンプライアンス・違反情報captainhandsome/epa-echo-facility-search登録 ID、名前、番地、市、州州、ZIP コード、NAICS、名前、プログラムで、EPA の規制対象となる米国の施設を検索
米国国勢調査局の住所ジオコーダーcaptainhandsome/us-census-geocodermatched_address、county_name、tract_geoid、block_geoid、congressional_district_geoid米国の住所に国勢調査地区、郡の FIPS、選挙区の GEOID を付加し、人口統計データとの結合やコンプライアンス報告に活用できます。
研究・医療データ
ツールストアリンク主な出力フィールド最適な用途
ClinicalTrials.gov 検索captainhandsome/clinical-trials-searchNCT ID、タイトル、正式タイトル、略称、研究機関の研究 ID疾患、介入、条件で公式 ClinicalTrials.gov API を検索
Europe PMC 論文検索captainhandsome/europe-pmc-paper-searchタイトル、DOI、PMID、抄録、被引用数PubMed と Europe PMC を横断した生物医学文献レビュー、引用追跡、オープンアクセス文献の発見
openFDA の医薬品ラベル、リコール・有害事象captainhandsome/openfda-searchデータセット、ID、ブランド名、一般名、製造元FDA の公式な医薬品ラベル、承認情報、有害事象、医薬品を検索
CMS の医療提供者検索captainhandsome/cms-healthcare-provider-search名前、provider_type、市、州、星評価CMS 認定病院、介護施設、その他の Medicare 提供者を、所在地、所有形態、星評価で比較

Python クイックスタート

1. 依存関係をインストールする
pip install apify-client pandas python-dotenv
2. Google Maps のリード 50 件を CSV にエクスポートする
import os
from apify_client import ApifyClient
import pandas as pd

# Get your API token from https://console.apify.com/account/integrations
client = ApifyClient(os.getenv("APIFY_TOKEN"))

# Run the actor
run = client.actor("captainhandsome/google-maps-business-search").call(run_input={
    "search_query": "commercial electricians",
    "location": "Dallas, Texas",
    "max_items": 50,
    "include_details": True,
})

# Fetch dataset items and export to CSV
items = list(client.dataset(run["defaultDatasetId"]).iterate_items())
df = pd.DataFrame(items)
df.to_csv("dallas_electricians.csv", index=False)
print(f"Exported {len(df)} leads to dallas_electricians.csv")

完全なスクリプトについては、examples/google_maps_leads_to_csv.py をご覧ください。


Node.js クイックスタート

1. 依存関係をインストールする
npm install apify-client
2. SEC EDGAR の提出書類を検索する
import { ApifyClient } from 'apify-client';

const client = new ApifyClient({ token: process.env.APIFY_TOKEN });

const run = await client.actor('captainhandsome/sec-edgar-filings-search').call({
  companies: ['AAPL', 'NVDA', 'MSFT'],
  forms: ['10-K'],
  max_items: 15,
});

const { items } = await client.dataset(run.defaultDatasetId).listItems();
items.forEach(filing => {
  console.log(`[${filing.ticker}] ${filing.form} (${filing.filing_date}): ${filing.filing_url}`);
});

完全なスクリプトについては、examples/sec_filings.js をご覧ください。


ノーコードと自動化ワークフロー

n8n、Make、Zapier、または Google Sheets を使って自動化する場合は、すぐにインポートできるブループリントが workflows/ に含まれています。

Make でテンプレートを開く:Google Maps、Glassdoor、California contractors、SEC filings to Slack、Google News、Grants.gov、TED tenders、または NHTSA recalls。


事前構築済みのサンプルタスク(コード不要)

コードを記述せずに、実行可能な Web UI タスクを使いたい場合は、各 Actor に Apify Store で公開されている設定済みタスクが含まれています。

Google Maps のリード
Glassdoor の求人
Airbnbのレンタル
YouTubeとGoogle Play

無料サンプルデータセット

モデルのベンチマーク、分析、トレーニングに使えるクリーンなデータをお探しですか?メタデータスキーマ付きの検証済みサンプルバンドルを datasets/ で利用でき、Hugging Face Datasets でも公開されています。

検証済みサンプルバンドルは8つあり、それぞれ、横に記載された Actor の本番実行からエクスポートされています。どのバンドルもこのリポジトリから提供され、Hugging Face にもミラーリングされています。Hugging Face のデータセットカードから、データを生成した Actor を確認できます。

  1. Phoenix の HVAC 請負業者のリード: datasets/phoenix_hvac_leads/ | Hugging Face Hub — 評価、住所、電話番号を含む、検証済みの HVAC 請負業者プロフィール10件(Google マップのビジネスリード)。
  2. カリフォルニア州の認可請負業者: datasets/california_solar_contractors/ | Hugging Face Hub — 州の検証番号付きの、有効なC-46およびBライセンスを持つ太陽光発電設備設置業者50件(カリフォルニア州請負業者ライセンス検索)。
  3. オースティンのソフトウェアエンジニア求人情報: datasets/austin_software_jobs/ | Hugging Face Hub — 推定掲載日と給与範囲を含む、正規化された求人情報30件(LinkedIn 公開求人)。
  4. S&P 500企業の提出書類: datasets/sp500_sec_edgar_filings/ | Hugging Face Hub — CIK、ティッカー、SIC、文書リンクを含むSEC EDGAR提出記録5件(SEC EDGAR提出書類)。
  5. 米国連邦政府の防衛・AI関連契約の受賞情報: datasets/us_federal_defense_ai_awards/ | Hugging Face Hub — 受領者、機関、義務額、日付を含む連邦政府契約の受賞情報10件(USAspending連邦政府契約の受賞情報)。
  6. 米国内のリモートAI・ML求人情報: datasets/us_remote_ai_ml_job_postings/ | Hugging Face Hub — 職種名、会社名、勤務地、応募URLを含む、リモートのAI・ML求人情報10件(LinkedIn 公開求人)。
  7. Twitchの人気ライブ配信: datasets/twitch_top_live_streams_metadata/ | Hugging Face Hub — 視聴者数、カテゴリ、言語を含むライブチャンネルの記録10件(Twitchライブ配信)。
  8. モバイルアプリのユーザー感情レビュー: datasets/mobile_apps_user_sentiment_reviews/ | Hugging Face Hub — 評価、いいね数、レビュアーのメタデータを含むGoogle Playのレビュー10件(Google Playレビュー)。

AI エージェントとMCPの連携

このリポジトリのすべてのActorはOpenAPIおよびJSON Schemaの標準に準拠しているため、Model Context Protocol(MCP)を介してAI エージェントから直接呼び出せます。

オプション 1:UVX を使用する Claude Desktop / Cursor(推奨)

claude_desktop_config.json または Cursor の MCP 設定に、以下を追加してください。

{
  "mcpServers": {
    "apify-data-scrapers": {
      "command": "uvx",
      "args": ["apify-data-scrapers"],
      "env": {
        "APIFY_TOKEN": "YOUR_APIFY_API_TOKEN"
      }
    }
  }
}
オプション 2:Docker コンテナ(Glama / Cloud)

Docker で実行します。

{
  "mcpServers": {
    "apify-data-scrapers": {
      "command": "docker",
      "args": ["run", "-i", "--rm", "-e", "APIFY_TOKEN", "glcr.b-cdn.net/jlucasmcrell/apify-scrapers:latest"],
      "env": {
        "APIFY_TOKEN": "YOUR_APIFY_API_TOKEN"
      }
    }
  }
}
オプション 3:ローカル Python Stdio ランナー

pip でインストールするか、直接実行してください。

pip install apify-data-scrapers
export APIFY_TOKEN="your_token_here"
apify-data-scrapers

または、ローカルソースから実行します。

python mcp_server.py
すぐに使えるエージェント向けプロンプト:
  • 「Google マップで、電話番号とウェブサイトを掲載しているアトランタの商業用屋根工事業者を 50 社検索してください。」
  • 「SEC EDGAR から、過去 2 年分の Apple と Microsoft の Form 10-K 提出書類を取得してください。」
  • 「Glassdoor で、給与の推定額が記載されたリモート勤務のプロダクトマネージャー求人を検索してください。」

詳細なエンジニアリングガイド

技術的な事例紹介と課題解決の解説は、articles/ にあります。


リポジトリの構成

apify-scrapers/
 README.md                                # Documentation and quickstart
 LICENSE                                  # MIT License
 requirements.txt                         # Python client dependencies
 package.json                             # Node.js dependencies
 mcp.json                                 # MCP tool registry specification
 mcp_server.py                            # Native Python stdio MCP server
 articles/                                # In-depth engineering case studies
    airbnb_playwright_pagination_guide.md
    glassdoor_posting_dates_guide.md
    reddit_community_responses.md        # Reference technical answers for forums
 datasets/                                # Sample benchmark datasets
    phoenix_hvac_leads/
    california_solar_contractors/
    austin_software_jobs/
 workflows/                               # No-code automation templates
    n8n_google_maps_to_sheets.json
    n8n_sec_edgar_to_slack.json
    n8n_google_news_competitor_monitor.json
    n8n_grants_gov_opportunity_monitor.json
    n8n_ted_eu_tender_monitor.json
    README.md
 examples/                                # Standalone developer scripts
     google_maps_leads_to_csv.py
     sec_edgar_filings_downloader.py
     glassdoor_jobs_tracker.py
     airbnb_market_scraper.py
     usaspending_defense_awards.py
     twitch_live_stream_monitor.py
     google_maps_leads.js
     sec_filings.js

作者とサポート

Joseph McRell がメンテナンスしています。


ライセンス

このプロジェクトは MIT License の下でライセンスされています。詳細は LICENSE ファイルをご覧ください。

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。