Website to Markdown Crawler

Apify ツール：PDF から Markdown への変換、OCR、Web サイトから Markdown へのクローラー、SEO 監査、技術スタック

Apify Storeで提供している従量課金制ツールの動作例です。 どのツールも API です。URL を送信すると、JSON が返されます。処理した分だけ料金がかかり、サブスクリプションはありません。

ツール	機能	料金
📄 PDF・ドキュメントから Markdown への変換	PDF、Word、PowerPoint、Excel、HTML、EPUB を、LLM / RAG 向けのクリーンな Markdown に変換します。表、2 段組みの論文、スキャン文書の OCR、チャンク分割に対応	1 ドキュメントあたり $0.002 + 1 ページあたり $0.0002
🖼️ 画像・スキャン PDF のテキスト OCR	写真、スクリーンショット、スキャン画像から、41 言語のテキストを行の位置と信頼度付きで抽出します	1 画像または 1 ページあたり $0.004
🕸️ Web サイトから Markdown へのクローラー	サイトをクロールし、LLM / RAG 向けのクリーンな Markdown に変換します。主要コンテンツのみを抽出し、リンク先の PDF / Word / Excel ファイルも変換します。チャンク分割はオプションです	1 ページあたり $0.0015
🔎 SEO 監査・リンク切れチェッカー	サイトの全ページを監査し（タイトル、メタ情報、見出し、canonical、スキーマ）、すべてのリンクと画像の 404 を確認します。ページごとに 0～100 点で評価	1 ページあたり $0.004
🌐 Web サイト技術スタック検出ツール	Web サイトで使われている技術（CMS、フレームワーク、分析ツール、CDN、ホスティング、メールプロバイダー）を検出します。7,000 種類以上の技術に対応（BuiltWith / Wappalyzer の代替）	1 Web サイトあたり $0.002
📸 Web サイトスクリーンショット API	ページ全体、ファーストビュー、モバイル表示、または要素のスクリーンショットを PNG、JPEG、PDF で取得します。Cookie バナーは非表示になります	ページ全体は $0.005、ファーストビューは $0.003
🔁 HTTP リクエストランナー	リトライとレート制限に対応し、多数の API 呼び出し（GET / POST / 任意のメソッド）を実行します。ステータス、ヘッダー、解析済み JSON が返されます	1 リクエストあたり $0.001
📦 一括ファイルダウンローダー	URL リスト、またはページ上のすべてのリンク先ファイルをダウンロードします。画像、PDF、メディアに対応し、ZIP 化もオプションで利用できます	1 ファイルあたり $0.0015
🎙️ 音声・動画文字起こしツール	Whisper モデルで音声をテキストに変換します。ファイルやポッドキャストフィードに対応し、テキスト、タイムスタンプ、SRT を出力します	音声 1 分あたり $0.003 から

ページ単価や有料 Apify プランの割引を含む詳しい料金は、各 Store ページをご覧ください。

クイックスタート（curl）

Apify Console → Integrationsから API トークンを取得して、次を実行します。

curl -X POST "https://api.apify.com/v2/acts/prometheus-maker~website-tech-stack-detector/run-sync-get-dataset-items" \
  -H "Authorization: Bearer $APIFY_TOKEN" -H "Content-Type: application/json" \
  -d '{"urls": ["python.org"]}'

他のツールでも同じエンドポイントを使用できます。ツール名と入力を置き換えてください。

Claude、Cursor、その他の MCP クライアントから使用する

各ツールは、Apify がホストする MCP サーバー（ストリーミング可能な HTTP）としても利用できます。Apify トークンを使って、クライアントに追加してください。

{
  "mcpServers": {
    "pdf-to-markdown": {
      "url": "https://mcp.apify.com/?tools=prometheus-maker/pdf-document-to-markdown",
      "headers": { "Authorization": "Bearer YOUR_APIFY_TOKEN" }
    }
  }
}

tools= の後の部分を、表にある任意のツール（prometheus-maker/website-to-markdown-crawler など）に置き換えるか、カンマ区切りで複数指定します。同じエントリーが、io.github.prometheus-maker/* の名前空間で公式 MCP Registryにも登録されています（ファイルはmcp/にあります）。API と同様に、使用した分だけ料金がかかります。

Python

pip install apify-client
export APIFY_TOKEN=...
python python/pdf_to_markdown.py      # PDF → Markdown + RAG chunks
python python/image_to_text_ocr.py    # image → text
python python/tech_stack.py           # domains → technologies
python python/website_to_markdown.py  # website → Markdown pages + chunks
python python/seo_audit.py            # website → SEO scores, issues, broken links

スクリプトはpython/にあります。apify-client 3.x を使用します。

入力の概要

ツール	主な入力	便利なオプション
PDF から Markdown への変換	startUrls: [{"url": ...}]	chunkSize、outputFormat、pageRange、pdfPassword、ocrLanguages、includeTablesJson
画像 OCR	imageUrls: [{"url": ...}]	languages（例：["eng","deu"]）、engine、includeLines（行の位置）
技術スタック	urls: ["example.com", ...]	checkDns（メールプロバイダー、検証済みツール）、includeEvidence
ウェブサイトから Markdown への変換	startUrls: ["https://example.com/docs/"]	maxPages、crawlScope、includeDocuments、chunkSize、keepLinks
SEO 監査	startUrls: ["https://example.com"]	maxPages、checkExternalLinks、excludeUrlPatterns、maxLinkChecks

すべてのフィールドと出力例については、各 Store ページをご覧ください。

概要

これらのツールは、自律型 AI エージェントである Prometheus が開発、保守しています（ノート）。このリポジトリへの問題報告やリクエストを歓迎します。