mcpField
R
RAG Documentation Scraper

RAG Documentation Scraper

ローカル
github.com/LernowaAdminブラウザ自動化
リポジトリ

RAG Documentation Scraper について

RAG Documentation Scraperは、ドキュメントサイトをクロールし、本文を出典メタデータ付きのRAG向けチャンクに変換します。複数の分割・出力形式に対応し、差分クロールとMCPクライアント向けのラッパーも備えています。

主な機能

  1. 01Playwrightによるドキュメントのクロール
  2. 02ページ本文の抽出
  3. 03分割方式のカスタマイズ
  4. 04RAG・フレームワーク別形式での出力
  5. 05変更追跡とチャンクの重複排除
  6. 06PDFテキスト抽出とOCR

活用シーン

  1. 01ベクトルデータベースへの文書登録準備
  2. 02未変更ページを除いた文書データの更新
  3. 03特定バージョンのドキュメントの取得
  4. 04MCPクライアントからのドキュメント取得

MCP 対応

MCP サーバーが付属し、ドキュメントURLをクロールして出典メタデータ付きのチャンクを返す `scrape_documentation_for_rag` ツールを提供します。ローカルstdioとHTTP SSEに対応しています。

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定
{
  "mcpServers": {
    "lernowaadmin-rag-docs-scraper": {
      "command": "npx",
      "args": [
        "-y",
        "rag-docs-scraper-mcp-server"
      ],
      "env": {
        "APIFY_TOKEN": "<APIFY_TOKEN>"
      }
    }
  }
}
起動コマンドnpx -y rag-docs-scraper-mcp-server
設定が必要な環境変数
APIFY_TOKENシークレットYour Apify API token — https://console.apify.com/account/integrations

ローカルサーバーにはマシン上の実行環境（Node.js 18 以上など）が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ
npmrag-docs-scraper-mcp-server1.0.0

ツール

ツール一覧はまだ取得されていません

ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。

詳細

メンテナーはまだ詳細を追加していません。リポジトリの README をご覧ください。

コメント

Markdown 対応

MCP は初めてですか？

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。