AI-First Scraper

ai-first-scraper-mcp

Claude Desktop、Cursor、Cline を、広告のないウェブスクレイパー＋検索エンジンに直接接続できます。 設定は1行、ツールは3つです。

---

できること

MCP 互換のエージェントに、3つのツールを追加します。

ツール	機能
fetch_page	URLを1件取得 → クリーンなMarkdownを返します（HTMLまたはPDF）。
fetch_pages_batch	最大25件のURLを並列取得 → 各URLのMarkdownを返します。
search_web	ウェブ検索を実行し、Markdownに変換済みの上位k件の結果ページを返します。

「モデルがcurlを呼び出して、広告だらけの80kBのHTMLを解析しようとする」といったことはもうありません。 エージェントは、推論にすぐ使えるクリーンなMarkdownを受け取ります。

ai-first-scraper と ai-first-search のAPIを利用しています。

---

インストール

最速 — uvx（インストール不要、必要に応じてPyPIから実行）

// claude_desktop_config.json  /  cline_mcp_settings.json  /  ~/.cursor/mcp.json
{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "uvx",
      "args": ["ai-first-scraper-mcp"]
    }
  }
}

クライアント（Claude Desktop / Cursor / Cline）を再起動してください。上記の3つのツールが自動的に表示されます。

別の方法 — pip install

pip install ai-first-scraper-mcp

{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "ai-first-scraper-mcp"
    }
  }
}

---

設定ファイルの場所

クライアント	設定パス
Claude Desktop（macOS）	~/Library/Application Support/Claude/claude_desktop_config.json
Claude Desktop（Windows）	%APPDATA%\Claude\claude_desktop_config.json
Cursor	~/.cursor/mcp.json
Cline（VS Code）	~/Library/Application Support/Code/User/globalStorage/saoudrizwan.claude-dev/settings/cline_mcp_settings.json

---

独自のバックエンドを指定する（任意）

デフォルトでは、このサーバーは公開されている ai-first-scraper.onrender.com と ai-first-search.onrender.com のインスタンスを呼び出します。セルフホストする場合は、MCP設定で環境変数を設定してください。

{
  "mcpServers": {
    "ai-first-scraper": {
      "command": "uvx",
      "args": ["ai-first-scraper-mcp"],
      "env": {
        "SCRAPER_URL": "https://your-scraper.example.com",
        "SEARCH_URL":  "https://your-search.example.com",
        "AFS_TIMEOUT": "60"
      }
    }
  }
}

---

動作を確認する

MCP クライアントを開き、エージェントに次のように依頼してください。

「search_web ツールを使って、MCPに関する最近の記事を上位3件検索し、それぞれを5つの箇条書きで要約してください。」

エージェントが search_web を呼び出して各検索結果のMarkdownを取得し、生のHTMLに一度も触れることなく要約を作成するはずです。

---

関連プロジェクト

• ai-first-scraper — このMCPサーバーが処理を振り分ける、URLごとのMarkdownクリーナーです。
• ai-first-search — 検索 → スクレイピング → Markdown変換のパイプラインです。
• mcp-rec — テストやバグ報告のために、あらゆるMCPサーバーの通信を記録・再生します。
• llm-cache-proxy — OpenAI/Anthropic API 呼び出し用のローカルキャッシュです。
• promptlocker — プロンプト用のロックファイルです。
• context-diff — Claude Code のコンテキストウィンドウを圧迫した原因を確認できます。
• agentwatch — ブラウザーAIエージェント用のオーバーレイです。

---

ローカルで開発する

git clone https://github.com/yubinkim444/ai-first-scraper-mcp.git
cd ai-first-scraper-mcp

uv sync                    # or: pip install -e .
ai-first-scraper-mcp       # speaks MCP over stdio

ローカルクライアントでテストするには、そのMCP設定で同じコマンドを指定してください。

---

作者について

yubinkim444 が開発しました。同氏は iOS と Android 向けアプリ Kay's Records も制作しています。

このプロジェクトが時間の節約に役立ったら、アプリを試していただくことが何よりのお礼になります。

ライセンス

MIT © yubinkim444