Scraperis_scraper

Scraper.is MCP

Scraper.is 用の Model Context Protocol（MCP） 統合です。AI アシスタント向けの強力なウェブスクレイピングツールです。

このパッケージを使うと、AI アシスタントは MCP プロトコルを通じてウェブコンテンツをスクレイピングし、ウェブ上の最新情報にアクセスできます。

機能

• 🌐 ウェブスクレイピング：あらゆるウェブサイトからコンテンツを抽出します
• 📸 スクリーンショット：ウェブページの視覚的な画像をキャプチャします
• 📄 複数の形式：コンテンツを Markdown、HTML、JSON 形式で取得します
• 🔄 進行状況の更新：スクレイピング処理中の進行状況をリアルタイムで報告します
• 🔌 MCP 統合：MCP 対応 AI アシスタントとシームレスに統合します

インストール

Smithery 経由でインストールする

Smithery を使って Claude Desktop 用の scaperis-mcp を自動的にインストールするには：

npx -y @smithery/cli install @Ai-Quill/scaperis-mcp --client claude

手動インストール

npm install -g scraperis-mcp

または yarn を使います：

yarn global add scraperis-mcp

前提条件

このパッケージを使用するには、Scraper.is API キーが必要です。

API キーの取得

1. scraper.is で登録するか、ログインします
2. ダッシュボードの API Keys セクションに移動します：https://www.scraper.is/dashboard/apikeys
3. 新しい API キーを作成するか、既存のキーをコピーします
4. このパッケージの使用時に必要になるため、キーを安全に保管します

使用方法

環境の設定

Scraper.is API キーを記述した .env ファイルを作成します：

SCRAPERIS_API_KEY=your_api_key_here

Claude Desktop との統合

このパッケージを Claude Desktop で使用するには：

1. パッケージをグローバルにインストールします：

   npm install -g scraperis-mcp
   

2. claude_desktop_config.json ファイルに次の設定を追加します：

   {
     "mcpServers": {
       "scraperis_scraper": {
         "command": "scraperis-mcp",
         "args": [],
         "env": {
           "SCRAPERIS_API_KEY": "your-api-key-here",
           "DEBUG": "*"
         }
       }
     }
   }
   

3. your-api-key-here を実際の Scraper.is API キーに置き換えます。

4. Claude Desktop を再起動して変更を適用します。

MCP Inspector で実行する

開発およびテストには、MCP Inspector を使用できます：

npx @modelcontextprotocol/inspector scraperis-mcp

AI アシスタントとの統合

このパッケージは、Model Context Protocol（MCP）をサポートする AI アシスタントでの使用を想定しています。適切に設定すると、AI アシスタントは次のツールを使用できます：

スクレイピングツール

スレイプ ツールを使うと、AI はウェブサイトからコンテンツを抽出できます。さまざまな形式に対応しています：

• markdown：コンテンツを Markdown 形式で返します
• html：コンテンツを HTML 形式で返します
• screenshot：ウェブページのスクリーンショットを返します
• json：構造化データを JSON 形式で返します

AI に対するプロンプトの例：

Can you scrape the latest news from techcrunch.com and summarize it for me?

API リファレンス

ツール

scrape

プロンプトに基づいてウェブページからコンテンツをスクレイピングします。

パラメーター：

• prompt（string）：スクレイピング対象を説明するプロンプト。URL も含めます
• format（string）：コンテンツを返す形式（markdown、html、screenshot、json、quick）

例：

{
  "prompt": "Get me the top 10 products from producthunt.com",
  "format": "markdown"
}

開発

セットアップ

1. リポジトリをクローンします：

   git clone https://github.com/Ai-Quill/scraperis-mcp.git
   cd scraperis-mcp
   

2. 依存関係をインストールします：

   npm install
   

3. プロジェクトをビルドします：

   npm run build
   

スクリプト

• npm run build：プロジェクトをビルドします
• npm run watch：変更を監視して再ビルドします
• npm run dev：開発用に MCP Inspector で実行します
• npm run test：テストを実行します
• npm run lint：ESLint を実行します

貢献

貢献を歓迎します！お気軽に Pull Request を送信してください。

ライセンス

このプロジェクトは MIT ライセンスの下で公開されています。詳細は LICENSE ファイルをご覧ください。

謝辞

• Model Context Protocol
• Scraper.is