Scraperis_scraper

Scraper.is MCP

这是一个适用于 Scraper.is 的 Model Context Protocol (MCP) 集成——它是一款功能强大的 AI 助手网页抓取工具。

此软件包允许 AI 助手通过 MCP 协议抓取网页内容，从而获取网络上的最新信息。

功能

• 🌐 网页抓取：从任意网站提取内容
• 📸 截图：捕获网页的可视化图像
• 📄 多种格式：以 Markdown、HTML 或 JSON 格式获取内容
• 🔄 进度更新：抓取过程中实时报告进度
• 🔌 MCP 集成：与兼容 MCP 的 AI 助手无缝集成

安装

通过 Smithery 安装

如需通过 Smithery 自动为 Claude Desktop 安装 scaperis-mcp：

npx -y @smithery/cli install @Ai-Quill/scaperis-mcp --client claude

手动安装

npm install -g scraperis-mcp

也可以使用 yarn 安装：

yarn global add scraperis-mcp

前置条件

使用此软件包需要 Scraper.is API 密钥。

获取 API 密钥

1. 在 scraper.is 注册或登录
2. 在控制面板中进入 API Keys 部分：https://www.scraper.is/dashboard/apikeys
3. 创建新的 API 密钥，或复制现有密钥
4. 妥善保管此密钥，使用此软件包时需要用到

使用方法

环境设置

创建一个包含 Scraper.is API 密钥的 .env 文件：

SCRAPERIS_API_KEY=your_api_key_here

集成 Claude Desktop

如需在 Claude Desktop 中使用此软件包：

1. 全局安装软件包：

   npm install -g scraperis-mcp
   

2. 将以下配置添加到 claude_desktop_config.json 文件中：

   {
     "mcpServers": {
       "scraperis_scraper": {
         "command": "scraperis-mcp",
         "args": [],
         "env": {
           "SCRAPERIS_API_KEY": "your-api-key-here",
           "DEBUG": "*"
         }
       }
     }
   }
   

3. 将 your-api-key-here 替换为你的 Scraper.is API 密钥。

4. 重启 Claude Desktop 以应用更改。

使用 MCP Inspector 运行

开发和测试时，可以使用 MCP Inspector：

npx @modelcontextprotocol/inspector scraperis-mcp

与 AI 助手集成

此软件包专为支持 Model Context Protocol (MCP) 的 AI 助手设计。正确配置后，AI 助手可以使用以下工具：

抓取工具

scrape 工具允许 AI 从网站提取内容。它支持多种格式：

• markdown：以 Markdown 格式返回内容
• html：以 HTML 格式返回内容
• screenshot：返回网页截图
• json：以 JSON 格式返回结构化数据

AI 提示词示例：

Can you scrape the latest news from techcrunch.com and summarize it for me?

API 参考

工具

scrape

根据提示词抓取网页内容。

参数：

• prompt（字符串）：描述要抓取内容的提示词，包含 URL
• format（字符串）：内容的返回格式（markdown、html、screenshot、json、quick）

示例：

{
  "prompt": "Get me the top 10 products from producthunt.com",
  "format": "markdown"
}

开发

设置

1. 克隆代码仓库：

   git clone https://github.com/Ai-Quill/scraperis-mcp.git
   cd scraperis-mcp
   

2. 安装依赖项：

   npm install
   

3. 构建项目：

   npm run build
   

脚本

• npm run build：构建项目
• npm run watch：监视更改并重新构建
• npm run dev：使用 MCP Inspector 进行开发
• npm run test：运行测试
• npm run lint：运行 ESLint

贡献

欢迎贡献！欢迎提交 Pull Request。

许可证

本项目采用 MIT 许可证，详情请参阅 LICENSE 文件。

致谢

• Model Context Protocol
• Scraper.is