mcpField
C
Claude Web Scraper MCP

Claude Web Scraper MCP

本地服务
github.com/vishwajeetdabholkarAI 与智能体481 周前更新
代码仓库

关于 Claude Web Scraper MCP

Claude Web Scraper MCP 将 Claude for Desktop 连接到本地运行的 eGet 网页抓取器，适用于希望在对话中让 Claude 获取网页内容并进行摘要或分析的用户。

主要功能

  1. 01连接本地 eGet API
  2. 02抓取网站内容
  3. 03在 Claude 中使用抓取内容

适用场景

  1. 01抓取页面并生成摘要
  2. 02从网站收集信息
  3. 03在对话中分析抓取的网页内容

MCP 相关

该服务将 Claude for Desktop 接入本地 eGet 抓取器 API，通过 MCP 提供网站内容抓取能力。

#web-scraper#mcp#claude

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

暂未收录安装方式

我们还没有获取到这个服务的安装包或远程地址，请按项目 README 中的说明安装。

代码仓库

工具

还没有获取到工具列表

本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。

详细介绍

Claude Web Scraper MCP

一个简单的模型上下文协议（MCP）服务，可将 Claude for Desktop 连接到本地运行的 eGet 网页抓取工具。这样，Claude 就可以通过你的本地 API 抓取网站内容。

前提条件

设置说明

1. 设置 eGet 网页抓取工具

首先，确保 eGet 网页抓取工具正在运行：

# Clone the eGet repository
git clone https://github.com/vishwajeetdabholkar/eGet-Crawler-for-ai
cd eGet-Crawler-for-ai

# Set up and run eGet according to its instructions
# (typically using Docker or local Python installation)

# Verify the API is running (default: http://localhost:8000/api/v1/scrape)
2. 设置 MCP 服务
# Create project directory
mkdir claude-scraper-mcp
cd claude-scraper-mcp

# Set up UV and virtual environment
uv venv
source .venv/bin/activate  # On Windows: .venv\Scripts\activate

# Install dependencies
uv add "mcp[cli]" httpx

# Create the MCP server script
touch scrape_mcp_server.py

将 scrape_mcp_server.py 代码复制到该文件中。

3. 配置 Claude for Desktop
  1. 创建或编辑 Claude 桌面应用配置：
# On macOS
mkdir -p ~/Library/Application\ Support/Claude/
  1. 将此配置添加到 ~/Library/Application Support/Claude/claude_desktop_config.json：
{
    "mcpServers": {
        "scrape-service": {
            "command": "/absolute/path/to/claude-scraper-mcp/.venv/bin/python",
            "args": [
                "/absolute/path/to/claude-scraper-mcp/scrape_mcp_server.py"
            ]
        }
    }
}

将路径替换为虚拟环境和脚本的实际绝对路径。

  1. 重启 Claude for Desktop

使用方法

设置完成后，你可以使用 Claude 抓取网站，例如：

故障排除

如果遇到问题：

  1. 检查 eGet 抓取工具是否正在运行
  2. 确认脚本中的 API 端点与 eGet 配置一致
  3. 确保 Claude for Desktop 使用了正确的 Python 解释器
  4. 更改配置后，重启 Claude for Desktop

评论

支持 Markdown

第一次接触 MCP？

从协议是什么，到在客户端里装上第一个服务，这几条回答覆盖了大多数入门问题。

一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。