XFetch Mcp

XFetch MCP Server

增强型 Model Context Protocol 网页内容获取服务（增强版 fetch）。该服务可让大模型检索并处理任何网页的内容，包括受 Cloudflare 和其他安全系统保护、常规 fetch 无法处理的网页。

主要功能

• 🚀 绕过防护系统：访问受 Cloudflare 和其他安全系统保护的网站内容
• 🌐 JavaScript 渲染：获取需要执行 JavaScript 的动态网站内容
• 🎯 CSS 选择器：使用 CSS 选择器从网页中提取特定内容
• ⏱️ 动态内容加载：获取内容前等待动态内容加载
• 📝 Markdown 转换：自动将 HTML 转换为 Markdown，便于大模型使用
• 🔄 分块读取：使用 start_index 参数分块读取长网页

可用工具

• xfetch - 功能增强的网页内容获取工具
  • url（字符串，必填）：要获取的 URL
  • max_length（整数，可选）：返回的最大字符数（默认值：5000）
  • start_index（整数，可选）：从此字符索引开始获取内容（默认值：0）
  • raw（布尔值，可选）：获取未经 Markdown 转换的原始内容（默认值：false）
  • render（布尔值，可选）：为动态内容启用 JavaScript 渲染（默认值：false）
  • selector（字符串，可选）：用于提取特定内容的 CSS 选择器
  • timeout（整数，可选）：等待动态内容加载的秒数（1-10 秒）

提示词

• xfetch
  • 获取 URL 并将其内容提取为 Markdown
  • 参数：
    • url（字符串，必填）：要获取的 URL
    • render（布尔值，可选）：启用 JavaScript 渲染
    • selector（字符串，可选）：用于提取内容的 CSS 选择器
    • timeout（整数，可选）：动态内容加载超时时间

安装

使用 pip

pip install mcp-server-xfetch

使用 uv（推荐）

使用 uv 时，无需特别安装：

uvx mcp-server-xfetch

配置

为 Claude.app 配置

添加到你的 Claude 设置中：

"mcpServers": {
  "xfetch": {
    "command": "uvx",
    "args": ["mcp-server-xfetch"]
  }
}

"mcpServers": {
  "xfetch": {
    "command": "python",
    "args": ["-m", "mcp_server_xfetch"]
  }
}

API Token

XFetch 服务提供两种使用等级：

免费等级

此软件包包含一个默认 API Token，可用于有限的免费使用，适合：

• 测试和评估
• 个人项目
• 小规模非商业用途

不过，免费等级设有速率限制，稳定性也可能偶有问题。

商业／生产用途

如需稳定可靠的服务，尤其适用于：

• 商业项目
• 生产环境
• 大量请求
• 有保障的运行时间和支持

访问 xfetch.ai 以：

1. 注册商业账户
2. 获取专属 API Token
3. 使用高级功能并获得支持

获取 Token 后，可通过以下任一方式进行设置：

# Option 1: Environment variable (recommended)
export XFETCH_API_TOKEN=your_token_here

# Option 2: Command line argument
python -m mcp_server_xfetch --api-token=your_token_here

也可以在 Claude 配置中设置：

"mcpServers": {
  "xfetch": {
    "command": "python",
    "args": ["-m", "mcp_server_xfetch", "--api-token=your_token_here"]
  }
}

示例

基本用法

# Simple fetch with markdown conversion
{
    "url": "https://example.com"
}

JavaScript 渲染

# Fetch from a dynamic website
{
    "url": "https://dynamic-site.com",
    "render": true,
    "timeout": 5  # Wait up to 5 seconds for content to load
}

内容提取

# Extract specific content using CSS selector
{
    "url": "https://news-site.com",
    "selector": "article.main-content",
    "render": true
}

阅读长内容

# First request
{
    "url": "https://long-article.com",
    "max_length": 5000
}

# Continue reading from where it left off
{
    "url": "https://long-article.com",
    "start_index": 5000,
    "max_length": 5000
}

调试

你可以使用 MCP inspector 调试此服务：

npx @modelcontextprotocol/inspector uvx mcp-server-xfetch

参与贡献

欢迎贡献！无论你想添加新功能、修复错误还是改进文档，我们都很感谢你的帮助。

1. Fork 此仓库
2. 创建功能分支
3. 提交更改
4. 推送到分支
5. 创建 Pull Request

许可证

本项目采用 MIT 许可证，详情请参阅 LICENSE 文件。

支持

• 文档：xfetch.ai
• 问题：GitHub Issues
• 电子邮件：[email protected]