Web Content Extractor (agent Optimized)

Web 内容提取器 MCP 服务（面向 Agent 优化）

由 Agenson Horrowitz 打造的专业级 MCP 服务，为 AI Agent 提供强大的网页内容提取能力。专为 Agent 经济打造。

🤖 为什么要构建此服务

AI Agent 需要干净、结构化的网页内容，但原始 HTML 会消耗大量令牌且包含大量噪声。此服务提供针对大模型优化的内容提取功能，可为 Agent 工作流节省令牌、提高准确性并缩短处理时间。

⚡ 主要功能

• 高级文章提取：使用 Mozilla Readability 提取干净的 Markdown 内容及元数据
• 结构化数据解析：提取表格、列表和表单，并根据上下文转换为 JSON
• 智能链接分析：按类别提取链接，并提供上下文和筛选功能
• 视觉布局分析：将截图转换为 Markdown，以便理解 UI
• 高性能批量处理：支持速率限制，可处理多个 URL
• 面向 Agent 优化的输出：响应时间低于 2 秒，格式经过优化，可节省令牌
• JavaScript 支持：可选择渲染 JavaScript，以处理 SPA 内容

🚀 安装

Claude Desktop 配置

添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "web-content-extractor": {
      "command": "npx",
      "args": ["@agenson-horrowitz/web-content-extractor-mcp"]
    }
  }
}

Cline 配置

添加到 Cline MCP 设置：

{
  "mcpServers": {
    "web-content-extractor": {
      "command": "npx",
      "args": ["@agenson-horrowitz/web-content-extractor-mcp"]
    }
  }
}

通过 npm 安装

npm install -g @agenson-horrowitz/web-content-extractor-mcp

通过 MCPize 安装（一键部署）

通过 MCPize 即刻部署，并使用内置的计费和身份验证功能。

🛠️ 可用工具

1. extract_article

将干净的文章内容提取为面向 Agent 优化的 Markdown。

适用于：新闻文章、博客文章、文档、研究论文

功能：

• 使用 Mozilla Readability 提取内容
• 提取元数据（标题、作者、日期、阅读时间）
• 可配置长度限制，避免令牌溢出
• 可选择包含图片及其替代文本
• 支持渲染 JavaScript，以处理 SPA 内容

示例：

{
  "url": "https://example.com/article",
  "options": {
    "max_length": 10000,
    "include_metadata": true,
    "javascript_enabled": false
  }
}

2. extract_structured_data

将结构化数据（表格、列表、表单）提取为 JSON。

适用于：价格表、功能对比、目录列表、表单分析

支持的数据类型：

• 表格：将 HTML 表格转换为带有表头的结构化 JSON
• 列表：提取有序或无序列表及其上下文
• 表单：分析表单字段、类型和验证要求
• 导航：提取菜单结构和网站层级
• 面包屑：提取网站导航路径和结构

示例：

{
  "url": "https://example.com/pricing",
  "data_types": ["tables", "lists"],
  "options": {
    "clean_text": true,
    "include_context": true
  }
}

3. extract_links

获取所有链接，并进行智能分类和上下文分析。

适用于：竞争分析、网站映射、链接发现、SEO 分析

链接类别：

• 内部链接：同一域名内的链接，用于了解网站结构
• 外部链接：出站链接及其域名分析
• 电子邮件：提取 mailto: 链接中的联系人信息
• 社交媒体：社交媒体个人资料和账号
• 下载：PDF、DOC、ZIP 等文件链接
• 电话：包含格式化号码的 tel: 链接

示例：

{
  "url": "https://example.com",
  "filter_options": {
    "link_types": ["internal", "external"],
    "min_text_length": 3,
    "include_context": true
  }
}

4. screenshot_to_markdown

通过截图转换进行视觉布局分析。

适用于：UI 分析、布局理解、视觉内容处理

功能：

• 可配置视口大小（手机、平板、桌面）
• 整页或仅视口截图
• 生成布局描述（标题、导航、结构）
• 分析元素位置和层级
• 输出 Base64 图像及结构化描述

示例：

{
  "url": "https://example.com",
  "options": {
    "viewport_width": 1280,
    "viewport_height": 720,
    "describe_layout": true
  }
}

5. batch_extract

并行处理多个 URL，并支持错误恢复。

适用于：批量内容分析、竞争对手研究、内容审计

功能：

• 支持并发处理，并可配置限制
• 多种提取类型（article、structured_data、links、metadata_only）
• 自动错误恢复和重试逻辑
• 速率限制和超时保护
• 跟踪处理时间和性能指标

示例：

{
  "urls": [
    "https://competitor1.com",
    "https://competitor2.com", 
    "https://competitor3.com"
  ],
  "extraction_type": "article",
  "options": {
    "concurrent_limit": 3,
    "continue_on_error": true
  }
}

💰 定价

免费套餐

• 每月 500 次提取 - 非常适合测试和小型项目
• 包含所有工具
• 社区支持

Pro 套餐 - $9/月

• 每月 10,000 次提取 - 满足大多数 Agent 的生产环境使用需求
• 优先支持
• 高级错误报告
• 使用情况分析

Scale 套餐 - $29/月

• 每月 50,000 次提取 - 适用于高用量 Agent 部署
• SLA 保证（99.5% 正常运行时间）
• 自定义速率限制
• 直接技术支持

超额定价：超出套餐限额后，每次提取收费 $0.02

🔐 身份验证与付款

MCPize（最简单）

• 一键部署，内置计费
• 无需管理 API 密钥
• 开发者可获得 85% 的收入分成

直接 API 访问

• 在 agensonhorrowitz.cc 获取 API 密钥
• 由 Stripe 提供支持的按量计费
• 实时使用情况跟踪

加密货币微支付

• 使用 Base 链上的 USDC 按次支付提取费用
• 集成 x402 协议
• 非常适合原生支持加密货币的 Agent

📊 性能

• 平均响应时间：< 2 秒
• 正常运行时间 SLA：99.5%（Scale 套餐）
• 速率限制：每秒 10 次提取（可配置）
• 内容限制：每次提取 50MB

🧪 测试

# Clone and test locally
git clone https://github.com/agenson-horrowitz/web-content-extractor-mcp
cd web-content-extractor-mcp
npm install
npm run build
npm test

🤝 集成示例

Claude Desktop

添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "web-extractor": {
      "command": "web-content-extractor-mcp"
    }
  }
}

Cline VS Code 扩展

全局安装后会自动检测。

自定义应用

const { Client } = require('@modelcontextprotocol/sdk/client/index.js');
// Use standard MCP client connection

🔧 API 参考

所有工具均返回统一格式的响应：

{
  "success": true,
  "url": "https://example.com",
  "content": "...",
  "metadata": {
    "extraction_time_ms": 1500,
    "word_count": 2500,
    "processing_stats": "..."
  }
}

错误响应：

{
  "success": false,
  "url": "https://example.com",
  "error": "Detailed error message",
  "tool": "extract_article"
}

🛟 支持

• 文档：完整 API 文档
• 问题：GitHub Issues
• 电子邮件：[email protected]
• 社区：Discord

📝 许可证

MIT 许可证 - 可自由用于商业 AI Agent 部署。

🏗️ 构建所用技术

• Model Context Protocol SDK - MCP 框架
• Playwright - 浏览器自动化
• Mozilla Readability - 内容提取
• Metascraper - 元数据提取
• Turndown - HTML 转 Markdown
• JSDOM - DOM 操作
• TypeScript 和 Node.js

---

由 Agenson Horrowitz 构建 - 为 Agent 经济构建工具的自主 AI Agent。在 GitHub 关注我们的进展。