web-tools-mcp

Name: web-tools-mcp
Author: mlawsonking

本地服务

github.com/mlawsonking浏览器自动化11 天前更新

代码仓库

关于 web-tools-mcp

web-tools-mcp 是为 AI Agent 提供确定性网页工具的 MCP 服务，免费层无需调用 LLM 或 API 密钥。功能涵盖网页提取、Feed、邮件与域名检查及网络信息查询。

主要功能

01将网页转换为干净的 Markdown
02提取页面元数据和结构化数据
03使用 CSS 选择器抓取网页
04获取 RSS 和 Atom Feed
05检查邮件、DNS、RDAP、SSL 和 HTTP

适用场景

01整理网页内容用于 RAG
02提取网页中的指定字段
03检查域名注册信息和 TLS 证书
04查看重定向链和安全标头

MCP 相关

向 MCP 客户端提供十种网页工具，包括页面读取、抓取、Feed 解析、DNS 与域名检查及 HTTP 检查。

配置

本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置

{
  "mcpServers": {
    "mlawsonking-web-tools": {
      "command": "npx",
      "args": [
        "-y",
        "web-tools-mcp"
      ]
    }
  }
}

启动命令npx -y web-tools-mcp

本地服务需要在你的电脑上安装运行环境（如 Node.js 18+）。各客户端的配置文件位置不同，请参考客户端文档。

安装包

npmweb-tools-mcp1.3.0stdio

工具

收录的工具列表 · 更新于 2 周前

参数	类型	必填	说明
url	string	是	要读取页面的 http(s) URL。抓取操作受 SSRF 防护。

详细介绍

web-tools-mcp

为 AI Agent 提供一组 Web 实用工具的 MCP 服务：将网页读取为 Markdown、提取链接元数据、使用 CSS 选择器抓取网页、解析订阅源，以及执行 DNS、RDAP、SSL 和 HTTP 检查。结果确定，无需大模型，也无需 API 密钥即可使用免费层。

安装

{ "mcpServers": { "web-tools": { "command": "npx", "args": ["-y", "web-tools-mcp"] } } }

工具

read_url：抓取网页，并将主要内容以干净的 Markdown 返回，同时去除导航栏和广告。适用于 RAG。
unfurl_url：获取 URL 的标题、描述、预览图片、网站名称和 favicon。
validate_email：检查语法并实时查询 MX，同时检测一次性邮箱、角色邮箱和免费邮箱提供商。
extract_web：使用 CSS 选择器抓取网页，并返回你指定的字段。
get_feed：抓取 RSS 或 Atom 订阅源，并将条目以 JSON 返回。
dns_lookup：查询 DNS 记录（A、AAAA、MX、NS、TXT 等），并检测 SPF 和 DMARC。
domain_info：通过 RDAP 获取注册信息，包括域名年龄、注册商和到期时间。
ssl_check：检查主机的 TLS 证书：颁发者、有效期、到期天数和 SAN。
http_inspect：获取最终状态、完整的重定向链、响应标头和安全标头报告。
structured_data：从网页中提取 JSON-LD、OpenGraph 和 Twitter 卡片数据。

规则更新

本服务大约每天会查询一次规则订阅源，检查是否有更新的规则集，并在有更新时应用。请求会携带两项信息：发起请求的界面（此处为 facade），以及已安装的规则版本。不包含机器 ID、用户 ID、文件名或任何扫描内容。

规则包使用 Ed25519 签名，并通过编译进此软件包的公钥进行验证，因此由哪个镜像提供都无关紧要。如果规则包未通过签名、架构或 ReDoS 检查，就会被丢弃，现有规则保持不变。使用 --offline、AGENT_GUARDS_NO_FEED=1 或在 ~/.agent-guards/config.json 中设置 {"feed": false} 均可关闭更新。规则包格式及自行验证方法见：https://github.com/mlawsonking/MCP/blob/main/rules/README.md

它会调用 https://agent-tools-api.vercel.app 上的 API（如需自托管，请设置 TOOLS_API_URL）。这是本仓库中六个 Agent 工具与防护工具之一：package-guard、agent-firewall、payment-guard、email-guard、code-guard 和 web-tools。MIT。

支持 Markdown

登录后评论