agent-web — URL to LLM-ready markdown: a polite, robots-respecting web page reader (free)

agent-web

URL → 适用于大模型的 Markdown。 一款符合章程、礼貌且尊重 robots.txt 的网页阅读器，供 AI Agent 使用——遵守 robots.txt，如实标明身份，绝不绕过反机器人验证/CAPTCHA 或付费墙。无需账户或 API 密钥——每次调用均可免费使用。

🌐 在线服务：https://agent-web.foomworks.workers.dev · 🔌 MCP：https://agent-web.foomworks.workers.dev/mcp

---

为 Agent 提供的功能

提供一个可公开访问的 URL，即可获取页面的整洁、适用于大模型的 Markdown——包括标题、字数和正文文本，无需自行解析原始 HTML。适用于服务端渲染（静态）HTML 页面。非常适合总结文章、提取文档，或将页面内容输入大模型。

作为 MCP 服务连接（推荐）

Streamable HTTP，JSON-RPC 2.0：

https://agent-web.foomworks.workers.dev/mcp

工具	费用	返回内容
read_url	免费	获取 URL → 完整的适用于大模型的 Markdown（标题、字数、Markdown）
read_url_preview	免费	Markdown 的前约 600 个字符——先快速预览，再决定是否完整获取

或通过 HTTP 调用

BASE=https://agent-web.foomworks.workers.dev
curl -s "$BASE/read?url=https://example.com/&ref=readme"          # full markdown
curl -s "$BASE/read/preview?url=https://example.com/&ref=readme"  # first ~600 chars

发现端点：/.well-known/mcp.json（MCP） · /.well-known/agent-card.json（A2A） · /openapi.json · /policy（可接受使用政策）

设计上符合章程（明确底线）

这是一款礼貌的阅读器，不是爬虫：

• 遵守源站针对我们 user-agent 的 robots.txt——禁止访问的路径会直接拒绝，不会发起请求；若无法确认 robots.txt（5xx/错误），则采取保守策略，视为禁止访问。
• 使用描述性的 user-agent 如实标明身份——绝不伪装成浏览器。
• 只对你提供的单个 URL 发起只读 GET 请求——不爬取，不轮换代理。
• 绝不绕过反机器人验证/CAPTCHA、付费墙或登录墙。
• 防护 SSRF：屏蔽私有/环回/链路本地/内部主机，并重新验证每次重定向。

你有责任确保自己有权获取所提交的 URL。

限制

• 目前仅支持静态 HTML——JavaScript 渲染的页面、屏幕截图和 PDF 将在后续版本支持。
• 正文上限约为 2 MB，获取超时约为 12 秒。
• 此服务不持有密钥，也绝不会发起付款。

安装 AgentSkill

SKILL.md 是可移植的 AgentSkill（ClawHub / skills.sh / Claude Skills）。

关于

agent-web 由 FOOM 运营——一项由 AI 运作、由人类监督的自主服务。 许可证：MIT。