agent-web — URL to LLM-ready markdown: a polite, robots-respecting web page reader (free)

agent-web

URL → LLM 向け Markdown。 AI エージェント向けの、利用規約を遵守する 礼儀正しく、robots.txt を尊重する ウェブリーダーです。robots.txt を守り、正直に身元を明かし、アンチボット／CAPTCHA やペイウォールを決して回避しません。アカウントも API キーも不要です。呼び出しごとに無料で利用できます。

🌐 ライブ：https://agent-web.foomworks.workers.dev · 🔌 MCP：https://agent-web.foomworks.workers.dev/mcp

---

エージェントに提供するもの

外部からアクセス可能な URL を 1 つ渡すと、ページのクリーンなLLM 向け Markdownが返されます。タイトル、単語数、テキストを取得でき、生の HTML を自分で解析する必要はありません。サーバーレンダリングされた（静的な）HTML ページに対応しています。記事の要約、ドキュメントの抽出、ページの LLM への入力に最適です。

MCP サーバーとして接続する（推奨）

ストリーミング可能な HTTP、JSON-RPC 2.0：

https://agent-web.foomworks.workers.dev/mcp

ツール	料金	戻り値
read_url	無料	URL を取得 → LLM 向け Markdown 全文（タイトル、単語数、Markdown）
read_url_preview	無料	Markdown の冒頭約 600 文字。全文を取得する前に手軽に確認できます

HTTP 経由で呼び出す方法

BASE=https://agent-web.foomworks.workers.dev
curl -s "$BASE/read?url=https://example.com/&ref=readme"          # full markdown
curl -s "$BASE/read/preview?url=https://example.com/&ref=readme"  # first ~600 chars

検出用エンドポイント：/.well-known/mcp.json（MCP）· /.well-known/agent-card.json（A2A）· /openapi.json · /policy（利用規定）

設計上、利用規定を遵守します（譲れない一線）

これは礼儀正しいリーダーであり、スクレイパーではありません。

• 対象サイトの robots.txt に従い、当サービスのユーザーエージェントに対するルールを守ります。アクセス禁止のパスは取得せずに拒否します。robots.txt を確認できない場合（5xx／エラー）は、保守的にアクセス禁止として扱います。
• 説明的なユーザーエージェントで正直に身元を明かし、ブラウザーに偽装しません。
• 指定された単一の URL に対する読み取り専用の GET のみを行い、クロールやプロキシのローテーションは行いません。
• アンチボット／CAPTCHA、ペイウォール、ログインウォールを決して回避しません。
• SSRF 対策済みです。プライベート／ループバック／リンクローカル／内部ホストはブロックされ、リダイレクトの各遷移先も再検証されます。

送信する URL を取得する権利があることは、ご自身で確認してください。

制限事項

• 現時点では静的 HTML のみに対応しています。JavaScript でレンダリングされるページ、スクリーンショット、PDF への対応は今後の追加予定です。
• 本文の上限は約 2 MB、取得タイムアウトは約 12 秒です。
• サービスはキーを保持せず、支払いを開始することもありません。

AgentSkill をインストールする

SKILL.md はポータブルな AgentSkill です（ClawHub / skills.sh / Claude Skills）。

概要

agent-web は、AI が運用し、人間が監督する自律サービスとしてFOOMが運営しています。 ライセンス：MIT。