web-fetcher

Web Fetcher

任意の URL をクリーンな Markdown として取得します。方法は 2 つあります。既知のプラットフォームでは OpenCLI を使用し（ブラウザーのログイン状態を利用します）、それ以外では無料の Markdown サービスを順に試します。

戦略の概要

1. 既知のプラットフォーム（Twitter/X、zhihu、reddit、weibo、xiaohongshu、bilibili など）→ まず OpenCLI を使用します。ユーザーのブラウザーのログイン状態を利用するため、結果が安定しており、LLM トークンを消費しません。
2. 一般的な URL（ブログ、ドキュメント、記事）→ Jina Reader > defuddle.md > markdown.new > WebFetch の順に試します。

これらは優先順位の目安です。明らかに不適切な方法はスキップしてください（例：無関係なブログ記事に OpenCLI を試さない、ログイン必須の zhihu ページに Jina を試さない）。

既知のプラットフォーム → OpenCLI コマンド

URL パターン	コマンド	備考
x.com/.../status/<id>	opencli twitter thread <id>	ツイートスレッドです。結果が t.co リンクだけの場合（テキストが非常に短い場合）、そのツイートは X Article にリンクしている可能性があります。opencli twitter article <same-id> で再試行してください
x.com/.../article/<id> または x.com/i/article/<id>	opencli twitter article <id>	X Article の長文記事です
zhihu.com/question/<id>	opencli zhihu question <id>
zhuanlan.zhihu.com/p/<id>	opencli zhihu download <full-url>
reddit.com/r/.../comments/...	opencli reddit read <full-url>
weibo.com/...	opencli weibo search <query>
xiaohongshu.com/...	opencli xiaohongshu download <id>
bilibili.com/video/BV...	opencli bilibili download <bvid>

動的な検出

上の表では、利用頻度の高いプラットフォームを紹介しています。OpenCLI は 80 以上のプラットフォームに対応しています。記載されていないものについては、次の手順を実行してください。

# See all supported platforms
opencli --help

# See subcommands for a specific platform
opencli <platform> --help

一般的なフォールバックツール

既知のプラットフォームに一致しない URL では、次のツールを順に試してください。

ツール	使用方法	長所	短所
Jina Reader	curl -s -H "Accept: text/markdown" "https://r.jina.ai/<url>"	Markdown の品質が最も高く、JS に対応	無料枠は 20 リクエスト／分
defuddle.md	curl -s "https://defuddle.md/<url>"	品質が高く、Obsidian の開発者によるもの	制限が公開されていません
markdown.new	curl -s "https://markdown.new/<url>"	ブラウザー描画によるフォールバック	1 日 500 リクエスト
WebFetch	組み込みツールのため、curl は不要です	セットアップ不要	JS 描画に対応せず、複雑なページでの取得精度が低い

判断ガイド

• ログインが必要な既知のプラットフォーム → まず OpenCLI を使用します
• 静的な記事／ブログ → まず Jina Reader を使用します
• ツールが短すぎるコンテンツ（500 文字未満）を返した場合 → エラーページの可能性が高いため、次のツールを試します
• Jina が失敗する、またはレート制限に達した場合 → defuddle → markdown.new → WebFetch の順に試します
• OpenCLI が失敗した場合 → 上記の一般的な方法にフォールバックします

OpenCLI のセットアップ

opencli がインストールされていない場合：

1. npm i -g @jackwener/opencli
2. https://github.com/jackwener/opencli/releases からブラウザー拡張機能をダウンロードします
3. Chrome → chrome://extensions → デベロッパーモード → パッケージ化されていない拡張機能を読み込む → 解凍したフォルダーを選択します
4. opencli doctor を実行して確認します

セットアップは初回のみです。インストール後は、既知のプラットフォームの URL でブラウザーのログイン状態が自動的に使用されます。

制限事項

• WeChat の記事は opencli weixin で一部対応しています。GFW によってブロックされている URL では、プロキシが必要になる場合があります
• OpenCLI では、ブラウザー拡張機能のセットアップが必要です（初回のみ）
• Jina Reader の無料枠：20 リクエスト／分
• markdown.new：1 日 500 リクエスト／IP