fetch-url について
fetch-urlは、Webページを一度だけ取得してMarkdownに変換するスキルです。ドキュメントの確認や分析用のテキスト抽出に使え、取得内容はインデックスに追加されません。
主な機能
- 01WebページをMarkdownに変換
- 02JavaScript描画ページに対応
- 03カスタムリクエストヘッダー
- 04リダイレクトの制御
活用シーン
- 01単一のドキュメントページを読む
- 02インデックス登録前に内容を確認
- 03分析用にページのテキストを抽出
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ arabold/ docs-mcp-server --skill fetch-urlインストール後、Claude Code で/fetch-urlを入力して読み込まれたか確認します。
詳細
URL を取得
単一の URL を取得し、内容を整形された Markdown に変換します。ドキュメントインデックスには追加されません。1 回限りの読み取り操作です。
使用するタイミング
- 単一の Web ページを読み取り、内容を Markdown として取得したい場合。
- インデックスに追加するかどうかを決める前に、ドキュメントページを確認したい場合。
- 要約や分析のために、URL の生テキストが必要な場合。
繰り返し検索できるように内容をインデックス化する場合は、代わりに docs-manage
スキル(scrape コマンド)を使用してください。
コマンド
npx @arabold/docs-mcp-server@latest fetch-url <url> [options]
| フラグ | デフォルト | 説明 |
|---|---|---|
--follow-redirects | true | HTTP リダイレクトを追跡します |
--no-follow-redirects | リダイレクトの追跡を無効にします | |
--scrape-mode auto|fetch|playwright | auto | HTML の処理方法 |
--header "Name: Value" | カスタム HTTP ヘッダー(繰り返し指定可能) | |
--quiet | エラー以外の診断メッセージを抑制します | |
--verbose | デバッグログを有効にします |
スクレイプモード
| モード | 使用するタイミング |
|---|---|
auto | デフォルトです。まず単純な HTTP 取得を試し、JavaScript で描画されるページの場合は Playwright に切り替えます。 |
fetch | 通常の HTTP 取得を強制します。最速ですが、JavaScript で描画されるコンテンツは取得できません。 |
playwright | ヘッドレスブラウザーを強制します。SPA や、描画に JavaScript が必要なページで使用します。 |
例
# Fetch a documentation page
npx @arabold/docs-mcp-server@latest fetch-url https://react.dev/reference/react/useEffect
# Fetch with custom auth header
npx @arabold/docs-mcp-server@latest fetch-url https://docs.internal.com/api \
--header "Authorization: Bearer tok_xxx"
# Force Playwright for a JS-heavy page
npx @arabold/docs-mcp-server@latest fetch-url https://some-spa.dev/docs --scrape-mode playwright
# Disable redirect following
npx @arabold/docs-mcp-server@latest fetch-url https://example.com/old-page --no-follow-redirects
出力
コマンドは変換された Markdown テキストを stdout に直接書き込みます。結果は構造化データではなくプレーンテキストであるため、グローバルな --output フラグは受け付けられますが、効果はありません。
診断メッセージとエラーは stderr に出力され、非対話型セッションではデフォルトで抑制されます。再度有効にするには、--verbose を使用するか、LOG_LEVEL=INFO を設定してください。セッションの種類にかかわらず、エラー以外の診断メッセージをすべて抑制するには --quiet を使用してください。
ヒント
- 出力を保存する場合は、ファイルにパイプします:
npx @arabold/docs-mcp-server@latest fetch-url <url> > page.md - 検索と組み合わせます:
searchで関連する URL が返された後、そのページを取得して全文を読み取ります。 - 認証が必要なページでは、
--headerを使用して Cookie やトークンを渡します。
コメント
Markdown 対応