mcpField
F
fetch-url

fetch-url

github.com/arabold生産性1.8k59 回インストール3 日前に更新
リポジトリ

fetch-url について

fetch-urlは、Webページを一度だけ取得してMarkdownに変換するスキルです。ドキュメントの確認や分析用のテキスト抽出に使え、取得内容はインデックスに追加されません。

主な機能

  1. 01WebページをMarkdownに変換
  2. 02JavaScript描画ページに対応
  3. 03カスタムリクエストヘッダー
  4. 04リダイレクトの制御

活用シーン

  1. 01単一のドキュメントページを読む
  2. 02インデックス登録前に内容を確認
  3. 03分析用にページのテキストを抽出

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/arabold/docs-mcp-server --skill fetch-url

インストール後、Claude Code で/fetch-urlを入力して読み込まれたか確認します。

詳細

URL を取得

単一の URL を取得し、内容を整形された Markdown に変換します。ドキュメントインデックスには追加されません。1 回限りの読み取り操作です。

使用するタイミング

  • 単一の Web ページを読み取り、内容を Markdown として取得したい場合。
  • インデックスに追加するかどうかを決める前に、ドキュメントページを確認したい場合。
  • 要約や分析のために、URL の生テキストが必要な場合。

繰り返し検索できるように内容をインデックス化する場合は、代わりに docs-manage スキル(scrape コマンド)を使用してください。

コマンド

npx @arabold/docs-mcp-server@latest fetch-url <url> [options]
フラグデフォルト説明
--follow-redirectstrueHTTP リダイレクトを追跡します
--no-follow-redirectsリダイレクトの追跡を無効にします
--scrape-mode auto|fetch|playwrightautoHTML の処理方法
--header "Name: Value"カスタム HTTP ヘッダー(繰り返し指定可能)
--quietエラー以外の診断メッセージを抑制します
--verboseデバッグログを有効にします

スクレイプモード

モード使用するタイミング
autoデフォルトです。まず単純な HTTP 取得を試し、JavaScript で描画されるページの場合は Playwright に切り替えます。
fetch通常の HTTP 取得を強制します。最速ですが、JavaScript で描画されるコンテンツは取得できません。
playwrightヘッドレスブラウザーを強制します。SPA や、描画に JavaScript が必要なページで使用します。

例

# Fetch a documentation page
npx @arabold/docs-mcp-server@latest fetch-url https://react.dev/reference/react/useEffect

# Fetch with custom auth header
npx @arabold/docs-mcp-server@latest fetch-url https://docs.internal.com/api \
  --header "Authorization: Bearer tok_xxx"

# Force Playwright for a JS-heavy page
npx @arabold/docs-mcp-server@latest fetch-url https://some-spa.dev/docs --scrape-mode playwright

# Disable redirect following
npx @arabold/docs-mcp-server@latest fetch-url https://example.com/old-page --no-follow-redirects

出力

コマンドは変換された Markdown テキストを stdout に直接書き込みます。結果は構造化データではなくプレーンテキストであるため、グローバルな --output フラグは受け付けられますが、効果はありません。

診断メッセージとエラーは stderr に出力され、非対話型セッションではデフォルトで抑制されます。再度有効にするには、--verbose を使用するか、LOG_LEVEL=INFO を設定してください。セッションの種類にかかわらず、エラー以外の診断メッセージをすべて抑制するには --quiet を使用してください。

ヒント

  • 出力を保存する場合は、ファイルにパイプします: npx @arabold/docs-mcp-server@latest fetch-url <url> > page.md
  • 検索と組み合わせます:search で関連する URL が返された後、そのページを取得して全文を読み取ります。
  • 認証が必要なページでは、--header を使用して Cookie やトークンを渡します。

コメント