mcpField
J
jina-web-fetch

jina-web-fetch

github.com/xiaojiongqian生産性357 回インストール25 週間前に更新
リポジトリ

jina-web-fetch について

jina-web-fetchは、まず直接取得を試し、失敗またはブロックが疑われる場合にjina.aiへ切り替えるウェブ取得スキルです。生の取得結果を追跡可能な形で保存し、使用した取得経路も表示します。

主な機能

  1. 01直接取得を優先
  2. 02ブロック時にjina.aiで再試行
  3. 03取得内容をファイルに保存
  4. 04使用した取得経路を表示
  5. 05タイムアウトとフォールバックの設定

活用シーン

  1. 01直接取得しにくいページの内容を収集
  2. 02監査用に生のページテキストを保存
  3. 03JavaScript必須またはアクセス制限のあるページを取得

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/xiaojiongqian/skills-hub --skill jina-web-fetch

インストール後、Claude Code で/jina-web-fetchを入力して読み込まれたか確認します。

同梱ファイルagents/openai.yamlscripts/fetch_with_jina_fallback.sh

詳細

Jina Web Fetch

取得しにくいページのコンテンツを、決定論的なワークフローを保ちながら取得するには、このスキルを使用します。

  1. まず直接取得を試みます。
  2. 直接取得に失敗するか、ブロックされているように見える場合は、jina.ai 経由で再試行します。

クイックスタート

bash "<path-to-skill>/scripts/fetch_with_jina_fallback.sh" "<url>" "<output_file>"

例：

bash "<path-to-skill>/scripts/fetch_with_jina_fallback.sh" \
  "https://x.com/trq212/status/2027463795355095314" \
  "raw/x-status.txt"

スクリプトは、使用した経路を確認できるように、source=direct または source=jina を stderr に出力します。

output_file を省略すると、コンテンツは stdout に出力されます。

デフォルトのワークフロー

  1. 対象の URL を指定してスクリプトを実行します。
  2. トレース可能なパス（raw/<slug>.txt など）に生出力を保存します。
  3. 抽出したテキスト／Markdown を解析し、以下を取得します。
    • 本文
    • メディアリンク（画像／動画）
    • 参照先 URL
  4. 監査可能性を保つため、元の URL と生キャプチャを一緒に保管します。

ブロック判定のヒューリスティクス

直接取得したコンテンツが次のように見える場合、スクリプトは自動的に jina.ai にフォールバックします。

  • ログイン画面／サインアップのプロンプト
  • JavaScript が必要なページ
  • ボット対策／CAPTCHA／アクセス拒否のページ
  • 非常に小さい、シェルのような HTML ページ（デフォルトのしきい値は < 800 バイト）

環境変数の設定項目

  • FETCH_TIMEOUT（デフォルト：25）
  • FETCH_CONNECT_TIMEOUT（デフォルト：10）
  • FETCH_MIN_BYTES（デフォルト：800）
  • JINA_FORCE=1 を指定すると、直接取得をスキップして常に jina.ai を使用します

URL 形式に関する注意

フォールバック URL は次の形式で構成されます。 https://r.jina.ai/http://<original-host-and-path>

コメント

Markdown 対応