web-search-scraper-api-skill について
BrowserAct を利用し、指定された HTTP または HTTPS の URL からウェブページの内容を抽出して Markdown で返すスキルです。ページのテキストを処理・参照するエージェントやアプリ向けです。
主な機能
- 01指定 URL からコンテンツを抽出
- 02ウェブページのテキストを Markdown で出力
- 03HTTP と HTTPS の URL に対応
- 04BrowserAct の定義済みワークフロー
活用シーン
- 01記事を Markdown に変換
- 02ブログ記事の読みやすいテキストを取得
- 03オフライン閲覧用のドキュメント収集
- 04ページ内容の変化を監視
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/インストール後、Claude Code で/web-search-scraper-api-skillを入力して読み込まれたか確認します。
同梱ファイルscripts/web_search_scraper_api.py
詳細
Web Search Scraper API スキル
📖 はじめに
このスキルは、BrowserAct Web Search Scraper API テンプレートを通じて、ウェブページをワンストップで抽出するサービスを提供します。指定された任意の URL から、構造化された Markdown コンテンツを直接抽出できます。対象の URL を入力するだけで、クリーンで使いやすい Markdown データを取得できます。
✨ 特長
- ハルシネーションなしで、安定した正確なデータ抽出を実現：事前設定されたワークフローにより、AI による生成時のハルシネーションを回避します。
- 人間であることの確認に関する問題なし：reCAPTCHA などの認証チャレンジに対応する必要はありません。
- IP アクセス制限やジオフェンシングなし：地域ごとの IP 制限に対処する必要はありません。
- より俊敏な実行速度：AI 主導のブラウザー自動化ソリューションのみを使用する場合と比べて、タスクをより速く実行できます。
- 非常に高いコストパフォーマンス：多くのトークンを消費する AI ソリューションと比べて、データ取得コストを大幅に削減できます。
🔑 API キーの確認手順
実行前に、BROWSERACT_API_KEY 環境変数を確認する必要があります。設定されていない場合は、まず他の操作を行わず、ユーザーに確認して、ユーザーがキーを提供するまで待ってください。
この時点で、エージェントはユーザーに次のように伝える必要があります：
"BrowserAct API Key が設定されていません。まず BrowserAct Console にアクセスして、Key を取得してください。"
🛠️ 入力パラメーターの詳細
エージェントは、スクリプトを呼び出す際に、ユーザーのニーズに応じて次のパラメーターを柔軟に設定してください。
- target_url
- 型：
string - 説明：コンテンツを抽出するウェブサイトの URL です。任意の HTTP/HTTPS URL に対応しています。
- 例：
https://www.browseract.com
- 型：
🚀 呼び出し方法（推奨）
エージェントは、独立した次のスクリプトを実行することで、「1 つのコマンドで結果を取得」できます。
# Example invocation
python -u ./scripts/web_search_scraper_api.py "target_url"
⏳ 実行状況の監視
このタスクにはブラウザーの自動操作が含まれるため、完了までに長い時間（数分かかることもあります）がかかる場合があります。スクリプトの実行中は、タイムスタンプ付きのステータスログ（例：[14:30:05] Task Status: running）が継続的に出力されます。
エージェントへの注意：
- スクリプトから結果が返されるのを待つ間、ターミナルの出力を常に確認してください。
- ターミナルに新しいステータスログが出力され続けている限り、タスクは正常に実行中です。デッドロックや応答なしと誤認しないでください。
- ステータスが長時間変わらない場合、またはスクリプトが出力を停止し、結果も返されない場合は、再試行の仕組みを実行できます。
📊 データ出力の説明
実行に成功すると、スクリプトが API レスポンスから結果を直接解析して出力します。結果には次の内容が含まれます：
content：ウェブページの完全な Markdown コンテンツです。
⚠️ エラー処理と再試行の仕組み
スクリプトの実行中にエラー（ネットワークの変動やタスクの失敗など）が発生した場合、エージェントは次の手順に従ってください。
-
出力内容を確認する：
- 出力に
"Invalid authorization"が含まれている場合、API Key が無効または期限切れであることを意味します。この場合、再試行せず、API Key を確認して正しいキーを提供するようユーザーに案内してください。 - 出力に
"Invalid authorization"が含まれていないにもかかわらずタスクの実行に失敗した場合（たとえば、出力がError:で始まる場合や、返された結果が空の場合）、エージェントはスクリプトを自動的にもう一度だけ再実行してください。
- 出力に
-
再試行の上限：
- 自動再試行は1 回のみです。2 回目の試行も失敗した場合は、再試行を停止し、具体的なエラーメッセージをユーザーに報告してください。
🌟 代表的なユースケース
- 記事の抽出：ニュース記事のリンクから主要なコンテンツをスクレイピングし、Markdown にします。
- ブログ記事の解析：指定したブログ記事の URL から読みやすいテキストをダウンロードします。
- ウェブページから Markdown への変換：任意のウェブサイトの URL を、整形された Markdown 形式に変換します。
- ドキュメントのスクレイピング：チュートリアルやドキュメントのページの内容を取得し、オフラインで読めるようにします。
- コンテンツの監視：特定のウェブページからテキストを自動的に抽出し、更新を確認します。
- データ処理：任意の HTTP/HTTPS URL の HTML を解析して、コンテンツを構造化します。