scraping について
scrapingは、ウェブサイトからデータを取得し、構造化して抽出するスキルです。直接リクエストからブラウザー描画、プロキシ、専用APIへ段階的に切り替え、適切なリクエスト処理を重視します。
主な機能
- 01段階的な取得方法の切り替え
- 02JavaScriptサイトのブラウザー描画
- 03アクセス制限時のプロキシ切り替え
- 04プラットフォーム別スクレーパーAPI
- 05ページネーションと構造化抽出
活用シーン
- 01JavaScript主体のページからのデータ収集
- 02レート制限や地域制限への対応
- 03ページ分割されたサイトのデータ抽出
- 04生データと処理済みデータの保存
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/scrapingを入力して読み込まれたか確認します。
詳細
スクレイピングスキル
段階的なエスカレーション
- 直接取得 — 標準ヘッダーを使用して curl/fetch を実行します
- ブラウザーによるレンダリング — JavaScript を多用するサイトにはヘッドレスブラウザーを使用します
- プロキシのローテーション — レート制限や地域制限のあるコンテンツに使用します
- 専用 API — プラットフォーム固有のスクレイパーを使用します
ルール
- robots.txt を尊重します
- リクエストにレート制限を設けます
- ページネーションに対応します
- 構造化データを抽出します
- 生データ版と処理済み版を保存します
コメント
Markdown 対応