firecrawl-scraping

Firecrawl によるスクレイピング

概要

個々のウェブページをスクレイピングし、LLM ですぐに使えるクリーンな Markdown に変換します。JavaScript のレンダリング、ボット対策、動的コンテンツに対応しています。

簡単な判断フロー

What are you scraping?
│
├── Single page (article, blog, docs)
│   └── references/single-page.md
│   └── Script: scripts/firecrawl_scrape.py
│
└── Entire website (multiple pages, crawling)
    └── references/website-crawler.md
    └── (Use Apify Website Content Crawler for multi-page)

環境設定

# Required in .env
FIRECRAWL_API_KEY=fc-your-api-key-here

API キーの取得先：https://firecrawl.dev/app/api-keys

一般的な使用方法

シンプルなスクレイピング

python scripts/firecrawl_scrape.py "https://example.com/article"

オプションを指定する場合

python scripts/firecrawl_scrape.py "https://wsj.com/article" \
  --proxy stealth \
  --format markdown summary \
  --timeout 60000

プロキシモード

モード	用途
basic	標準的なサイト。最速です
stealth	ボット対策、プレミアムコンテンツ（WSJ、NYT）
auto	Firecrawl に判断を任せます（推奨）

出力形式

• markdown - クリーンな Markdown コンテンツ（デフォルト）
• html - 生の HTML
• summary - AI が生成した要約
• screenshot - ページのスクリーンショット
• links - ページ上のすべてのリンク

コスト

ページあたり約 1 クレジットです。ステルスプロキシでは追加のクレジットを使用する場合があります。

セキュリティに関する注意事項

認証情報の取り扱い

• FIRECRAWL_API_KEY は .env ファイルに保存してください（git には絶対にコミットしないでください）
• API キーは https://firecrawl.dev/app/api-keys で再生成できます
• スクリプトの出力に API キーを記録または表示しないでください
• ハードコードした値ではなく、環境変数を使用してください

データプライバシー

• スクレイピング対象は、一般にアクセス可能なウェブページのみです
• スクレイピングしたコンテンツは Firecrawl のサーバーで一時的に処理されます
• Markdown の出力はローカルの .tmp/ ディレクトリに保存されます
• スクリーンショット（要求した場合）はローカルに保存されます
• リクエスト後、Firecrawl はデータを永続的に保持しません

アクセス範囲

• API キーを使用すると、スクレイピング機能に全面的にアクセスできます
• 詳細な権限範囲は設定できません
• Firecrawl ダッシュボードで使用状況を監視してください

コンプライアンスに関する考慮事項

• Robots.txt：Firecrawl はデフォルトで robots.txt を尊重します
• 公開コンテンツのみ：一般にアクセス可能なページのみをスクレイピングしてください
• 利用規約：対象サイトの利用規約を尊重してください
• レート制限：組み込みのレート制限により、不正利用を防止します
• ステルスプロキシ：ステルスモードは必要な場合（有料ニュースなど）にのみ使用してください（認証の回避には使用しないでください）
• GDPR：スクレイピングしたコンテンツには PII が含まれる場合があります。適切に取り扱ってください
• 著作権：スクレイピングしたコンテンツの知的財産権を尊重してください

トラブルシューティング

よくある問題

問題：クレジットを使い切った

症状： API が「insufficient credits」またはクォータ超過エラーを返す 原因： アカウントのクレジットが不足している 解決方法：

• https://firecrawl.dev/app でクレジット残高を確認する
• プランをアップグレードするか、クレジットを追加購入する
• スクレイピングの頻度を減らす
• クレジットを節約するには basic プロキシモードを使用する

問題：ページが正しくレンダリングされない

症状： 空のコンテンツまたは不完全な HTML が返される 原因： JavaScript を多用するページの読み込みが完了していない 解決方法：

• --js-render フラグで JavaScript レンダリングを有効にする
• --timeout 60000（60 秒）でタイムアウトを延長する
• 保護されたサイトでは stealth プロキシモードを試す
• --wait-for セレクターで特定の要素が表示されるまで待機する

問題：403 Forbidden エラー

症状： スクリプトが 403 ステータスコードを返す 原因： サイトが自動アクセスをブロックしている 解決方法：

• stealth プロキシモードを有効にする
• リクエストの間に遅延を追加する
• 時間を変えて試す（一部のサイトは時間帯によってレート制限を行います）
• サイトでログインが必要か確認する（非対応）

問題：Markdown の出力が空

症状： スクレイピングは成功するが、Markdown が空または不正な形式になる 原因： ページ読み込み後に動的コンテンツが読み込まれる、またはページ構造が特殊である 解決方法：

• JavaScript の実行を待つ時間を延ばす
• --wait-for を使用して、特定のコンテンツが表示されるまで待つ
• 生のコンテンツを確認するには html 形式を試す
• コンテンツが iframe 内にあるか確認する（常に対応しているわけではありません）

問題：タイムアウトエラー

症状： リクエストが完了する前にタイムアウトする 原因： ページの読み込みが遅い、またはページのコンテンツが大きい 解決方法：

• タイムアウト値を延長する（最大 120000ms）
• 応答速度を上げるには basic プロキシを使用する
• 可能であれば、ページの特定のセクションを対象にする
• サイトで問題が発生していないか確認する

リソース

• references/single-page.md - 単一ページのスクレイピングの詳細
• references/website-crawler.md - 複数ページのウェブサイトのクロール

統合パターン

スクレイピングと分析

スキル： firecrawl-scraping → parallel-research ユースケース： 競合他社のページをスクレイピングし、コンテンツ戦略を分析します フロー：

1. Firecrawl で競合他社のウェブサイトのページをスクレイピングします
2. クリーンな Markdown に変換します
3. parallel-research を使用して、ポジショニング、メッセージ、機能を分析します

スクレイピングとドキュメント作成

スキル： firecrawl-scraping → content-generation ユースケース： ウェブ調査から要約ドキュメントを作成します フロー：

1. トピックに関する複数の記事ページをスクレイピングします
2. Markdown のコンテンツをまとめます
3. content-generation を使用して要約ドキュメントを生成します

スクレイピングと CRM の情報拡充

スキル： firecrawl-scraping → attio-crm ユースケース： ウェブサイトのデータで企業レコードを拡充します フロー：

1. 企業のウェブサイト（会社概要ページ、チームページ、製品ページ）をスクレイピングします
2. 主要な情報（資金調達、チームの規模、製品）を抽出します
3. 拡充したデータで Attio CRM の企業レコードを更新します