firecrawl-research

FireCrawl Research

概要

FireCrawl API を使用してウェブソースを自動的に検索・スクレイピングし、調査ドキュメントを充実させます。Markdown ファイルから調査トピックを抽出し、ソース資料を含む包括的な調査ドキュメントを作成します。

このスキルを使う場面

次のような場合にこのスキルを使用します。

• 「FireCrawl を使ってこのトピックを調査して」と依頼された場合
• メモやドキュメントをウェブソースで充実させたい場合
• Markdown ファイルに記載されたトピックについて情報を集めたい場合
• 複数のトピックを体系的に検索・スクレイピングする必要がある場合

仕組み

1. トピックの抽出

スクリプトは、次の 2 つの方法を使用して Markdown ファイルから調査トピックを自動的に抽出します。

方法 1：見出し

## Spatial Reasoning in AI
### Computer Vision Applications

Spatial Reasoning in AI と Computer Vision Applications の両方が調査トピックになります。

方法 2：調査タグ

- [research] Large Language Models for robotics
- [search] Theory of Mind in autonomous driving

タグ付けされた項目の両方が調査トピックになります。

2. 検索とスクレイピング

トピックごとに、次の処理を行います。

1. トピックをクエリとして FireCrawl で検索します
2. 最大 N 件の結果を取得します（デフォルト：5 件）
3. 各結果から全文を自動的にスクレイピングします
4. Markdown 形式のコンテンツ（メインコンテンツのみ）を抽出します

3. 出力の生成

指定した出力ディレクトリに新しい Markdown ファイルを作成します。

• トピックごとに 1 ファイル
• ファイル名：{topic}_{timestamp}.md
• 内容：タイトル、日付、ソース数、スクレイピングした全文
• 各ソースには、タイトル、URL、Markdown コンテンツが含まれます

使用方法

基本的な使い方

python scripts/firecrawl_research.py research.md

現在のディレクトリに出力します。

出力ディレクトリを指定する

python scripts/firecrawl_research.py research.md ./output

./output/ フォルダーにファイルを作成します。

トピックごとの結果数を制限する

python scripts/firecrawl_research.py research.md ./output 3

トピックごとに最大 3 件の結果を取得します。

設定

API キーの設定

1. .env.example を .env にコピーします。

   cp .env.example .env
   

2. FireCrawl API キーを追加します。

   FIRECRAWL_API_KEY=fc-your-actual-api-key
   

スクリプトは、スキルの .env ファイルから API キーを自動的に読み込みます。

レート制限

スクリプトには、FireCrawl の無料プラン向けの自動レート制限が含まれています。

• 無料プランの制限： 5 リクエスト／分
• 組み込みの待機時間： トピック間に 12 秒
• API エラーとクレジットの使い切りを防ぎます

複数のトピックを処理する場合、次の時間が目安です。

• 5 トピック：約 1 分
• 10 トピック：約 2 分
• 20 トピック：約 4 分

ワークフローの例

ユーザーの依頼：「FireCrawl を使って、これらの AI トピックを調査して」

入力ファイル（ai-research.md）：

# AI Research Topics

## Spatial Reasoning in Vision-Language Models

- [research] Embodied AI for robotics
- [research] Computer Use Agents

コマンド：

python scripts/firecrawl_research.py ai-research.md ./research_output 5

出力：

research_output/
├── Spatial_Reasoning_in_Vision-Language_Models_20251122_140530.md
├── Embodied_AI_for_robotics_20251122_140542.md
└── Computer_Use_Agents_20251122_140554.md

各ファイルには、次の内容が含まれます。

• トピックのタイトル
• タイムスタンプ
• ソース数
• 最大 5 件のソースからスクレイピングした全文
• ソースの URL

よくあるパターン

パターン 1：手早く調査する

既存のメモからトピックを抽出して調査し、現在のフォルダーに保存します。

python scripts/firecrawl_research.py my-notes.md

パターン 2：整理して調査する

調査結果用の専用出力フォルダーを作成します。

python scripts/firecrawl_research.py topics.md ./research_results

パターン 3：深く掘り下げる

包括的に調査するため、トピックごとの結果数を増やします。

python scripts/firecrawl_research.py topics.md ./deep_research 10

パターン 4：Obsidian Vault との連携

Vault の research フォルダーに直接出力します。

python scripts/firecrawl_research.py topics.md ~/Brains/brain/Research

エラー処理

「API key not found」

スキルフォルダーに FIRECRAWL_API_KEY=... を記述した .env ファイルを作成します。

「Rate limit exceeded」

• 無料プラン：5 リクエスト／分
• スクリプトには 12 秒の待機時間が組み込まれています
• それでも制限に達する場合は、トピック数を減らすか、実行の間隔を空けてください

「Insufficient credits」

• FireCrawl アカウントのクレジットを確認します
• プランをアップグレードするか、クレジットがリセットされるまで待ちます

「No topics found」

次の形式で Markdown にトピックを追加します。

• ## Header format
• - [research] Topic format
• - [search] Topic format

スクリプトの詳細

場所： scripts/firecrawl_research.py

依存関係：

• python-dotenv - 環境変数の管理
• requests - FireCrawl API への HTTP リクエスト

依存関係をインストールする：

pip install python-dotenv requests

使用する FireCrawl の機能：

• /v1/search エンドポイント - 自動スクレイピング付き検索
• scrapeOptions.formats: ['markdown'] - Markdown 出力
• scrapeOptions.onlyMainContent: true - ノイズを除外

学術論文の執筆テンプレート

このスキルには、Markdown 形式で科学論文を執筆するためのテンプレートが含まれています。

利用可能なテンプレート

1. Pandoc 学術論文（assets/templates/pandoc-scholarly-paper.md）

• 標準的な学術論文形式
• Pandoc コンバーターに対応
• BibTeX による引用をサポート
• PDF、DOCX、HTML にエクスポート

2. MyST 科学論文（assets/templates/myst-scientific-paper.md）

• MyST（Markedly Structured Text）形式
• 高度な相互参照機能
• 専門的な科学出版に対応
• 複数形式へのエクスポート（PDF、LaTeX、DOCX）

テンプレートの使用方法

テンプレートをプロジェクトにコピーします：

cp assets/templates/pandoc-scholarly-paper.md my-paper.md
# or
cp assets/templates/myst-scientific-paper.md my-paper.md

内容を編集します：

• YAML フロントマター（タイトル、著者、所属）を更新します
• セクションごとに内容を記述します
• [@AuthorYear]（Pandoc）または {cite}\AuthorYear``（MyST）を使って引用を追加します

PDF／DOCX に変換します：

python scripts/convert_academic.py my-paper.md pdf
python scripts/convert_academic.py my-paper.md docx
python scripts/convert_academic.py my-paper.md pdf --myst  # For MyST

参考文献の生成

FireCrawl の調査結果を BibTeX の参考文献エントリーに変換します：

python scripts/generate_bibliography.py research_output/*.md -o references.bib

この処理で行われること：

• FireCrawl の Markdown ファイルから URL とタイトルを抽出します
• BibTeX の @misc エントリーを生成します
• 引用キーを自動的に作成します
• アクセス日を追加します

ワークフローの例：

# 1. Research topics
python scripts/firecrawl_research.py topics.md ./research

# 2. Generate bibliography
python scripts/generate_bibliography.py research/*.md -o refs.bib

# 3. Copy template
cp assets/templates/pandoc-scholarly-paper.md paper.md

# 4. Edit paper.md (add content, cite sources)

# 5. Convert to PDF
python scripts/convert_academic.py paper.md pdf

引用の例

Pandoc の構文：

Recent research [@Smith2024] shows...
Multiple studies [@Jones2023; @Brown2024] indicate...

MyST の構文：

Recent research {cite}`Smith2024` shows...
Multiple studies {cite}`Jones2023,Brown2024` indicate...

参考文献ファイルの例

assets/references.bib に、一般的なエントリータイプを含む参考文献の例があります：

• 学術誌論文（@article）
• 学会論文（@inproceedings）
• 書籍（@book）
• 博士論文（@phdthesis）
• ウェブリソース（@misc）
• プレプリント（arXiv を含む @article）

ヒント

1. トピックを階層的に整理する - メイントピックには ##、サブトピックには ### を使用します
2. わかりやすい名前を付ける - トピックのテキストがファイル名になるため、明確な名前にします
3. バッチ処理 - 効率化のため、関連するトピックを1つのファイルにまとめます
4. 出力の整理 - 調査プロジェクトごとに個別のフォルダーを作成します
5. 内容の確認 - 読みやすさを保つため、結果はソースごとに3000文字で切り捨てられます
6. 学術ワークフロー - 参考文献ジェネレーターを使って、論文で調査ソースを引用します
7. テンプレートのカスタマイズ - 自分の分野の引用スタイルに合わせてテンプレートを変更します

制限事項

• 要約機能なし - 要約ではなく、スクレイピングした生のコンテンツを返します
• 重複排除機能なし - トピック間でソースが重複する場合があります
• 品質による順位付けなし - すべての結果を同等に扱います
• 新規ファイルのみ - 既存のファイルには追記しません
• 無料枠の制約 - レート制限により処理速度が影響を受けます