scraperapi-research-agent について
ScraperAPI Research Agentは、出典付きレポートを必要とする調査向けのエンドツーエンド型エージェントスキルです。ScraperAPIで情報源を検索・取得し、Anthropic Files APIとMessages APIを通じてClaudeが内容をまとめます。
主な機能
- 01調査質問を検索クエリに分解
- 02Google Search構造化エンドポイントで情報源を発見
- 03情報源を重複排除し件数を制限
- 04取得内容をアップロードしてClaudeが統合
- 05インライン引用付きMarkdownレポートを作成
活用シーン
- 01特定テーマの事実要約を作成
- 02出典を示して選択肢を比較
- 03最新のWeb情報に基づく調査レポート作成
インストール
コマンドをコピーしてターミナルで実行します。
npx skills add https:/インストール後、Claude Code で/scraperapi-research-agentを入力して読み込まれたか確認します。
同梱ファイルassets/report_template.mdscripts/research_agent.py
詳細
ScraperAPI リサーチエージェント
エンドツーエンドの自律型リサーチ：ScraperAPI が情報源を検索して取得 → Anthropic Files API が引用付きドキュメントとして取り込み → Claude がレポートを統合します。
実行方法：
# Install dependencies
pip install requests anthropic
# Set env vars
export SCRAPERAPI_API_KEY=your-key
export ANTHROPIC_API_KEY=your-key
# Run
python skills/scraperapi-research-agent/scripts/research_agent.py \
--question "What are the best practices for rate limiting in web APIs?" \
--max-sources 5 \
--output report.md
実装の全容については、scripts/research_agent.py を参照してください。
計画チェックリスト
リサーチを開始する前に、以下を確認してください。
- 質問の明確さ — 有用な検索クエリを作成できるほど、質問は具体的ですか？「AIについて教えて」のような曖昧な質問では、ノイズが発生します。より良い例：「特定分野の LLM では、RAG とファインチューニングにどのようなトレードオフがありますか？」
- 情報源の数 — 情報源はいくつ必要ですか？事実に基づく要約なら通常 3～5 件、比較分析なら 8～10 件で十分です。情報源が増えるほど、ScraperAPI のクレジット消費も増えます。
- 最新性 — 回答は最近の出来事に左右されますか？検索クエリには、最近の日付フィルターが使用されます。
- クレジット予算 — 情報源 1 件のスクレイピングには約 1 クレジットかかります（JS レンダリングを使用する場合はさらに多くなります）。情報源 5 件なら、合計で約 5～10 クレジットです。
- 停止条件 — 停止する条件を定義してください。デフォルトの停止条件は
--max-sources（5）です。無期限にループさせないでください。
リサーチループ
1. PLAN
↓ Claude decomposes the question into 2–3 targeted search queries
2. DISCOVER
↓ ScraperAPI google/search structured endpoint → list of (url, title, snippet)
3. DEDUPLICATE
↓ Filter to top N unique URLs (default: 5), skipping PDFs and low-quality domains
4. FETCH
↓ ScraperAPI scrape each URL as markdown (output_format=markdown)
↓ Skip pages returning < 200 characters (blocked, error pages)
5. UPLOAD
↓ Upload each scraped page to Anthropic Files API as a text/plain artifact
↓ Store file_id for each source
6. SYNTHESIZE
↓ Claude (claude-opus-4-8, adaptive thinking) reads all document artifacts
↓ Returns structured report with inline citations [1], [2]...
7. CLEAN UP
↓ Delete uploaded file artifacts from Anthropic
↓ Write or print the final report
STOP when: max_sources reached, or all queries exhausted (whichever comes first).
停止条件
次のいずれかに該当すると、エージェントは停止します。
--max-sourcesに到達（デフォルト：5）— クレジット消費を制限します- すべての検索クエリを使い切る — これ以上調査する URL がありません
--max-creditsを超過 — ScraperAPI クレジット使用量の上限（任意）
停止条件がない場合、クレジットがなくなるまでリサーチループは取得を続けます。
主なパラメーター
| フラグ | デフォルト | 説明 |
|---|---|---|
--question | （必須） | リサーチの質問 |
--max-sources | 5 | スクレイピングするページの最大数（クレジット予算） |
--output | stdout | レポートをファイルに書き込みます |
--country | us | 地域を絞り込んだ結果を得るための ScraperAPI の国コード |
--model | claude-opus-4-8 | 統合に使用する Anthropic モデル |
出力形式
レポートの構成については、assets/report_template.md を参照してください。
レポートは、次の内容を含む Markdown ドキュメントです。
- タイトル — リサーチの質問をもとに作成
- 要約 — 2～3 文のエグゼクティブサマリー
- 調査結果 —
[N]のインライン引用を含む、構成化されたセクション - 情報源 — URL とタイトルを記載した番号付き参考文献
クレジット消費の見積もり
| 情報源 | スクレイピングのクレジット | Anthropic のトークン | 合計の見積もり |
|---|---|---|---|
| 3 | ~3 | ~15K 入力 / ~2K 出力 | 低 |
| 5 | ~5 | ~25K 入力 / ~3K 出力 | 中 |
| 10 | ~10 | ~50K 入力 / ~5K 出力 | 高 |
同じ質問で再実行する場合、スクレイピングしたコンテンツにはプロンプトキャッシュが適用されます。
使用する ScraperAPI エンドポイント
- Google 検索 —
GET https://api.scraperapi.com/structured/google/search— 情報源の URL を検索します - スクレイピング —
GET https://api.scraperapi.com/?output_format=markdown— ページの内容を取得します
レート制限とクレジット消費については、ScraperAPI docs を参照してください。
使用する Anthropic API
- Files API（ベータ）— スクレイピングしたページをドキュメント成果物としてアップロードします
- Messages API — Claude が引用付きのレポートを統合します
claude-opus-4-8 と Files API のベータ版を利用できる ANTHROPIC_API_KEY が必要です。