decodo-scraper

Decodo Scraper OpenClaw スキル

このスキルを使うと、Decodo Web Scraping API 経由で Google 検索、任意の URL のスクレイピング、YouTube 字幕の取得ができます。検索は結果セクションを含む JSON オブジェクトを出力します。URL のスクレイピングはプレーンな Markdown を出力します。AmazonとAmazon 検索は、解析済みの商品ページまたは検索結果を出力します（JSON）。Amazon 検索では --query を使用します。YouTube 字幕は文字起こし／字幕を出力します。Reddit 投稿とReddit サブレディットは、投稿／一覧の内容を出力します（JSON）。

認証： DECODO_AUTH_TOKEN（Decodo Dashboard → Scraping APIs から取得した Basic 認証トークン）を環境変数、またはリポジトリのルートにある .env ファイルに設定してください。

**エラー：**失敗すると、スクリプトは stderr に JSON エラーを書き込み、コード 1 で終了します。

---

ツール

1. Google 検索

URL、回答、または構造化された検索結果を見つけるときに使用します。API は results キーに複数のセクションを含む JSON オブジェクトを返します（クエリによっては、一部のセクションが含まれない場合があります）。

セクション	説明
organic	主な検索結果（タイトル、リンク、スニペット）。
ai_overviews	Google に表示される場合の、AI が生成した概要または要約。
paid	有料／スポンサー検索結果（広告）。
related_questions	「他の人はこちらも質問」のような質問と回答。
related_searches	関連する検索クエリの候補。
discussions_and_forums	フォーラムまたはディスカッションの検索結果（例：Reddit、Stack Exchange）。

スクリプトは内側の results オブジェクト（これらのセクション）のみを出力します。ページネーション情報（page、last_visible_page、parse_status_code）は含まれません。

コマンド：

python3 tools/scrape.py --target google_search --query "your search query"

例：

python3 tools/scrape.py --target google_search --query "best laptops 2025"
python3 tools/scrape.py --target google_search --query "python requests tutorial"

オプション：場所／言語を指定するには --geo us または --locale en を使用します。

---

2. URL のスクレイピング

特定の Web ページの内容を取得するときに使用します。デフォルトでは、API はコンテンツを Markdown として返します（LLM に適しており、トークン使用量も少なくなります）。

コマンド：

python3 tools/scrape.py --target universal --url "https://example.com"

例：

python3 tools/scrape.py --target universal --url "https://example.com"
python3 tools/scrape.py --target universal --url "https://news.ycombinator.com/"

---

3. Amazon 商品ページ

Amazon（またはその他の Amazon）ページから解析済みデータを取得するときに使用します。商品ページの URL を --url に指定します。スクリプトは parse: true を送信し、内側の results オブジェクト（例：ads、商品詳細など）を出力します。

コマンド：

python3 tools/scrape.py --target amazon --url "https://www.amazon.com/dp/PRODUCT_ID"

例：

python3 tools/scrape.py --target amazon --url "https://www.amazon.com/dp/B09H74FXNW"

---

4. Amazon 検索

Amazon を検索して、解析済みの結果（検索結果一覧、delivery_postcode など）を取得するときに使用します。検索クエリを --query に指定します。

コマンド：

python3 tools/scrape.py --target amazon_search --query "your search query"

例：

python3 tools/scrape.py --target amazon_search --query "laptop"

---

5. YouTube 字幕

YouTube 動画の字幕／文字起こしを取得するときに使用します。--query に動画 ID（例：youtube.com/watch?v=VIDEO_ID から取得）を指定します。

コマンド：

python3 tools/scrape.py --target youtube_subtitles --query "VIDEO_ID"

例：

python3 tools/scrape.py --target youtube_subtitles --query "dFu9aKJoqGg"

---

6. Reddit 投稿

Reddit 投稿（スレッド）の内容を取得するときに使用します。投稿の完全な URL を --url に指定します。

コマンド：

python3 tools/scrape.py --target reddit_post --url "https://www.reddit.com/r/SUBREDDIT/comments/ID/..."

例：

python3 tools/scrape.py --target reddit_post --url "https://www.reddit.com/r/nba/comments/17jrqc5/serious_next_day_thread_postgame_discussion/"

---

7. Reddit サブレディット

Reddit サブレディットの一覧（投稿）を取得するときに使用します。サブレディットの URL を --url に指定します。

コマンド：

python3 tools/scrape.py --target reddit_subreddit --url "https://www.reddit.com/r/SUBREDDIT/"

例：

python3 tools/scrape.py --target reddit_subreddit --url "https://www.reddit.com/r/nba/"

---

概要

アクション	対象	引数	コマンド例
検索	google_search	--query	python3 tools/scrape.py --target google_search --query "laptop"
ページのスクレイピング	universal	--url	python3 tools/scrape.py --target universal --url "https://example.com"
Amazon 商品	amazon	--url	python3 tools/scrape.py --target amazon --url "https://www.amazon.com/dp/B09H74FXNW"
Amazon 検索	amazon_search	--query	python3 tools/scrape.py --target amazon_search --query "laptop"
YouTube 字幕	youtube_subtitles	--query	python3 tools/scrape.py --target youtube_subtitles --query "dFu9aKJoqGg"
Reddit 投稿	reddit_post	--url	python3 tools/scrape.py --target reddit_post --url "https://www.reddit.com/r/nba/comments/17jrqc5/..."
Reddit サブレディット	reddit_subreddit	--url	python3 tools/scrape.py --target reddit_subreddit --url "https://www.reddit.com/r/nba/"

出力： 検索 → JSON（セクション）。URL のスクレイピング → Markdown。Amazon／Amazon 検索 → JSON（広告、商品情報、delivery_postcode などの結果）。YouTube → 文字起こし。Reddit → JSON（コンテンツ）。