decodo-scraper

Decodo Scraper OpenClaw 技能

使用此技能通过 Decodo Web Scraping API 搜索 Google、抓取任意 URL，或获取 YouTube 字幕。搜索会输出结果部分组成的 JSON 对象；抓取 URL会输出纯 Markdown；Amazon 和 Amazon 搜索会输出解析后的商品页面或搜索结果（JSON）。Amazon 搜索使用 --query。YouTube 字幕会输出文字记录/字幕。Reddit 帖子和 Reddit subreddit会输出帖子/列表内容（JSON）。

**身份验证：**在环境变量或仓库根目录的 .env 文件中设置 DECODO_AUTH_TOKEN（来自 Decodo Dashboard → Scraping APIs 的 Basic 身份验证令牌）。

**错误：**如果失败，脚本会将 JSON 错误写入 stderr，并以代码 1 退出。

---

工具

1. 搜索 Google

用于查找 URL、答案或结构化搜索结果。API 会返回一个 JSON 对象，其 results 键包含多个部分（并非每次查询都会包含所有部分）：

部分	描述
organic	主要搜索结果（标题、链接、摘要）。
ai_overviews	Google 显示时提供的 AI 生成概览或摘要。
paid	付费/赞助结果（广告）。
related_questions	类似“用户还会问”的问题与答案。
related_searches	建议的相关搜索查询。
discussions_and_forums	论坛或讨论结果（例如 Reddit、Stack Exchange）。

脚本只输出内部的 results 对象（这些部分）；不包含分页信息（page、last_visible_page、parse_status_code）。

命令：

python3 tools/scrape.py --target google_search --query "your search query"

示例：

python3 tools/scrape.py --target google_search --query "best laptops 2025"
python3 tools/scrape.py --target google_search --query "python requests tutorial"

可选：使用 --geo us 或 --locale en 指定位置/语言。

---

2. 抓取 URL

用于获取指定网页的内容。默认情况下，API 会以 Markdown 格式返回内容（更适合大模型，且令牌用量更低）。

命令：

python3 tools/scrape.py --target universal --url "https://example.com"

示例：

python3 tools/scrape.py --target universal --url "https://example.com"
python3 tools/scrape.py --target universal --url "https://news.ycombinator.com/"

---

3. Amazon 商品页面

用于获取 Amazon 商品（或其他 Amazon 页面）的解析数据。将商品页面 URL 作为 --url 传入。脚本会发送 parse: true，并输出内部的 results 对象（例如 ads、商品详情等）。

命令：

python3 tools/scrape.py --target amazon --url "https://www.amazon.com/dp/PRODUCT_ID"

示例：

python3 tools/scrape.py --target amazon --url "https://www.amazon.com/dp/B09H74FXNW"

---

4. Amazon 搜索

用于搜索 Amazon 并获取解析后的结果（搜索结果列表、delivery_postcode 等）。将搜索查询作为 --query 传入。

命令：

python3 tools/scrape.py --target amazon_search --query "your search query"

示例：

python3 tools/scrape.py --target amazon_search --query "laptop"

---

5. YouTube 字幕

用于获取 YouTube 视频的字幕/文字记录。将视频 ID（例如来自 youtube.com/watch?v=VIDEO_ID）作为 --query 传入。

命令：

python3 tools/scrape.py --target youtube_subtitles --query "VIDEO_ID"

示例：

python3 tools/scrape.py --target youtube_subtitles --query "dFu9aKJoqGg"

---

6. Reddit 帖子

用于获取 Reddit 帖子（主题串）的内容。将完整帖子 URL 作为 --url 传入。

命令：

python3 tools/scrape.py --target reddit_post --url "https://www.reddit.com/r/SUBREDDIT/comments/ID/..."

示例：

python3 tools/scrape.py --target reddit_post --url "https://www.reddit.com/r/nba/comments/17jrqc5/serious_next_day_thread_postgame_discussion/"

---

7. Reddit subreddit

用于获取 Reddit subreddit 的列表（帖子）。将 subreddit URL 作为 --url 传入。

命令：

python3 tools/scrape.py --target reddit_subreddit --url "https://www.reddit.com/r/SUBREDDIT/"

示例：

python3 tools/scrape.py --target reddit_subreddit --url "https://www.reddit.com/r/nba/"

---

摘要

操作	目标	参数	示例命令
搜索	google_search	--query	python3 tools/scrape.py --target google_search --query "laptop"
抓取页面	universal	--url	python3 tools/scrape.py --target universal --url "https://example.com"
Amazon 商品	amazon	--url	python3 tools/scrape.py --target amazon --url "https://www.amazon.com/dp/B09H74FXNW"
Amazon 搜索	amazon_search	--query	python3 tools/scrape.py --target amazon_search --query "laptop"
YouTube 字幕	youtube_subtitles	--query	python3 tools/scrape.py --target youtube_subtitles --query "dFu9aKJoqGg"
Reddit 帖子	reddit_post	--url	python3 tools/scrape.py --target reddit_post --url "https://www.reddit.com/r/nba/comments/17jrqc5/..."
Reddit 子版块	reddit_subreddit	--url	python3 tools/scrape.py --target reddit_subreddit --url "https://www.reddit.com/r/nba/"

**输出：**搜索 → JSON（分区）。抓取 URL → Markdown。Amazon / Amazon 搜索 → JSON（结果，例如广告、商品信息、delivery_postcode）。YouTube → 转录文本。Reddit → JSON（内容）。