关于 scraping
scraping 是用于从网站获取并提取结构化数据的技能。它会逐步从直接请求升级到浏览器渲染、代理和专用 API，并强调规范处理请求。
主要功能
- 01逐级升级抓取方式
- 02渲染 JavaScript 网站
- 03为受限访问轮换代理
- 04使用平台专用抓取 API
- 05处理分页并提取结构化数据
适用场景
- 01采集 JavaScript 密集型页面
- 02处理限流或地域受限网站
- 03提取分页网站数据
- 04保存原始与处理后结果
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/scraping确认已加载。
详细介绍
抓取技能
渐进式升级
- 直接获取 — 使用标准请求头，通过 curl/fetch 获取
- 浏览器渲染 — 使用无头浏览器处理 JavaScript 密集型网站
- 代理轮换 — 用于访问受速率限制或受地理位置限制的内容
- 专用 API — 特定平台的爬虫
规则
- 遵守 robots.txt
- 限制请求速率
- 处理分页
- 提取结构化数据
- 同时存储原始版本和处理后的版本
评论
支持 Markdown