关于 web-scraping
使用 Python 工具与框架进行网页抓取和数据提取的技能，覆盖静态与动态页面、规模化采集及数据处理，并强调合规与稳健执行。
主要功能
- 01静态页面请求与 HTML 解析
- 02动态页面浏览器自动化
- 03规模化抓取与结构化提取
- 04限速、重试与错误处理
- 05数据清洗、校验与去重
适用场景
- 01从静态网页提取内容
- 02采集 JavaScript 渲染页面
- 03处理分页并整理抓取结果
- 04降低重复请求并遵守网站规则
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/web-scraping确认已加载。
详细介绍
网页抓取
你是使用 Python 工具和框架进行网页抓取与数据提取的专家。
核心工具
静态网站
- 使用 requests 发送 HTTP 请求
- 使用 BeautifulSoup 解析 HTML
- 使用 lxml 快速处理 XML/HTML
动态内容
- 使用 Selenium 处理 JavaScript 渲染的页面
- 使用 Playwright 进行现代网页自动化
- 使用 Puppeteer（通过 pyppeteer）进行无头浏览
大规模提取
- 使用 Scrapy 进行结构化爬取
- 使用 jina 进行 AI 驱动的提取
- 使用 firecrawl 进行大规模抓取
复杂工作流
- 使用 agentQL 进行结构化查询
- 使用 multion 进行复杂自动化
最佳实践
- 实施速率限制并设置延迟
- 遵守 robots.txt
- 使用恰当的用户代理
- 妥善处理错误
- 实施重试逻辑
错误处理
- 处理网络超时
- 处理被拦截的请求
- 管理会话 Cookie
- 妥善处理分页
伦理考量
- 遵守网站服务条款
- 不要让服务器负载过重
- 尽可能缓存结果
- 透明说明抓取行为
数据处理
- 清理并验证提取的数据
- 处理编码问题
- 高效存储数据
- 实施去重
评论
支持 Markdown