关于 scraping-skills
scraping-skills 汇集 6 项网页抓取、数据集发现和仓库元数据采集技能，面向研究数据收集。内容涵盖 API、无代码工具及 OAI-PMH 等方法，并提供伦理与法律方面的指导。
主要功能
- 016 项数据采集技能
- 02网页抓取伦理指南
- 03研究数据集发现
- 04可视化无代码采集指南
- 05使用 OAI-PMH 收集仓库数据
适用场景
- 01查找并下载研究数据集
- 02合规收集 Google Scholar 数据
- 03采集开放仓库元数据
- 04选择基于 API 的数据收集方式
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/scraping-skills确认已加载。
详细介绍
网页抓取与数据采集 — 6 项技能
选择符合用户需求的技能，然后read其 SKILL.md。
| 技能 | 描述 |
|---|---|
| academic-web-scraping | 以合乎伦理的方式抓取网页并通过 API 收集研究数据 |
| dataset-finder-guide | 从 Kaggle、HuggingFace 和代码仓库搜索并下载研究数据集 |
| easy-spider-guide | EasySpider 可视化无代码网页数据采集指南 |
| google-scholar-scraper | 合乎伦理的 Google Scholar 数据采集技巧和最佳实践 |
| repository-harvesting-guide | 使用 OAI-PMH 协议从开放代码仓库收集元数据 |
| web-scraping-ethics-guide | 为研究目的合乎伦理且合法地抓取网页数据 |
评论
支持 Markdown