scraping-skills について
scraping-skillsは、倫理的なウェブスクレイピング、データセット探索、リポジトリのメタデータ収集に関する6つのスキル集です。研究データ収集向けに、API、ノーコードツール、OAI-PMHなどの方法を案内します。
主な機能
- 01データ収集スキル6種類
- 02倫理的なスクレイピングガイド
- 03研究データセットの探索
- 04ビジュアルなノーコード収集ガイド
- 05OAI-PMHによるリポジトリ収集
活用シーン
- 01研究データセットの検索とダウンロード
- 02Google Scholarデータの倫理的な収集
- 03オープンリポジトリのメタデータ収集
- 04APIベースのデータ収集方法の選択
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/scraping-skillsを入力して読み込まれたか確認します。
詳細
Web スクレイピングとデータ収集 — 6 つのスキル
ユーザーのニーズに合ったスキルを選択してから、その SKILL.md を read してください。
| スキル | 説明 |
|---|---|
| academic-web-scraping | 研究のための倫理的な Web スクレイピングと API ベースのデータ収集 |
| dataset-finder-guide | Kaggle、HuggingFace、リポジトリから研究用データセットを検索してダウンロード |
| easy-spider-guide | ビジュアル操作でコード不要の Web データ収集を行う EasySpider のガイド |
| google-scholar-scraper | Google Scholar のデータを倫理的に収集する手法とベストプラクティス |
| repository-harvesting-guide | OAI-PMH プロトコルを使用してオープンリポジトリからメタデータを収集 |
| web-scraping-ethics-guide | 研究目的で Web データを倫理的かつ合法的にスクレイピング |
コメント
Markdown 対応