web-scraper

Web Scraper

BeautifulSoup と requests を使ってウェブサイトから構造化データを抽出し、あらゆるウェブページを利用可能なデータに変換します。

このスキルを使う場面

• 競合調査 - 価格、機能、ポジショニングをスクレイピングします
• 見込み顧客の獲得 - ディレクトリから連絡先情報を抽出します
• コンテンツ監査 - 見出し、リンク、メタデータを取得します
• 価格のモニタリング - 競合他社の価格変更を追跡します
• データ収集 - 複数の情報源から調査データを収集します

Claude が行うことと、あなたが決めること

Claude が行うこと	あなたが決めること
分析フレームワークを構成します	戦略上の優先事項
市場データを統合します	競争上のポジショニング
機会を特定します	リソース配分
戦略的な選択肢を作成します	最終的な戦略の選択
実装方法を提案します	実行に関する判断

依存関係

pip install beautifulsoup4 requests pandas click lxml

コマンド

要素のスクレイピング

python scripts/main.py scrape https://example.com --selector "h1,h2,p"
python scripts/main.py scrape https://example.com --selector ".product-price"

リンクの抽出

python scripts/main.py links https://example.com
python scripts/main.py links https://example.com --internal-only

メールアドレスの抽出

python scripts/main.py emails https://example.com
python scripts/main.py emails https://example.com --depth 2

構造化データの抽出

python scripts/main.py structured https://example.com/article --schema article
python scripts/main.py structured https://example.com/product --schema product

例

例 1：競合他社の価格をスクレイピングする

python scripts/main.py scrape https://competitor.com/pricing --selector ".price,.plan-name"

# Output:
# Extracted 6 elements
# 1. Starter - $29/mo
# 2. Pro - $99/mo
# 3. Enterprise - Contact us

例 2：記事のコンテンツを抽出する

python scripts/main.py structured https://blog.example.com/post --schema article

# Output: article_data.json
# {
#   "title": "How to Scale Your Startup",
#   "author": "Jane Doe",
#   "date": "2024-01-15",
#   "content": "...",
#   "word_count": 1523
# }

CSS セレクターのリファレンス

セレクター	説明	例
tag	要素の種類	h1、p、div
.class	クラス名	.price、.title
#id	要素 ID	#main-content
tag.class	クラス付きタグ	div.product
tag[attr]	属性を持つ要素	a[href]
parent > child	直接の子要素	ul > li
tag1, tag2	複数の要素	h1, h2, h3

倫理的なスクレイピングのガイドライン

1. robots.txt を確認する - サイトのスクレイピングポリシーを尊重します
2. リクエスト頻度を制限する - サーバーに負荷をかけないようにします（1～2 リクエスト/秒）
3. 身元を明示する - 内容がわかる User-Agent を使用します
4. リクエストをキャッシュする - 変更されていないページを再スクレイピングしないようにします
5. 利用規約を確認する - スクレイピングが許可されているか確認します

スキルの範囲

このスキルが得意なこと

• 戦略分析の構成
• 市場機会の特定
• 戦略フレームワークの作成
• 競合データの統合

このスキルでできないこと

• 市場調査の代替
• 戦略的成功の保証
• 競合他社の非公開情報の把握
• 経営判断

関連スキル

• competitor-monitor - 競合他社の変更をモニタリングします
• pdf-extractor - PDF から情報を抽出します

スキルのメタデータ

• モード: centaur

category: automation
subcategory: data-extraction
dependencies: [beautifulsoup4, requests, pandas]
difficulty: intermediate
time_saved: 5+ hours/week