blog-feed-monitor

ブログフィードモニター

RSS／Atom フィードを使ってブログ記事をスクレイピングします（無料）。JavaScript を多用するサイトには、オプションで Apify にフォールバックできます。

クイックスタート

RSS モードでは API キーは必要ありません。

# Scrape a blog's RSS feed
python3 skills/blog-feed-monitor/scripts/scrape_blogs.py \
  --urls "https://example.com/blog" --days 30

# Multiple blogs with keyword filter
python3 skills/blog-feed-monitor/scripts/scrape_blogs.py \
  --urls "https://blog1.com,https://blog2.com" --keywords "AI,marketing" --output summary

# Force Apify for JS-heavy sites
python3 skills/blog-feed-monitor/scripts/scrape_blogs.py \
  --urls "https://example.com" --mode apify

仕組み

自動モード（デフォルト）

1. URL ごとに、RSS／Atom フィードを検出します。
   • HTML の <link rel="alternate"> タグを確認します
   • よく使われるパスを調べます：/feed、/rss、/atom.xml、/feed.xml、/rss.xml、/blog/feed、/index.xml
2. 検出したフィードを解析します（RSS 2.0 と Atom に対応）
3. URL の読み込みに失敗した場合、Apify の jupri/rss-xml-scraper にフォールバックします（トークンがある場合）
4. 日付とキーワードによるフィルタリングをクライアント側で適用します

注： Apify のフォールバックアクター jupri/rss-xml-scraper は更新が必要な可能性があります。最近は動作確認されていません。RSS モードはこれがなくても安定して動作します。

RSS モード

RSS フィードのみを試し、Apify にはフォールバックしません。

Apify モード

RSS の検出をスキップして、Apify アクターを直接使用します。

CLI リファレンス

フラグ	デフォルト	説明
--urls	必須	ブログの URL（複数指定する場合はカンマ区切り）
--keywords	なし	フィルタリングするキーワード（カンマ区切り、OR 条件）
--days	30	過去 N 日間の記事のみを含めます
--max-posts	50	返す記事の最大数
--mode	auto	auto（RSS ＋フォールバック）、rss（RSS のみ）、apify（Apify のみ）
--output	json	出力形式：json または summary
--token	env var	Apify トークン（Apify モード／フォールバックでのみ必要）
--timeout	300	Apify の実行時間の最大秒数

コスト

• RSS モード： 無料（API 不要、トークン不要）
• Apify モード： jupri/rss-xml-scraper を使用します。Apify クレジットの消費は最小限です