mcpField
C
crawl4ai-skill

crawl4ai-skill

github.com/lancelin111データ・データベース17999 回インストール33 週間前に更新
リポジトリ

crawl4ai-skill について

crawl4ai-skillは、ウェブ検索、ページのスクレイピング、サイトのクロールを行うスキルです。LLMで扱うコンテンツの収集に適し、JavaScript描画ページと簡潔なMarkdown出力に対応します。

主な機能

  1. 01DuckDuckGoによるウェブ検索
  2. 02単一ページの取得とサイト全体のクロール
  3. 03サイトマップの認識
  4. 04JavaScript描画ページの取得
  5. 05簡潔または完全なMarkdown出力

活用シーン

  1. 01後から参照するドキュメントサイトのクロール
  2. 02トピックを検索して結果ページを取得
  3. 03動的なウェブページから本文を抽出

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/lancelin111/crawl4ai-skill --skill crawl4ai-skill

インストール後、Claude Code で/crawl4ai-skillを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

CHANGELOG.md
.gitignore
README.md
SECURITY.md
LICENSE
package.json
requirements.txt
pyproject.toml
.github/workflows/
security.yml
docs/
SKILLS_SH_SUPPORT.md
examples/
search_and_crawl.sh
deep_crawl.sh
simple_crawl.sh
src/
__init__.py
search.py
config.py
crawler.py
parser.py
cli.py
utils.py
tests/
__init__.py
test_parser.py
test_crawler.py
test_search.py
test_login.py

詳細

Crawl4AI Skill - ウェブクローラー＆スクレーパー

ウェブクローリング | ウェブスクレイピング | LLM 最適化出力

検索、サイト全体のクロール、動的ページの取得に対応した、インテリジェントなウェブクローラーおよびスクレイピングツールです。LLM に最適化された Markdown 出力を備えた、無料のウェブクローラーおよびスクレーパーです。

主な機能

  • 🔍 ウェブ検索 - DuckDuckGo 検索、API キー不要
  • 🕷️ ウェブクローリング - サイトクローラー、スパイダー、サイトマップの検出
  • 📝 ウェブスクレイピング - スマートスクレーパー、データ抽出
  • 📄 LLM 最適化出力 - Markdown を最適化し、トークンを 80% 節約
  • ⚡ 動的ページのスクレイピング - JavaScript でレンダリングされたページのクロール

クイックスタート

インストール
pip install crawl4ai-skill
ウェブ検索
# Search the web with DuckDuckGo
crawl4ai-skill search "python web scraping"
ウェブスクレイピング | 単一ページのクロール
# Scrape a single web page
crawl4ai-skill crawl https://example.com
ウェブクローリング | サイト全体のクロール
# Crawl entire website / spider
crawl4ai-skill crawl-site https://docs.python.org --max-pages 50

使用例

使用例 1：ドキュメントサイトのウェブクローラー
# Crawl documentation site with spider
crawl4ai-skill crawl-site https://docs.fastapi.com --max-pages 100

クローラーの出力：

  • ❌ 削除：ナビゲーションバー、サイドバー、広告
  • ✅ 保持：見出し、本文、コードブロック
  • 📊 トークン：50,000 → 10,000（-80%）
使用例 2：検索＋スクレイピング
# Search and scrape top results
crawl4ai-skill search-and-crawl "Vue 3 best practices" --crawl-top 3
使用例 3：動的ページのスクレイピング

JavaScript でレンダリングされたページをクロールします（雪球、知乎など）。

# Scrape JavaScript-heavy pages
crawl4ai-skill crawl https://xueqiu.com/S/BIDU --wait-until networkidle --delay 2

コマンド

コマンド説明
search <query>ウェブ検索
crawl <url>ウェブスクレイピング：単一ページのクロール
crawl-site <url>ウェブクローリング：サイト全体のクロール
search-and-crawl <query>検索してスクレイピング
よく使うオプション
# Web Search 搜索
--num-results 10          # Number of results

# Web Scraping 爬取
--format fit_markdown     # Output format
--output result.md        # Output file
--wait-until networkidle  # Wait strategy for dynamic pages
--delay 2                 # Additional wait time (seconds)
--wait-for ".selector"    # Wait for specific element

# Web Crawling 爬虫
--max-pages 100          # Max pages to crawl
--max-depth 3            # Max crawl depth

出力形式

fit_markdown（推奨）

インテリジェントに抽出し、トークンを 80% 節約します。

crawl4ai-skill crawl https://example.com --format fit_markdown
raw_markdown

完全な構造を保持します。

crawl4ai-skill crawl https://example.com --format raw_markdown

このクローラーを選ぶ理由

✅ 無料のクローラー - API キー不要で、インストール後すぐに使えます
✅ スマートなスクレーパー - ノイズを自動で除去し、主要なコンテンツを抽出します
✅ サイトクローラー - サイトマップに対応し、再帰的にクロールします
✅ 動的ページのクロール - JavaScript でレンダリングされたページに対応します
✅ 検索機能の統合 - DuckDuckGo 検索を内蔵しています

リンク

コメント

Markdown 対応