mcpField
K
Kreuzcrawl

Kreuzcrawl

ローカル
kreuzberg.devブラウザ自動化192今日更新
リポジトリ公式サイト

Kreuzcrawl について

Kreuzcrawlは、Rustコアを使ったウェブクローラー兼スクレーパーで、ページをMarkdownに変換し、構造化データを抽出します。開発者やエージェント向けに、CLI、ライブラリ、REST API、MCPを提供し、複数言語のバインディングに対応します。

主な機能

  1. 01ページのメタデータ、リンク、画像の抽出
  2. 02構造化Markdownへの変換
  3. 03深度、ページ数、並列数を指定したクロール
  4. 04JavaScriptページ向けの任意のヘッドレスブラウザー描画
  5. 05URLフィルター、robots.txt、サイトマップへの対応

活用シーン

  1. 01ウェブページの内容をMarkdownに変換
  2. 02サイトを一括クロールしてリンクとメタデータを収集
  3. 03エージェントにウェブ内容と構造化データを提供

MCP 対応

MCPサーバーとして、ウェブのスクレイピングとクロール機能をAIエージェント向けのツールとして公開します。READMEには、複数のコーディングエージェント向けプラグインとMCP設定も記載されています。

設定

ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。

mcp.json · 共通設定
{
  "mcpServers": {
    "kreuzberg-dev-kreuzcrawl": {
      "command": "docker",
      "args": [
        "run",
        "-i",
        "--rm",
        "ghcr.io/kreuzberg-dev/kreuzcrawl:0.3.0"
      ]
    }
  }
}
起動コマンドdocker run -i --rm ghcr.io/kreuzberg-dev/kreuzcrawl:0.3.0

ローカルサーバーにはマシン上の実行環境（Node.js 18 以上など）が必要です。設定ファイルの場所はクライアントごとに異なります。

パッケージ
ocighcr.io/kreuzberg-dev/kreuzcrawl:0.3.0

ツール

ツール一覧はまだ取得されていません

ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。

詳細

Xberg

Crawlberg

あらゆるウェブサイトを、整理された構造化データに変換します。Crawlberg に URL を指定するだけで、単一のページでもサイト全体でも、Markdown、メタデータ、リンクを使い慣れた言語で取得できます。

何ができ、なぜ必要なのか？

ウェブ上のデータが必要でも、生の HTML では役に立ちません。Crawlberg はクロール、スクレイピング、クリーンアップを最初から最後まで行います。ページを取得してリンクをたどり、それぞれを Markdown に変換し、構造化されたメタデータ（タイトル、リンク、画像、ソーシャルカード、JSON-LD データ）を渡すため、パース作業を省いてコンテンツに直接取りかかれます。

単一の Rust コアから動作し、14 の言語バインディングで同じ結果が得られます。また、扱いにくい部分も処理します。JavaScript を多用するページでは実際のヘッドレスブラウザーにフォールバックし、ボットフィルターを検出して回避し、robots とサイトマップを尊重し、ドメインごとにリクエストをスロットリングします。さらに、プライベートアドレスや内部アドレスへのリクエストはデフォルトで拒否します。コード、AI エージェント、REST サービス、CLI から操作できます。

パイプラインの各要素は交換可能なトレイトです。クロールフロンティア、レートリミッター、ストレージ、イベントストリーム、コンテンツフィルターを差し替えて、独自の動作を組み込めます。プロキシプール、調整済みのボット回避、認証済みセッション、スケジューリング、課金などのマネージド機能は、xberg-enterprise にあります。

機能
機能説明
構造化された抽出テキスト、メタデータ、リンク、画像、アセット、JSON-LD、Open Graph、hreflang、ファビコン、見出し、レスポンスヘッダー
Markdown 変換引用、文書構造、コンテンツ適合モードに対応したクリーンな Markdown
並行クロール設定可能な深さ、ページ数の上限、並行数による深さ優先、幅優先、または最良優先の巡回
14 の言語バインディングRust、Python、Node.js、Ruby、Go、Java、Kotlin（Android）、C#、PHP、Elixir、Dart、Swift、Zig、WebAssembly
スマートフィルタリングBM25 関連性スコアリング、URL の包含／除外パターン、robots.txt の遵守、サイトマップの検出
ブラウザーでのレンダリングWAF の検出と回避に対応した、JavaScript を多用する SPA 向けのオプションのヘッドレスブラウザー
バッチ処理とストリーミング数百の URL を並行してスクレイピングまたはクロール。非同期ストリームによるリアルタイムのクロールイベント
デフォルトで SSRF 対策済みループバック、プライベート、リンクローカル、クラウドメタデータの各アドレスへのアクセスを拒否。環境変数または CrawlConfig で無効化できます
認証とレート制限Cookie jar による HTTP Basic、Bearer、カスタムヘッダー認証。ドメインごとのリクエストスロットリング
MCP サーバーと REST APIAI エージェント向けの Model Context Protocol 統合に加え、OpenAPI 仕様を備えた HTTP サーバー
対応プラットフォーム

すべてのバインディング向けに、glibc Linux（x86_64/aarch64）、macOS、Windows 用のプリコンパイル済みバイナリを提供しています。musl Linux（Alpine）の対応範囲は意図的に限定されています。CLI、Docker イメージ、Rust、Ruby、Java、Elixir は動作しますが、Node、Python、Go、PHP、C# のバインディングでは musl 用の成果物を提供していません。全一覧と Alpine での回避策については、プラットフォーム対応状況をご覧ください。

⭐ このリポジトリにスターを付けて応援してください。ほかの人が Crawlberg を見つけやすくなります。

クイックスタート

言語パッケージ
Python 
pip install crawlberg

詳細なドキュメントはPython READMEをご覧ください。

Node.js 
pnpm add @xberg-io/crawlberg

詳細なドキュメントはNode.js READMEをご覧ください。

Rust 
cargo add crawlberg

詳細なドキュメントはRust READMEをご覧ください。

Go 
go get github.com/xberg-io/crawlberg/packages/go

詳細なドキュメントはGo READMEをご覧ください。

Java

Maven Central で io.xberg.crawlberg:crawlberg として公開されています。依存関係の記述例と最新バージョンについては、Java READMEをご覧ください。

C# 
dotnet add package XbergIo.Crawlberg

詳細なドキュメントはC# READMEをご覧ください。

Ruby 
gem install crawlberg

詳細なドキュメントはRuby READMEをご覧ください。

PHP 
composer require xberg-io/crawlberg

詳細なドキュメントはPHP READMEをご覧ください。

Elixir

mix.exs の依存関係に {:crawlberg, "~> 0.3"} を追加してください。詳細なドキュメントはElixir READMEをご覧ください。

Dart / Flutter 
dart pub add crawlberg

詳細なドキュメントはDart READMEをご覧ください。

Kotlin (Android)

Maven Central で io.xberg.crawlberg.android:crawlberg-android として公開されています。依存関係の記述例と最新バージョンについては、Kotlin READMEをご覧ください。

Swift

Swift Package Manager から追加してください。詳細なドキュメントはSwift READMEをご覧ください。

Zig

インストール方法と使い方についてはZig READMEをご覧ください。

WebAssembly 
pnpm add @xberg-io/crawlberg-wasm

詳細なドキュメントはWebAssembly READMEをご覧ください。

C/C++ (FFI)

C ヘッダーと共有ライブラリはGitHub Releasesから入手できます。詳細なドキュメントはFFI crateをご覧ください。

CLI 
cargo install crawlberg-cli

# Or install the prebuilt binary via cargo-binstall:
cargo binstall crawlberg-cli

brew install xberg-io/tap/crawlberg

Windows ユーザーは、Scoopから同じバイナリをインストールできます。

scoop bucket add xberg https://github.com/xberg-io/scoop-bucket
scoop install crawlberg

詳細なドキュメントはCLI READMEをご覧ください。

### AI コーディングアシスタント

xberg-io/crawlberg から Crawlberg プラグインをインストールしてください。Crawlberg エージェントスキル（サイトのクロール、HTML→Markdown スクレイピング、ヘッドレス Chrome によるフォールバック）と crawlberg MCP サーバーが含まれています。以下から実行環境を選択してください。

このバンドルは Claude Code、Codex、Cursor、Gemini CLI、Kimi、OpenCode、Factory Droid、Hermes、Pi、Agent Plugins、GitHub Copilot CLI を対象としています。実行環境ごとのリソース、CLI の前提条件、設定についてはプラグインガイドをご覧ください。MCP 対応アダプターでは製品のツールを利用できます。Hermes ではローカルの stdio ブリッジと、明示的に選択したスキルを使用します。Pi ではスキルとプロンプトテンプレートを読み込み、実行可能な操作には製品の CLI が必要です。

プラグインや MCP 登録を行わずに、公開されている Agent Skills のみをインストールするには、skills CLI を使用します。

npx skills add xberg-io/crawlberg --list
npx skills add xberg-io/crawlberg

スキルと対象のエージェントを対話形式で選択してください。手順をインストールしても、製品の CLI はインストールされず、プロバイダーの認証情報も設定されません。

Claude Code 
/plugin marketplace add xberg-io/crawlberg
/plugin install crawlberg@crawlberg
Codex CLI 
/plugins add https://github.com/xberg-io/crawlberg

次に crawlberg を検索し、Install Plugin を選択してください。

Cursor

設定 → プラグイン → URL から追加 → https://github.com/xberg-io/crawlberg の順に進み、crawlberg を選択してください。

Gemini CLI

このリポジトリをチェックアウトした状態で、次を実行します。

gemini extensions install ./plugin

マニフェストは plugin/ 内にあります。ローカルへのインストールと更新については、Gemini 拡張機能のリファレンスをご覧ください。

Factory Droid 
droid plugin marketplace add https://github.com/xberg-io/crawlberg
droid plugin install crawlberg@crawlberg
GitHub Copilot CLI 
copilot plugin marketplace add https://github.com/xberg-io/crawlberg
copilot plugin install crawlberg@crawlberg
Pi

このリポジトリをチェックアウトした状態で、次を実行します。

pi install ./plugin

次のプラグインリリース以降は、OpenCode と同じパッケージをインストールしてください。

pi install npm:@xberg-io/opencode-crawlberg

Pi はバンドルされたスキルとプロンプトテンプレートを読み込みます。入力を引数として /crawlberg-scrape または /crawlberg-crawl を使用してください。シェルから利用するには、crawlberg CLI を別途インストールしてください。このパッケージは MCP サーバー、フック、Pi ネイティブ拡張機能を登録しません。

opencode

opencode.json にパッケージを追加してください。

{
  "$schema": "https://opencode.ai/config.json",
  "plugin": ["@xberg-io/opencode-crawlberg"]
}

ドキュメント

詳細なガイド、言語別の API リファレンス、基盤／運用モデル、ボット対策戦略、オブザーバビリティについては、docs.crawlberg.xberg.io をご覧ください。

コントリビューション

コントリビューションを歓迎します。コントリビューションガイドをご覧ください。

Xberg.io の一部

  • Xberg — オープンソースのコンテンツインテリジェンスエンジンです。101 種類の形式（115 個のファイル拡張子）から、テキスト、表、メタデータを抽出し、OCR、文字起こし、コードインテリジェンスにも対応します。MIT。
  • Xberg Pro — 単一のコンテナで提供される、セルフホスト可能なコンテンツインテリジェンスバックエンドです。商用。
  • Xberg Enterprise — Kubernetes 上で拡張され、チームガバナンスとサポートを備えた、分散型でガバナンス機能を備えたコンテンツインテリジェンスプラットフォームです。商用。
  • crawlberg — HTML→Markdown 変換と、ヘッドレス Chrome によるフォールバックを備えたウェブクローリングおよびスクレイピングツールです。
  • html-to-markdown — 高速でロスレスな HTML→Markdown エンジンです。
  • liter-llm — 14 言語向けのネイティブバインディングと 165 のプロバイダーに対応した、汎用 LLM API クライアントです。
  • tree-sitter-language-pack — tree-sitter の文法とコードインテリジェンスの基本機能を提供します。
  • alef — 5 つのポリグロットリポジトリ全体で、各言語向けのバインディングを生成するポリグロットバインディングジェネレーターです。

ライセンス

MIT License

リンク

コメント

Markdown 対応

MCP は初めてですか？

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。