GenPark Bloom Filter URL Dedup Crawler について
GenPark Bloom Filter URL Dedup Crawlerは、インメモリのブルームフィルターで重複するURLとドキュメントハッシュを識別します。重複処理を避けたいウェブクローラーの取り込み処理を対象としています。
主な機能
- 01インメモリのブルームフィルター
- 02URLの重複排除
- 03ドキュメントハッシュの重複排除
- 04Python標準ライブラリのみで動作
活用シーン
- 01クロール中の重複URLの除外
- 02ドキュメントの重複取り込み防止
MCP 対応
MCPサーバーとして実行でき、MCPクライアントから利用できます。READMEにはライブラリとして直接使う方法も記載されています。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
インストール方法は未掲載です
このサーバーのパッケージやリモートエンドポイントはまだ取得できていません。プロジェクトの README の手順に従ってください。
ツール
ツール一覧はまだ取得されていません
ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。
詳細
GenPark Bloom Filter URL 重複排除クローラー
URL とドキュメントのハッシュを重複排除するインメモリのブルームフィルターです。Web クローラーによる重複した取り込みを防ぎます。
GenPark AI エージェントスキルエコシステムの一部です。
🌟 主な機能
- Python 標準ライブラリのみで実装：サードパーティの実行時依存関係はありません。
- MCP ネイティブ：Claude Desktop、Cursor、LobeChat、自律型エージェントの DAG に直接接続できます。
- 本番環境での高い耐障害性：厳密なスキーマ準拠、データ損失ゼロ、エンタープライズ向けの強化。
🚀 インストールと使用方法
MCP サーバーとして実行します：
python mcp_server.py
ライブラリとして直接使用します：
from client import *
包括的な統合例については、example_usage.py をご覧ください。
📄 ライセンス
MIT ライセンス。メンテナンス： GenPark AI。
コメント
Markdown 対応
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。