关于 GenPark Bloom Filter URL Dedup Crawler
GenPark Bloom Filter URL Dedup Crawler 使用内存中的布隆过滤器识别重复 URL 和文档哈希，适用于需要避免重复处理的网页爬取摄取流程。
主要功能
- 01内存布隆过滤器
- 02URL 去重
- 03文档哈希去重
- 04仅依赖 Python 标准库
适用场景
- 01爬取时筛除重复 URL
- 02避免重复摄取文档
MCP 相关
它可作为 MCP 服务运行，供 MCP 客户端使用。README 也说明可直接作为库使用。
配置
本地服务的配置在各客户端中通用，复制后粘贴到客户端的 MCP 配置文件即可。
暂未收录安装方式
我们还没有获取到这个服务的安装包或远程地址，请按项目 README 中的说明安装。
工具
还没有获取到工具列表
本地服务需要在你的电脑上运行后才能读取工具，维护者暂未提供工具列表。
详细介绍
GenPark Bloom Filter URL 去重爬虫
用于 URL 和文档哈希去重的内存 Bloom 过滤器，可防止网络爬虫重复采集。
属于 GenPark AI Agent 技能生态系统。
🌟 主要特性
- 100% 使用 Python 标准库：运行时无需依赖任何第三方库。
- 原生支持 MCP：可直接接入 Claude Desktop、Cursor、LobeChat 和自主 Agent DAG。
- 生产级可靠性：严格遵循架构规范、零数据丢失，并经过企业级加固。
🚀 安装与使用
作为 MCP 服务运行：
python mcp_server.py
直接作为库使用：
from client import *
请参阅 example_usage.py，了解全面的集成示例。
📄 许可证
MIT 许可证。由 GenPark AI 维护。
评论
支持 Markdown
一个开放协议，规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话，MCP 服务负责提供工具、资源和提示模板，两者通过标准消息通信，同一个服务可以被不同客户端复用。