7 v1.0.1 更新于 2026-10-21

GenPark Bloom Filter URL Dedup Crawler MCP Server

内存中的 Bloom filter,对 URL 和文档哈希去重，避免网络爬虫重复抓取

安装配置

远程接入(http)

{
  "mcpServers": {
    "genpark-bloom-filter-url-dedup-crawler-skill": {
      "url": "https://genpark.ai/mcp"
    }
  }
}

将上方 JSON 加入 MCP 客户端配置(如 Claude Desktop 的 claude_desktop_config.json 或项目的 .mcp.json)即可接入;远程接入按客户端要求填写 URL 与鉴权头。

add_item

将 URL 或条目添加到布隆过滤器并检查是否为新添加

might_contain

概率性检查 URL 或条目是否已被布隆过滤器记录过

get_stats

获取布隆过滤器容量及误判率统计信息