GoldenPipe

Name: GoldenPipe
Author: benseverndev-oss

远程服务

benseverndev-oss.github.io数据与分析026 周前更新

代码仓库访问官网

关于 GoldenPipe

GoldenPipe 是用于检查数据质量、转换记录并去重生成黄金记录的 Python 编排工具，面向需要自适应数据流水线的团队。它会说明处理决策，并可对敏感字段采用隐私保护匹配。

主要功能

01分析数据质量
02转换并规范化记录
03记录去重与匹配
04跳过不必要的转换
05敏感字段转入隐私保护匹配
06说明流水线决策

适用场景

01清理并去重客户 CSV
02跳过转换，执行检查和匹配
03匹配含敏感字段的记录

MCP 相关

GoldenPipe 提供托管 MCP 服务，也可在本地运行 MCP 服务。其 4 个工具用于列出流水线阶段、验证连接配置、运行完整流水线和解释配置。

配置

远程服务无需本地安装。选择你使用的客户端，复制配置或使用一键安装。

服务地址https://goldenpipe-mcp-production.up.railway.app/mcp/

一键复制安装命令

Claude CodeTerminalclaude mcp add --transport http benseverndev-oss-goldenpipe https://goldenpipe-mcp-production.up.railway.app/mcp/

Cursor.cursor/mcp.json

{"mcpServers":{"benseverndev-oss-goldenpipe":{"type":"http","url":"https://goldenpipe-mcp-production.up.railway.app/mcp/"}}}

在 Cursor 中打开

VS Code.vscode/mcp.json

{"servers":{"benseverndev-oss-goldenpipe":{"type":"http","url":"https://goldenpipe-mcp-production.up.railway.app/mcp/"}}}

在 VS Code 中打开

Claude Desktopclaude_desktop_config.json

{"mcpServers":{"benseverndev-oss-goldenpipe":{"type":"http","url":"https://goldenpipe-mcp-production.up.railway.app/mcp/"}}}

Windsurf~/.codeium/windsurf/mcp_config.json{"mcpServers":{"benseverndev-oss-goldenpipe":{"serverUrl":"https://goldenpipe-mcp-production.up.railway.app/mcp/"}}}

命令在终端中运行；JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。

安装包

pypigoldenpipe1.5.0stdio

工具

详细介绍

已迁移。 此仓库已迁入 benzsevern/goldenmatch monorepo，路径为 packages/python/goldenpipe/。此仓库已归档；后续开发将在 monorepo 中进行。

GoldenPipe

Golden Suite 编排器 —— 检查质量、修复问题、去重记录。一条命令即可完成。由 Ben Severn 构建。

功能

Raw Data
  | GoldenCheck   -- profile & discover quality issues
  | GoldenFlow    -- fix issues, standardize, reshape
  | GoldenMatch   -- deduplicate, match, create golden records
  v
Golden Records

GoldenPipe 通过自适应逻辑编排完整工作流：

如果未发现质量问题，则跳过转换
如果检测到敏感字段，则转向保护隐私的匹配方式
报告每项决策的推理依据

安装

pip install goldenpipe

快速开始

import goldenpipe as gp

result = gp.run("customers.csv")

print(result.status)        # "success"
print(result.check)         # Quality findings
print(result.transform)     # What was fixed
print(result.match)         # Deduplicated clusters
print(result.reasoning)     # Why each decision was made

命令行界面

goldenpipe run customers.csv                # Full pipeline
goldenpipe run customers.csv --verbose      # Show reasoning
goldenpipe run customers.csv --skip-flow    # Check + Match only
goldenpipe run customers.csv --strategy pprl  # Force privacy mode
goldenpipe run customers.csv -o golden.csv  # Save golden records

远程 MCP 服务

GoldenPipe 可作为托管 MCP 服务在 Smithery 上使用——无需安装任何内容，即可从任意 MCP 客户端连接。

Claude Desktop / Claude Code：

{
  "mcpServers": {
    "goldenpipe": {
      "url": "https://goldenpipe-mcp-production.up.railway.app/mcp/"
    }
  }
}

本地服务：

pip install goldenpipe[mcp]
goldenpipe mcp-serve

提供 4 个工具：列出工作流阶段、验证连线配置、运行完整的检查-转换-匹配工作流、说明配置。

Golden Suite 套件成员

工具	用途	安装
GoldenCheck	验证并分析数据质量	`pip install goldencheck`
GoldenFlow	转换并标准化数据	`pip install goldenflow`
GoldenMatch	对记录去重并进行匹配	`pip install goldenmatch`
GoldenPipe	编排完整工作流	`pip install goldenpipe`