mcpField
G
GoldenPipe

GoldenPipe

リモート
benseverndev-oss.github.ioデータ・分析026 週間前に更新
リポジトリ公式サイト

GoldenPipe について

GoldenPipe は、データ品質の確認、レコード変換、重複排除を行い、ゴールデンレコードを作成する Python 製オーケストレーターです。適応型パイプラインを必要とするデータチーム向けで、処理判断の説明やプライバシー保護マッチングにも対応します。

主な機能

  1. 01データ品質のプロファイリング
  2. 02レコードの変換と標準化
  3. 03レコードの重複排除と照合
  4. 04不要な変換のスキップ
  5. 05機微な項目をプライバシー保護型照合へ振り分け
  6. 06パイプライン判断の説明

活用シーン

  1. 01顧客 CSV の整理と重複排除
  2. 02変換を省いて検査と照合を実行
  3. 03機微な項目を含むレコードの照合

MCP 対応

GoldenPipe はホスト型 MCP サーバーとローカル実行可能なサーバーを提供します。4 つのツールで、パイプライン段階の一覧、接続設定の検証、全工程の実行、設定の説明ができます。

設定

リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。

エンドポイントhttps://goldenpipe-mcp-production.up.railway.app/mcp/
インストールコマンドをコピー
Claude CodeTerminal
Cursor.cursor/mcp.json
VS Code.vscode/mcp.json
Claude Desktopclaude_desktop_config.json
Windsurf~/.codeium/windsurf/mcp_config.json

コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。

パッケージ
pypigoldenpipe1.5.0

ツール

詳細

移行しました。 このリポジトリは benzsevern/goldenmatch モノレポ内の packages/python/goldenpipe/ に移行しました。このリポジトリはアーカイブされており、新しい開発はモノレポで行われます。

GoldenPipe

Golden Suite オーケストレーター -- 品質をチェックし、問題を修正し、レコードを重複排除します。コマンドは1つです。 Ben Severn が開発しました。

PyPI CI codecov Downloads Python 3.11+ License: MIT Docs DQBench Pipeline Open In Colab

概要

Raw Data
  | GoldenCheck   -- profile & discover quality issues
  | GoldenFlow    -- fix issues, standardize, reshape
  | GoldenMatch   -- deduplicate, match, create golden records
  v
Golden Records

GoldenPipe は適応型ロジックを使用してパイプライン全体をオーケストレーションします。

  • 品質上の問題が見つからない場合は、変換をスキップします
  • 機密フィールドが検出された場合は、プライバシーを保護するマッチングに振り分けます
  • すべての判断について、その理由を報告します

インストール

pip install goldenpipe

クイックスタート

import goldenpipe as gp

result = gp.run("customers.csv")

print(result.status)        # "success"
print(result.check)         # Quality findings
print(result.transform)     # What was fixed
print(result.match)         # Deduplicated clusters
print(result.reasoning)     # Why each decision was made

CLI

goldenpipe run customers.csv                # Full pipeline
goldenpipe run customers.csv --verbose      # Show reasoning
goldenpipe run customers.csv --skip-flow    # Check + Match only
goldenpipe run customers.csv --strategy pprl  # Force privacy mode
goldenpipe run customers.csv -o golden.csv  # Save golden records

リモート MCP サーバー

GoldenPipe は Smithery でホスト型 MCP サーバーとして利用できます。何もインストールせずに、任意の MCP クライアントから接続できます。

Claude Desktop / Claude Code:

{
  "mcpServers": {
    "goldenpipe": {
      "url": "https://goldenpipe-mcp-production.up.railway.app/mcp/"
    }
  }
}

ローカルサーバー:

pip install goldenpipe[mcp]
goldenpipe mcp-serve

4つのツールを利用できます。パイプラインのステージ一覧表示、接続の検証、チェック・変換・マッチングの全パイプライン実行、設定の説明を行えます。

Golden Suite の一部

ツール目的インストール
GoldenCheckデータ品質を検証してプロファイルを作成pip install goldencheck
GoldenFlowデータを変換して標準化pip install goldenflow
GoldenMatchレコードを重複排除してマッチングpip install goldenmatch
GoldenPipeパイプライン全体をオーケストレーションpip install goldenpipe

作者

Ben Severn

ライセンス

MIT

コメント

MCP は初めてですか?

プロトコルの概要から最初のサーバーの導入まで、よくある疑問にまとめて答えます。

AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。