GoldenPipe について
GoldenPipe は、データ品質の確認、レコード変換、重複排除を行い、ゴールデンレコードを作成する Python 製オーケストレーターです。適応型パイプラインを必要とするデータチーム向けで、処理判断の説明やプライバシー保護マッチングにも対応します。
主な機能
- 01データ品質のプロファイリング
- 02レコードの変換と標準化
- 03レコードの重複排除と照合
- 04不要な変換のスキップ
- 05機微な項目をプライバシー保護型照合へ振り分け
- 06パイプライン判断の説明
活用シーン
- 01顧客 CSV の整理と重複排除
- 02変換を省いて検査と照合を実行
- 03機微な項目を含むレコードの照合
MCP 対応
GoldenPipe はホスト型 MCP サーバーとローカル実行可能なサーバーを提供します。4 つのツールで、パイプライン段階の一覧、接続設定の検証、全工程の実行、設定の説明ができます。
設定
リモートサーバーはインストール不要です。クライアントを選んで設定をコピーするか、ワンクリックで導入できます。
https://goldenpipe-mcp-production.up.railway.app/mcp/claude mcp add --transport http benseverndev-oss-goldenpipe https://goldenpipe-mcp-production.up.railway.app/mcp/{"mcpServers":{"benseverndev-oss-goldenpipe":{"type":"http","url":"https://goldenpipe-mcp-production.up.railway.app/mcp/"}}}Cursor で開く{"servers":{"benseverndev-oss-goldenpipe":{"type":"http","url":"https://goldenpipe-mcp-production.up.railway.app/mcp/"}}}VS Code で開く{"mcpServers":{"benseverndev-oss-goldenpipe":{"type":"http","url":"https://goldenpipe-mcp-production.up.railway.app/mcp/"}}}{"mcpServers":{"benseverndev-oss-goldenpipe":{"serverUrl":"https://goldenpipe-mcp-production.up.railway.app/mcp/"}}}コマンドはターミナルで実行し、JSON は各クライアントの MCP 設定に貼り付けて再起動します。認可が必要なサーバーは初回接続時にログインを求めます。
ツール
詳細
移行しました。 このリポジトリは
benzsevern/goldenmatchモノレポ内のpackages/python/goldenpipe/に移行しました。このリポジトリはアーカイブされており、新しい開発はモノレポで行われます。
GoldenPipe
Golden Suite オーケストレーター -- 品質をチェックし、問題を修正し、レコードを重複排除します。コマンドは1つです。 Ben Severn が開発しました。
概要
Raw Data
| GoldenCheck -- profile & discover quality issues
| GoldenFlow -- fix issues, standardize, reshape
| GoldenMatch -- deduplicate, match, create golden records
v
Golden Records
GoldenPipe は適応型ロジックを使用してパイプライン全体をオーケストレーションします。
- 品質上の問題が見つからない場合は、変換をスキップします
- 機密フィールドが検出された場合は、プライバシーを保護するマッチングに振り分けます
- すべての判断について、その理由を報告します
インストール
pip install goldenpipe
クイックスタート
import goldenpipe as gp
result = gp.run("customers.csv")
print(result.status) # "success"
print(result.check) # Quality findings
print(result.transform) # What was fixed
print(result.match) # Deduplicated clusters
print(result.reasoning) # Why each decision was made
CLI
goldenpipe run customers.csv # Full pipeline
goldenpipe run customers.csv --verbose # Show reasoning
goldenpipe run customers.csv --skip-flow # Check + Match only
goldenpipe run customers.csv --strategy pprl # Force privacy mode
goldenpipe run customers.csv -o golden.csv # Save golden records
リモート MCP サーバー
GoldenPipe は Smithery でホスト型 MCP サーバーとして利用できます。何もインストールせずに、任意の MCP クライアントから接続できます。
Claude Desktop / Claude Code:
{
"mcpServers": {
"goldenpipe": {
"url": "https://goldenpipe-mcp-production.up.railway.app/mcp/"
}
}
}
ローカルサーバー:
pip install goldenpipe[mcp]
goldenpipe mcp-serve
4つのツールを利用できます。パイプラインのステージ一覧表示、接続の検証、チェック・変換・マッチングの全パイプライン実行、設定の説明を行えます。
Golden Suite の一部
| ツール | 目的 | インストール |
|---|---|---|
| GoldenCheck | データ品質を検証してプロファイルを作成 | pip install goldencheck |
| GoldenFlow | データを変換して標準化 | pip install goldenflow |
| GoldenMatch | レコードを重複排除してマッチング | pip install goldenmatch |
| GoldenPipe | パイプライン全体をオーケストレーション | pip install goldenpipe |
作者
ライセンス
MIT
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。