Judgmentlabs Mcp Server

JudgmentLabs MCP サーバー

AI 評価ワークフロー向けに、Judgment API とシームレスに連携する Model Context Protocol（MCP）サーバーです。このサーバーを使うと、Claude Desktop などの MCP 互換環境から、データセットの管理、評価の実行、トレースの追跡ができます。

🎥 デモ動画

[

🚀 特長

🎯 ワンクリックインストール

• DXT パッケージ：単一の .dxt ファイルとして Claude Desktop にインストールできます
• 依存関係なし：すべての Python パッケージがあらかじめバンドルされています
• 自動設定：Claude Desktop の設定 UI から簡単にセットアップできます
• クロスプラットフォーム：Windows、macOS、Linux で動作します

📊 データセット管理

• データセットの作成と管理：例とトレースを含むデータセットを Judgment API に送信できます
• 柔軟なデータ処理：データセットの更新時に追加モードと上書きモードをサポートします
• データ取得：Judgment プロジェクトから既存のデータセットを取得できます
• スマートな例の変換：さまざまな入力形式（input/question、expected_output/answer）を自動的に処理します

プロジェクト操作

• プロジェクトの作成：Judgment API に新しいプロジェクトを作成できます
• プロジェクトのクリーンアップ：プロジェクトと関連するすべてのデータを削除できます
• 自動作成：データセットの送信時にプロジェクトが存在しない場合、自動的に作成されます

評価とモニタリング

• 評価の実行：Judgment API 経由で評価を実行できます
• 結果の取得：分析用に詳細な評価結果を取得できます
• トレース管理：個々のトレースを作成、取得、削除できます
• リアルタイムモニタリング：AI エージェントのパフォーマンスと動作を追跡できます

開発者エクスペリエンス

• エラー処理：役立つ提案を含む包括的なエラー処理
• デバッグログ：トラブルシューティング用のデバッグ機能を内蔵
• 柔軟な設定：機密データを保護する環境変数ベースの設定

📋 前提条件

• Claude Desktop（DXT に対応する最新バージョン）
• API にアクセスできる JudgmentLabs アカウント
• 手動インストールの場合：Python 3.8 以上

🛠️ インストール

方法 1：DXT 拡張機能（推奨）🎯

この MCP サーバーを最も簡単にインストールするには、Claude Desktop の DXT 拡張機能システムを使用します。

1. 拡張機能をダウンロード：

   • リリースページから最新の judgmentlabs-mcp-server.dxt ファイルを入手します
   • Python のインストールは不要です。

2. Claude Desktop にインストール：

   • Claude Desktop を開きます
   • Settings → Extensions に移動します
   • 「Install Extension」 をクリックします
   • ダウンロードした .dxt ファイルを選択します
   • 拡張機能が自動的にインストールされます

3. API 認証情報を設定：

   • Claude Desktop で Settings → Extensions に移動します
   • 「JudgmentLabs MCP」 を見つけて Configure をクリックします
   • 認証情報を入力します：
     • JUDGMENT_API_KEY：JudgmentLabs ダッシュボードから取得した API キー
     • JUDGMENT_ORG_ID：ダッシュボードから取得した組織 ID

4. 有効化してテスト：

   • 拡張機能を 「Enabled」 に切り替えます
   • Claude Desktop を再起動します
   • *「test-project という名前の新しいプロジェクトを作成して」*と尋ねてテストします

方法 2：独自の DXT パッケージをビルド（上級者向け）⚙️

ソースから DXT パッケージをビルドしたい開発者向けです。

前提条件

• Python 3.8 以上
• Node.js と npm

ビルド手順

# 1. Clone the repository
git clone https://github.com/suysoftware/judgmentlabs-mcp-server.git

# 2. Install DXT CLI
npm install -g @anthropic-ai/dxt

# 3. Navigate to project directory
cd judgmentlabs-mcp-server

# 4. Install and bundle Python dependencies
pip install -t lib/ judgeval python-dotenv

# 5. Create the DXT package
dxt pack

これにより、プロジェクトディレクトリに judgmentlabs-mcp-server.dxt が生成されます。

ビルドしたパッケージのインストール

# Install in Claude Desktop:
# 1. Open Claude Desktop
# 2. Go to Settings → Extensions
# 3. Click "Install Extension"
# 4. Select the generated judgmentlabs-mcp-server.dxt file
# 5. Configure your API credentials
# 6. Restart Claude Desktop
# 7. Your MCP server is ready!

🔧 利用可能なツール

データセット操作

• push_dataset：例とトレースを含むデータセットをアップロードします
• get_dataset：プロジェクトから既存のデータセットを取得します
• delete_dataset：プロジェクトからデータセットを削除します

プロジェクト管理

• create_project：新しいプロジェクトを作成します
• delete_project：プロジェクトとすべてのデータを削除します

評価とトレース

• run_evaluation：評価の実行
• get_evaluation_results：評価結果の取得
• get_trace：個別のトレースの取得
• delete_trace：特定のトレースの削除

🔒 セキュリティ

• API キー：認証情報は Claude Desktop の拡張機能設定に安全に保存されます
• ローカルストレージなし：DXT のインストールでは、API キーはプレーンテキストファイルに保存されません
• 環境の分離：各拡張機能はそれぞれ独立した安全な環境で実行されます
• データのプライバシー：すべてのデータは Judgment API に安全に送信されます

🐛 トラブルシューティング

よくある問題

拡張機能が読み込まれない

Extension failed to load

解決策：

1. Claude Desktop が最新バージョンであることを確認します
2. .dxt ファイルが破損していないことを確認します
3. 拡張機能を再インストールします

API キーの設定に関する問題

Error: No API key provided

解決策：

1. Claude Desktop の「設定」→「拡張機能」を開きます
2. 「JudgmentLabs MCP」を探し、「設定」をクリックします
3. JUDGMENT_API_KEY と JUDGMENT_ORG_ID の両方が正しく設定されていることを確認します
4. 設定を変更した後、Claude Desktop を再起動します

接続に関する問題

HTTP 500: API server error

解決策：JudgmentLabs のステータスページを確認するか、しばらくしてからもう一度お試しください。

Python パスに関する問題（ビルドプロセス）

Command not found: dxt

解決策：

1. まず Node.js と npm をインストールします
2. DXT CLI をインストールします：npm install -g @anthropic-ai/dxt
3. npm のグローバル bin ディレクトリが PATH に含まれていることを確認します

依存関係のバンドルに関する問題

Import error: No module named 'judgeval'

解決策：

1. pip install -t lib/ judgeval python-dotenv を実行したことを確認します
2. lib/ フォルダーにパッケージが含まれていることを確認します
3. DXT パッケージを再ビルドします：dxt pack

デバッグモード

詳細なエラー情報を確認するには、プロジェクトディレクトリの debug.log ファイルを確認して、デバッグログを有効にしてください。

📈 パフォーマンスと制限

• データセットのサイズ：数千件の例を含むデータセットに対応しています
• 一括操作：一括操作を効率的に処理します
• レート制限：適切なエラー処理により、API のレート制限を遵守します

🤝 コントリビューション

コントリビューター向け

1. リポジトリをフォークします
2. フィーチャーブランチを作成します（git checkout -b feature/amazing-feature）
3. 変更を加えます
4. 手動インストール方法でローカルテストを行います
5. 新しい DXT パッケージを作成します：

   pip install -t lib/ judgeval python-dotenv
   dxt pack
   

6. Claude Desktop で .dxt ファイルをテストします
7. 変更をコミットします（git commit -m 'Add some amazing feature'）
8. ブランチにプッシュします（git push origin feature/amazing-feature）
9. プルリクエストを作成します

リリースプロセス

1. manifest.json のバージョンを更新します
2. DXT パッケージを作成してテストします
3. GitHub リリースを作成します
4. リリースに .dxt ファイルを添付します
5. 必要に応じて README を更新します

📄 ライセンス

このプロジェクトは MIT License のもとでライセンスされています。詳細については、LICENSE ファイルをご覧ください。

🔗 リンク

• JudgmentLabs のウェブサイト
• JudgmentLabs のドキュメント
• Model Context Protocol
• Claude Desktop

👨‍💻 作者

Sezer Ufuk Yavuz

• メール：[email protected]
• GitHub： @suysoftware
• Linkedin： @ufukyavuzz
• X： @sezerufukyavuz

🙏 謝辞

• Model Context Protocol を提供する Anthropic
• 評価プラットフォームを提供する JudgmentLabs
• 貴重な貢献を寄せてくださったオープンソースコミュニティ

---

詳しいドキュメントや例については、GitHub リポジトリをご覧ください。