Scorecard MCP Server on Cloudflare について
ScorecardのリモートMCPサーバーは、自然言語での対話からAI評価プラットフォームを利用できるようにします。AIシステムのテスト、測定、改善に使えます。
主な機能
- 01AI評価プロジェクトの作成
- 02テストケースの設定
- 03正確性と有用性の指標設定
- 04モデル評価の実行
- 05評価結果の確認
活用シーン
- 01チャットボットの評価プロジェクト作成
- 02カスタマーサービスのテストケース作成
- 03モデルの正確性と有用性の測定
- 04新しいモデルの評価結果の確認
MCP 対応
リモートMCPサーバーは https://mcp.scorecard.io/mcp で利用でき、ScorecardのAI評価プラットフォームをMCPクライアントに提供します。OAuth 2.0認証を使用します。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
このサーバーのパッケージやリモートエンドポイントはまだ取得できていません。プロジェクトの README の手順に従ってください。
ツール
ローカルサーバーのツールはマシン上で起動して初めて取得できます。メンテナーはまだツール一覧を提供していません。
詳細
Scorecard リモート MCP サーバー
自然言語での会話を通じて、Claude を Scorecard の AI 評価プラットフォームに接続します。 ツールを切り替えることなく、AI システムのテスト、測定、改善を行えます。
インストール
Scorecard MCP サーバーのリモート URL https://mcp.scorecard.io/mcp を、Claude や Cursor などの MCP クライアントに追加します。
詳しくは、セットアップ手順の全容をご覧ください。ローカルへのインストール設定についても記載されています。
技術アーキテクチャ
このリモート MCP サーバーは、最新バージョンの Model Context Protocol サーバー仕様を実装しています。以下を使用して構築されています。
- セキュリティと標準に準拠した認証フローを実現するため、OAuth 2.0 Protected Resource Metadata仕様を実装した認証に Clerk を使用しています。
- API 仕様と常に同期する、型安全な MCP エンドポイントの自動生成に Stainless を使用しています。
- 本番環境レベルのモニタリング、エラー追跡、パフォーマンス分析に Sentry を使用しています。
できること
AI 評価タスクについて Claude に依頼できます。
- 「チャットボットを評価するための新しいプロジェクトを作成して」
- 「カスタマーサービスのシナリオ用にテストケースを設定して」
- 「正確性と有用性の指標を設定して」
- 「最新のモデルで評価を実行して」
- 「パフォーマンスの結果を見せて」
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。