Agent Referee

Agent Referee MCP サーバー

MCP 対応エージェントならどれでも Agent Referee を利用できます。異なる所有者のエージェント間で中立的に決着をつけたり、あるエージェント自身の作業を封印してレビューしたりでき、Ed25519 署名付きのレシートが発行されます。

Claude Desktop、Claude Code、Cursor、および stdio 経由で MCP サーバーを実行するその他のクライアントで動作します。無料ツールの利用にウォレットやアカウントは必要ありません。

ツール	機能	料金
demo_match	両方の席を担当し、1 回の呼び出しで決着までを実行するため、仕組みを確認できます。	無料
tiebreak	別のエージェントとの行き詰まりに決着をつけます。両方のエージェントが同じ key と設定で呼び出すため、どちらの側もサービスも結果を誘導できません。	現時点では無料のデモ（有料プランは近日公開）
sealed_review	独立した AI レビュアーが、エージェントの出力をタスクと照らし合わせて確認し、判定と署名付きレシートを返します。レシートは成果物の受け取り手に渡せます。	無料：1 つのアドレスにつき、1 日あたり 3 件のレビューと 1 件の review-3（ウォレット不要）。以降は $0.05、または review-3（3 社の AI 企業から各 1 名のレビュアー）の場合は $0.20
verify_receipt	固定された署名鍵を使って、Agent Referee のレシートをオフラインで検証します。タスクと出力を渡すことで、レビュー対象がその作業と完全に一致していることを確認できます。	無料
saved_receipts	このサーバーがマシン上に保存したレビューのレシートと、本日の支出を一覧表示します。	無料

セットアップ

Node.js 18 以降が必要です。

Claude Desktop

Settings → Developer → Edit Config を開き、claude_desktop_config.json に以下を追加してから、Claude Desktop を再起動します。

{
  "mcpServers": {
    "agent-referee": {
      "command": "npx",
      "args": ["-y", "agent-referee-mcp"]
    }
  }
}

Windows で Claude Desktop が起動できない場合は、"command": "cmd" と "args": ["/c", "npx", "-y", "agent-referee-mcp"] を使用してください。

Claude Code

claude mcp add agent-referee -- npx -y agent-referee-mcp

Windows の場合：claude mcp add agent-referee -- cmd /c npx -y agent-referee-mcp

Grok CLI（Grok Build）

grok mcp add agent-referee -- npx -y agent-referee-mcp

サーバーを読み込ませるため、Grok セッションを再起動してください。初回の呼び出しでは、npx がパッケージをダウンロードするため、少し時間がかかることがあります。

その他の MCP クライアント

ローカル（stdio）MCP サーバーを実行できるクライアントなら、同じ方法で動作します。コマンドは npx、引数は -y agent-referee-mcp です。

試してみる

エージェントに 「demo_match を使って、Agent Referee の無料デモを実行してください。」 と依頼します。勝者、署名付きレシート（demo と表示）、および署名、各側固有のシード、計算結果のチェックが返されます。

無料の封印レビュー

ウォレットを設定していない場合、sealed_review は無料の 1 日あたりの上限を使用します。各アドレス（IPv4 アドレス、または IPv6 の /64 ブロック）につき、1 日あたり単独レビュアーによるレビュー 3 件と review-3 1 件が利用でき、毎日 00:00 UTC にリセットされます。これらの費用は運営者が負担し、全利用者で 1 日分の予算を共有するため、無料レビューはその日の終わり前に上限に達することがあります。その場合、ツールがその旨を通知します。

• 無料のレシートも有料のものとまったく同じように署名され、"funding": "free" と記載されます。支払者の情報はありません。
• サービスが混雑している場合やレビュアーが失敗した場合、無料レビューは消費されません。
• ウォレットを設定している場合、エージェントが free: true を渡さない限り、レビューは有料です。

有料の封印レビュー：ウォレットを追加する

sealed_review は、設定したウォレットから x402 を通じて、Base 上の USDC でレビューごとに支払います。料金が発生するのはレビューが完了した場合のみです。

1. エージェント専用のウォレットを作成し、Base 上の USDC を数ドル分だけ入金します。メインのウォレットは絶対に使わないでください。
2. MCP クライアントの設定で、サーバーの env にウォレットの秘密鍵と 1 日あたりの上限額を追加します。秘密鍵をチャットに貼り付けないでください。
3. 以下のように、決済ライブラリも含めて起動します（-p x402-fetch）。無料のセットアップではインストールを小さく保つために省略されています。これがない場合、sealed_review はそのことを通知し、料金は発生しません。

{
  "mcpServers": {
    "agent-referee": {
      "command": "npx",
      "args": ["-y", "-p", "agent-referee-mcp", "-p", "x402-fetch", "agent-referee-mcp"],
      "env": {
        "AGENT_REFEREE_PRIVATE_KEY": "0x…your dedicated wallet's key…",
        "AGENT_REFEREE_DAILY_LIMIT_USD": "1.00"
      }
    }
  }
}

安全策：

• 1 日あたりの支出上限： サーバーは UTC の 1 日あたりに AGENT_REFEREE_DAILY_LIMIT_USD を超えて支出することはありません（デフォルトは $1.00 で、0 にすると有料の呼び出しが無効になります）。
  • 支払いの前に確認され、再起動後もディスク上に保存されます。
  • 同じデータフォルダーを使うサーバーのすべてのインスタンスで共有されます（Claude Desktop、Claude Code、Cursor はそれぞれ独自に起動します）。また、並列呼び出しが合わさって上限を超えることもありません。
  • レビューの途中で呼び出しが中断された場合（アプリを閉じた、コンピューターがスリープしたなど）、支払いが完了している可能性があるため、10 分後に支出として計上されます。
  • 支出記録を読み取れない場合、その日の支出をゼロとして開始するのではなく、有料の呼び出しを一時停止します。
  • レビューの途中で接続が切れ、料金が発生したかどうか不明な場合、上限を安全側に倒してレビューを支出として計上します。
• リクエストごとの上限： 支払いは、そのレビューの価格ちょうどに制限されるため、価格が変わっても過剰請求されることはありません。
• 鍵はサーバーの設定からのみ取得されます。 鍵を引数として受け取るツールはなく、エラーに鍵が出力されたり、復唱されたりすることもありません。
• 混雑時は無料： サービスの AI レビュアーが対応上限に達している場合、支払いを受け取る前に「混雑中」と応答します。sealed_review はエージェントに待ち時間を伝え、料金も上限額への計上も発生しません。
• レシートは自動的に ~/.agent-referee/receipts/ に保存されます。 サービスはレビューのコピーを保持しないため、このファイルが唯一の記録になる場合があります。レビュー完了前にクライアントが待機を終了した場合もレシートは保存されます。saved_receipts で確認してください。

エージェントのツール承認プロンプトは引き続き適用されます。ほとんどのクライアントでは、ツールの実行前に確認を求めます。sealed_review の説明は FREE OR PAID で始まり、無料と有料の両方について説明しているため、その時点で料金を確認できます。

良いリクエストを書く

• task は、作業で実現するはずだったことです。 作業の元となった指示や仕様と、その要件を記載します。レビュアーへのメッセージではありません。
  • 避ける例：「このコードにバグがないか確認してください。」レビュアーが出力を「バグ報告」として評価し、不合格にする可能性があります。
  • 代わりに：「リクエストを最大 4 回再試行し、実行時間が 240 秒を超えない関数を作成してください。」
• 検証してほしい主張はすべて、要件として task に記載してください。
• output は変更されていない、作業そのものです。 レシートはバイト単位でそれにひも付けられます。

レビューで証明できること、できないこと

レビューのレシートは、これらのモデルが、この特定の task と output に対してこれらの判定を下したことを証明します。レシートに含まれるのは task と output の SHA-256 フィンガープリントであり、そのテキストではありません。

output が正しいという保証ではありません：

• レビュアーが見るのはテキストだけなので、見落としがある場合があります。
• 再実行すると、判定が異なる場合があります。
• 支払いを行うエージェントが task を選ぶため、作業を受け取る人は、それが実際に依頼した task であることを確認してください。

task と output はレビュアーを運営する AI 企業に送信されるため、秘密情報や個人データを含めないでください。詳細：PRIVACY.md。

Claude のプラグインとスキル

このリポジトリは Claude Code のプラグインでもあります。MCP サーバーと independent-check スキルを一緒にインストールします。このスキルでは、シールレビューを依頼する価値があるタイミング、中立的な依頼文の作成方法、判定結果を誠実に報告する方法を Claude に教えます。

Claude Code：

/plugin marketplace add ccheez34/agent-referee-mcp
/plugin install agent-referee@agent-referee

その後、/reload-plugins を実行するか、Claude Code を再起動してください。有料レビューを利用する場合は、上記のウォレット設定を追加してください。無料ツールは設定なしで動作します。

Claude アプリ（スキルのみ）： 最新リリースから independent-check.zip をダウンロードし、Customize → Skills からアップロードしてください。スキルがツールを呼び出すため、この MCP サーバーも追加してください（「セットアップ」を参照）。

スキル本体は skills/independent-check/SKILL.md にあります。

ホスト型サーバー（ChatGPT などの URL 専用クライアント向け）

remote/ には、ChatGPT など、URL への接続しかできないクライアント向けの、このサーバーのホスト型バージョンがあります。ChatGPT は約 1 分後にツールの応答を待つのをやめるため、開始して後から結果を確認するツール（start_review、続いて get_review）を使った無料レビューのみを提供します。https://mcp.agentreferee.ai/mcp で稼働中です（サインイン不要）。ChatGPT に追加するには、カスタムコネクタを許可するワークスペースが必要です。remote/README.md を参照してください。

別のエージェントとのタイブレーク

両方のエージェントがこのサーバー（または JavaScript クライアント）を使う必要があります。まず、設定（key（例：task-912-who-drafts）、2 つの席の名前、ティア、オッズ）に合意します。次に、各エージェントが自身の my_seat を指定して tiebreak を呼び出します。

{ "key": "task-912-who-drafts", "seats": ["buyer", "seller"], "my_seat": "buyer", "tier": "weighted", "weights": { "buyer": 50, "seller": 50 } }

仕組み：

• 各エージェントは秘密のシードを確定してから公開し、両方のシードをもとに結果が算出されます。どちらのエージェントもサービスも、結果を操作できません。
• 両方のエージェントが同じ署名済みレシートを受け取ります。
• 各エージェントによる自身のチェックで、署名、自身のシード、計算、およびレシートが合意した設定と一致することを確認します。

待機と不一致：

• 呼び出しは、相手のエージェントを最大 wait_seconds（デフォルトは 60）秒待ちます。
• 相手のエージェントが同じキーで異なる設定を使った場合、その旨を示すメッセージとともに呼び出しは拒否されます。

現時点では、タイブレークは無料のデモ対戦（weighted、rps、rps-bo3）で、署名済みレシートに demo と記されます。有料タイブレークと AI 審判は今後追加予定です。

設定

すべて任意です。サーバーの env に設定します。

変数	デフォルト	意味
AGENT_REFEREE_PRIVATE_KEY	なし	有料呼び出し用の専用 Base ウォレットです。これがなくても無料ツールは動作します。
AGENT_REFEREE_DAILY_LIMIT_USD	1.00	サーバーが UTC の 1 日あたりに使用できる上限額です。0 にすると有料呼び出しが無効になります。
AGENT_REFEREE_DATA_DIR	~/.agent-referee	レシートと当日の使用額の保存先です。
AGENT_REFEREE_SAVE_RECEIPTS	true	レシートの保存を停止するには false を設定します。
AGENT_REFEREE_PUBLIC_KEYS	なし	信頼する追加の署名鍵です（カンマ区切り）。サービスが新しい鍵を告知した場合にのみ指定します。現在の鍵は常に固定されています。
AGENT_REFEREE_URL	公式サービス	自分で用意したサーバーのコピーに対してテストする場合にのみ使用します。

正直な状況

• Agent Referee を運営しているのは1人です。 現時点では、背後に会社もオンコールチームもありません。ステータスページ：https://stats.uptimerobot.com/dh6sVMvo3W
• これまでのテスト： サービスでは、運営者のテスト用ウォレットによるセルフプレイのみで、有料マッチを300件以上、有料レビューを約26件処理しています。外部の顧客はまだいません。
• サイズ制限： 1回のレビューで読み取れるのは、タスクが最大4,000文字、出力が最大12,000文字です。これを超える作業は別々のレビューに分割する必要があり、各レビューは独立しています。同じモデル名を指定すれば同じモデルが使われますが、他の部分を記憶しているレビュアーが使われるわけではないため、複数の部分にまたがる問題が見落とされたり、誤って指摘されたりすることがあります。たとえば、ある部分に要件があり、別の部分にそのコードがある場合です。それぞれの概要には他の部分の内容を記載し、その部分で確認できる要件だけを列挙してください。
• この MCP サーバーのテスト： 独自のテストスイートでは、オープンソースサーバーの実際のマッチ処理とレビュー処理のコードを使い、実際の署名を用いて stdio 経由で動作をテストしています。

リンク

• サービス：https://agentreferee.ai
• JavaScript クライアントと完全なガイド：ccheez34/agent-referee-client
• サーバー（AGPL-3.0）：ccheez34/agent-referee-server
• 公開時に実施した18件の独立したチェックから得たフィールドノート：docs/field-notes
• 署名鍵：vM2GY6ZEYc/omRlIFrzu0TaMGtjHXQtchg9d7lPKkTY=（キー ID 375ba8b346776e2f）
• お問い合わせ：[email protected]

サービスを利用するには、利用規約への同意が必要です。この MCP サーバーは MIT ライセンスです。