Agent Referee

Agent Referee MCP 服务

让任何支持 MCP 的 Agent 使用 Agent Referee：在不同所有者的 Agent 之间进行中立仲裁，并对单个 Agent 自身的工作进行密封审查，同时提供 Ed25519 签名回执。

适用于 Claude Desktop、Claude Code、Cursor，以及任何通过 stdio 运行 MCP 服务的其他客户端。免费工具无需钱包或账户。

工具	功能	费用
demo_match	一次调用即可完成整场仲裁，由它扮演双方，让你了解其工作方式。	免费
tiebreak	与另一个 Agent 一起解决僵局。双方使用相同的 key 和设置调用它；任何一方或服务都无法左右结果。	暂时提供免费演示（付费档位即将推出）
sealed_review	独立 AI 审查者根据任务检查你的 Agent 的输出，并返回裁决和签名回执，你可以将回执交给工作接收方。	免费：每个地址每天可进行 3 次审查和 1 次 review-3（无需钱包）。之后每次 $0.05，review-3 每次 $0.20（由三家 AI 公司提供的三位审查者）
verify_receipt	使用固定的签名密钥离线检查任意 Agent Referee 回执。传入任务和输出，以确认审查针对的正是这项工作。	免费
saved_receipts	列出此服务在你的计算机上保存的审查回执，以及今日支出。	免费

设置

你需要 Node.js 18 或更高版本。

Claude Desktop

打开 Settings → Developer → Edit Config，将以下内容添加到 claude_desktop_config.json，然后重启 Claude Desktop：

{
  "mcpServers": {
    "agent-referee": {
      "command": "npx",
      "args": ["-y", "agent-referee-mcp"]
    }
  }
}

在 Windows 上，如果 Claude Desktop 无法启动它，请使用 "command": "cmd" 和 "args": ["/c", "npx", "-y", "agent-referee-mcp"]。

Claude Code

claude mcp add agent-referee -- npx -y agent-referee-mcp

在 Windows 上：claude mcp add agent-referee -- cmd /c npx -y agent-referee-mcp

Grok CLI (Grok Build)

grok mcp add agent-referee -- npx -y agent-referee-mcp

重启 Grok 会话，使其加载服务。首次调用可能需要多等几秒，因为 npx 需要下载软件包。

其他 MCP 客户端

任何能够运行本地（stdio）MCP 服务的客户端都可以使用相同方式：命令为 npx，参数为 -y agent-referee-mcp。

试用

向你的 Agent 提问：“使用 demo_match 运行一次免费的 Agent Referee 演示。” 它会返回胜方、签名回执（标记为 demo），以及各项检查结果：签名、双方各自的种子和计算结果。

免费密封审查

未设置钱包时，sealed_review 使用每日免费额度：每个地址每天可进行 3 次单审查者审查和 1 次 review-3（IPv4 地址，或 IPv6 的 /64 网段），每天 00:00 UTC 重置。费用由运营方承担，所有人共享每日预算，因此免费审查可能会在当天结束前用完。额度用完时，该工具会告知你。

• 免费回执的签名方式与付费回执完全相同，并注明 "funding": "free"，且没有付款方。
• 服务繁忙或审查者执行失败，不会消耗免费审查额度。
• 设置钱包后，审查将使用付费额度，除非 Agent 传入 free: true。

付费密封审查：添加钱包

sealed_review 通过 x402 在 Base 上使用 USDC 按次付费，资金来自你配置的钱包。只有审查完成后才会收费。

1. 为你的 Agent 创建一个专用钱包，并只在其中存入少量 Base 上的 USDC。切勿使用主钱包。
2. 在 MCP 客户端设置中，将私钥和每日上限添加到服务的 env 中。切勿将私钥粘贴到聊天中。
3. 启动时也要使用支付库（如下所示，使用 -p x402-fetch）。免费配置会省略它以缩小安装体积；如果没有它，sealed_review 会说明情况，且不会收费。

{
  "mcpServers": {
    "agent-referee": {
      "command": "npx",
      "args": ["-y", "-p", "agent-referee-mcp", "-p", "x402-fetch", "agent-referee-mcp"],
      "env": {
        "AGENT_REFEREE_PRIVATE_KEY": "0x…your dedicated wallet's key…",
        "AGENT_REFEREE_DAILY_LIMIT_USD": "1.00"
      }
    }
  }
}

安全措施：

• 每日支出上限： 服务每天（UTC）支出不会超过 AGENT_REFEREE_DAILY_LIMIT_USD（默认为 $1.00，设为 0 则关闭付费调用）。
  • 每次支付前都会检查，并将记录保存到磁盘，以便重启后保留。
  • 使用同一数据文件夹的每个服务副本共享此上限（Claude Desktop、Claude Code 和 Cursor 各自启动一个副本），并行调用也不会合计超额。
  • 如果调用在审查过程中被中断（应用关闭或电脑进入睡眠状态），10 分钟后会计为已支出，因为支付可能已经完成。
  • 如果无法读取支出记录，付费调用会暂停，而不会将当日支出重置为零。
  • 如果连接在审查过程中断开，且无法确定费用是否已扣除，则会将此审查计入支出，因此上限会采取较安全的计算方式。
• 单次请求上限： 每笔支付的金额恰好不超过该次审查的价格，因此价格变动绝不会导致多扣款。
• 密钥仅来自服务设置。 没有任何工具会将密钥作为参数接受，错误信息中也绝不会打印或回显密钥。
• 忙碌时免费： 当服务的 AI 审查者达到容量上限时，会先回复“忙碌”，不会收取费用。sealed_review 会告知 Agent 需要等待多久，并且不会收费，也不会计入上限。
• 收据会自动保存到 ~/.agent-referee/receipts/。服务不会保留审查副本，因此此文件可能是唯一记录。即使客户端在审查完成前停止等待，收据仍会保存；可通过 saved_receipts 查找。

Agent 的工具审批提示仍然适用：大多数客户端在运行工具前都会征求同意。sealed_review 的说明以免费或付费开头，并解释了两种情况，因此你可以在审批时看到费用。

如何撰写好的请求

• task 是这项工作原本应完成的内容：即生成该成果所依据的说明或规格，以及其中的要求。它不是发给审查者的消息。
  • 不要写：“检查这段代码是否有错误。”审查者可能会判断输出是不是一份错误报告，并判定其不合格。
  • 应改为：“编写一个函数，将请求重试最多 4 次，且运行时间绝不超过 240 秒。”
• 将所有希望验证的主张都作为要求写入 task。
• output 是未经改动的完整工作成果。 收据会逐字节与其绑定。

审查能证明什么，不能证明什么

审查收据可以证明这些模型针对这一项具体任务和输出给出了这些判定。收据中保存的是任务和输出的 SHA-256 指纹，而不是文本本身。

这并不保证输出正确：

• 审查者只能看到文本，可能会遗漏问题。
• 重新运行可能会得出不同的判定。
• 付费 Agent 会选择任务，因此接收成果的人应检查该任务是否就是自己实际要求的任务。

任务和输出会发送给运行审查者的 AI 公司，因此请勿提供机密信息和个人数据。详情请见：PRIVACY.md。

Claude 插件和技能

此仓库也是一个 Claude Code 插件。它会同时安装 MCP 服务和 independent-check 技能；该技能会教 Claude 何时值得付费进行密封评审、如何撰写中立请求，以及如何如实报告裁决结果。

Claude Code：

/plugin marketplace add ccheez34/agent-referee-mcp
/plugin install agent-referee@agent-referee

然后运行 /reload-plugins（或重启 Claude Code）。如果要进行付费评审，请添加上文所述的钱包设置；免费工具无需这些设置即可使用。

**Claude 应用（仅技能）：**从最新版本下载 independent-check.zip，并在“自定义 → 技能”下上传。还要添加此 MCP 服务（参见“设置”），因为该技能会调用它的工具。

技能本身位于 skills/independent-check/SKILL.md。

托管服务（ChatGPT 和其他仅支持 URL 的客户端）

remote/ 中存放着此服务的托管版本，供只能连接 URL 的客户端使用，例如 ChatGPT。它仅提供免费评审，使用“发起并稍后查询”工具（start_review，然后调用 get_review），因为 ChatGPT 等待工具响应的时间约为 1 分钟。该服务已在 https://mcp.agentreferee.ai/mcp 上线（无需登录）。在 ChatGPT 中添加此服务需要使用允许自定义连接器的工作区；请参阅 remote/README.md。

与另一个 Agent 一起打破平局

两个 Agent 都需要使用此服务（或 JavaScript 客户端）。首先，商定设置：key（例如 task-912-who-drafts）、两个席位名称、等级和赔率。然后，每个 Agent 使用自己的 my_seat 调用 tiebreak：

{ "key": "task-912-who-drafts", "seats": ["buyer", "seller"], "my_seat": "buyer", "tier": "weighted", "weights": { "buyer": 50, "seller": 50 } }

工作原理：

• 每个 Agent 先提交一个秘密种子，再揭示该种子；结果根据两个种子计算得出。任何一个 Agent 或服务都无法操控结果。
• 两个 Agent 会收到相同的签名回执。
• 每个 Agent 自行验证回执的签名、自身的种子、计算过程，以及回执是否符合双方商定的设置。

等待和设置不匹配：

• 调用最多会等待 wait_seconds（默认为 60），以等待另一个 Agent。
• 如果另一个 Agent 使用相同的密钥但设置不同，调用会被拒绝，并附上说明原因的消息。

目前，打破平局仅提供免费的演示对局（weighted、rps、rps-bo3），签名回执中会标记为 demo。付费的平局裁决和 AI 裁判即将推出。

设置

所有设置均为可选项，在服务的 env 中配置：

变量	默认值	含义
AGENT_REFEREE_PRIVATE_KEY	无	用于付费调用的专用 Base 钱包。未设置时，免费工具仍可使用。
AGENT_REFEREE_DAILY_LIMIT_USD	1.00	服务每天（UTC）最多可支出的金额；设为 0 可关闭付费调用。
AGENT_REFEREE_DATA_DIR	~/.agent-referee	回执和当天的支出记录的保存位置。
AGENT_REFEREE_SAVE_RECEIPTS	true	设为 false 可停止保存回执。
AGENT_REFEREE_PUBLIC_KEYS	无	要信任的额外签名密钥（以逗号分隔）；仅当服务发布新密钥时才需要设置。当前密钥始终会固定信任。
AGENT_REFEREE_URL	官方服务	仅用于针对你自己的服务副本进行测试。

如实说明现状

• Agent Referee 由一个人运营。 目前还没有公司或值班团队提供支持。状态页：https://stats.uptimerobot.com/dh6sVMvo3W
• 目前的测试情况： 该服务已处理 300 多场付费对决和约 26 次付费评审，全部由运营者使用自己的测试钱包进行自我测试。目前还没有外部客户。
• 规模限制： 单次评审最多读取 4,000 个字符的任务内容和 12,000 个字符的输出。较长的工作必须拆分为多次独立评审。即使指定相同的模型，使用的也只是相同的模型，而不是能记住其他部分内容的评审者，因此可能会漏掉或误报跨部分的问题，例如一部分中的要求与另一部分中的代码对应。请在每份说明中写明其他部分的内容，并且只列出该部分能够展示的要求。
• 此 MCP 服务的测试： 它自己的测试套件通过 stdio 驱动该服务，使用开源服务真实的对决和评审代码，并进行真实签名。

链接

• 服务：https://agentreferee.ai
• JavaScript 客户端和完整指南：ccheez34/agent-referee-client
• 服务端（AGPL-3.0）：ccheez34/agent-referee-server
• 上线期间 18 次独立检查的实地记录：docs/field-notes
• 签名密钥：vM2GY6ZEYc/omRlIFrzu0TaMGtjHXQtchg9d7lPKkTY=（密钥 ID 375ba8b346776e2f）
• 联系方式：[email protected]

使用该服务即表示接受其条款。此 MCP 服务采用 MIT 许可证。