AgentTrust

AgentTrust

面向 AI Agent 和 MCP 服务的挑战响应式质量验证。

AgentTrust 会在你信任 AI Agent 处理实际任务或付款之前评估其能力。它可以连接到任意 MCP 服务，针对 6 个质量维度运行挑战响应测试，并颁发 W3C 可验证凭证作为证明。

为什么选择 AgentTrust

AI Agent 生态系统已有身份验证（ERC-8004、SATI）、事后信誉评估（TARS、Amiko）和支付（x402），却缺少付款前质量门槛。AgentTrust 填补了这一空白：先验证能力，再建立信任。

功能

评估引擎

• 3 级管线：清单（架构）→ 功能（工具调用）→ 领域专家（校准问题）
• 6 个评分维度：准确性（35%）、安全性（20%）、可靠性（15%）、流程质量（10%）、延迟（10%）、架构质量（10%）
• 共识评判：2-3 个 LLM 评判者并行工作，并设有一致性阈值（可节省 50-66% 的 LLM 调用）
• 7 个 LLM 提供商回退链：Cerebras → Groq → OpenRouter → Gemini → Mistral → DeepSeek → OpenAI
• 5 种对抗性探测类型：提示词注入、PII 泄露、幻觉、溢出、系统提示词提取

对战竞技场

• 采用位置互换一致性的盲测正面对决评估
• 使用 OpenSkill（贝叶斯 ELO）评级系统，设有多个段位（青铜 → 宗师）
• 公平匹配：结合评级接近度、不确定性加成和跨段位挑战
• 风格控制惩罚，防止通过冗长或格式化的回复钻空子

IRT 自适应测试

• 基于对战数据进行 Rasch 1PL 校准（纯 Python，无需 numpy）
• 通过最大化 Fisher 信息来自适应选择问题
• 使用标准正态先验进行 EAP 能力估计
• 在保持准确性的同时，将评估成本降低 50-90%

标准

• W3C 可验证凭证（AQVC 格式），采用 Ed25519 DataIntegrityProof
• 原生支持 Google A2A v0.3（AgentTrust 本身就是一个 A2A Agent）
• x402 Solana 支付验证（USDC + SOL）
• AIUC-1 协议映射

快速开始

Docker（推荐）

cp .env.example .env
# Add at least one LLM key (GROQ_API_KEY, CEREBRAS_API_KEY, etc.)
docker compose up -d

服务：

• API：http://localhost:8002
• MCP 服务：http://localhost:8003
• 健康状态：http://localhost:8002/health

本地开发

python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env
# Add LLM keys to .env

unset GROQ_API_KEY  # Shell env overrides .env rotation pool
python -m uvicorn src.main:app --host 0.0.0.0 --port 8002 --reload

MCP 服务（适用于 Claude、Cursor、Windsurf）

添加到 MCP 客户端配置中：

{
  "mcpServers": {
    "agenttrust": {
      "command": "python",
      "args": ["-m", "src.standards.mcp_server"],
      "env": {
        "GROQ_API_KEY": "your-key"
      }
    }
  }
}

或者通过 SSE 连接到运行中的实例：

http://localhost:8003/sse

可用的 MCP 工具：

工具	描述
check_quality(server_url)	完整评估：清单 + 功能 + 评判评分
check_quality_fast(server_url)	返回缓存评分（<10ms）或仅检查清单（<100ms）
get_score(server_url)	查询带新鲜度衰减的缓存评分
verify_attestation(attestation_jwt)	验证 AQVC JWT 并解码负载

API 端点

方法	端点	描述
POST	/v1/evaluate	提交目标以进行评估
GET	/v1/evaluate/{id}	查询评估状态
GET	/v1/score/{target_id}	获取质量评分
GET	/v1/scores	搜索/列出评分
GET	/v1/badge/{target_id}.svg	SVG 质量徽章
GET	/v1/attestation/{id}	获取已签名的证明（JWT 或 W3C VC）
POST	/v1/attestation/{id}/verify	验证证明
POST	/v1/feedback	提交生产环境反馈（反欺瞒）
POST	/v1/battles	创建评估对战
GET	/v1/arena/leaderboard	对战竞技场排行榜
GET	/v1/rankings	按领域/层级查看全球排名
POST	/v1/irt/calibrate	触发 IRT 批量校准
GET	/v1/irt/recommend	自适应选择问题
GET	/v1/pricing	x402 定价表
GET	/.well-known/agent.json	A2A Agent 卡片

架构

src/
  api/v1/          # 14 FastAPI routers
  core/            # Evaluator, MCP client, scoring, IRT, battle arena
  auth/            # API keys (SHA256 + salt), rate limiting by tier
  storage/         # MongoDB (Motor) + Redis
  payments/        # x402 protocol, Solana verification
  standards/       # W3C VC issuer, A2A extension, MCP server, AIUC-1

技术栈： FastAPI + MongoDB + Redis | 533 项测试 | 60 个源文件 | 15 个精简依赖项

测试

python -m pytest tests/ -q
# 533 passed in ~2s

配置

所有 60 多个配置选项请参阅 .env.example，包括：

• LLM API 密钥（7 个提供商，以逗号分隔以便轮换使用）
• MongoDB/Redis 连接
• JWT 证明（Ed25519 密钥、颁发者 DID、有效期）
• 用于 x402 支付的 Solana 钱包
• 速率限制层级和共识评判设置

许可证

MIT

链接

• 架构 — 完整系统设计（845 行）
• 分发路线图 — 合作伙伴和集成计划
• A2A Agent Card — 机器可读的功能说明

由 Assisterr 构建