AgentTrust

AgentTrust

AI エージェントと MCP サーバーのためのチャレンジ・レスポンス型品質検証。

AgentTrust は、AI エージェントに実際のタスクを任せたり、支払いを行ったりする前に、その能力を評価します。あらゆる MCP サーバーに接続して、6 つの品質軸にわたるチャレンジ・レスポンス型テストを実施し、証明として W3C Verifiable Credentials を発行します。

理由

AI エージェントのエコシステムには、アイデンティティ（ERC-8004、SATI）、事後評価型の評判（TARS、Amiko）、支払い（x402）はありますが、支払い前の品質ゲートがありません。AgentTrust はこのギャップを埋めます。まず能力を検証し、その後に信頼できます。

機能

評価エンジン

• 3 段階のパイプライン：マニフェスト（スキーマ）→ 機能（ツール呼び出し）→ ドメインエキスパート（調整済みの質問）
• 6 軸のスコアリング：正確性（35%）、安全性（20%）、信頼性（15%）、プロセス品質（10%）、レイテンシ（10%）、スキーマ品質（10%）
• コンセンサス判定：2～3 人の LLM 判定者が並列で評価し、一致度のしきい値を適用（LLM 呼び出しを 50～66% 削減）
• 7 つの LLM プロバイダーによるフォールバックチェーン：Cerebras → Groq → OpenRouter → Gemini → Mistral → DeepSeek → OpenAI
• 5 種類の敵対的プローブ：プロンプトインジェクション、PII 漏えい、ハルシネーション、オーバーフロー、システムプロンプト抽出

バトルアリーナ

• 位置入れ替えの一貫性を備えた、ブラインド形式の直接対決評価
• ディビジョン（ブロンズ → グランドマスター）を備えた OpenSkill（ベイズ ELO）レーティングシステム
• 公平なマッチメイキング：レーティングの近さ + 不確実性ボーナス + ディビジョンをまたぐ対戦
• 冗長な形式の回答による攻略を防ぐ、スタイル制御ペナルティ

IRT 適応型テスト

• バトルデータから Rasch 1PL をキャリブレーション（純粋な Python、numpy 不使用）
• Fisher 情報量の最大化による適応型の質問選択
• 標準正規事前分布を用いた EAP 能力推定
• 精度を維持しながら評価コストを 50～90% 削減

標準規格

• Ed25519 DataIntegrityProof による W3C Verifiable Credentials（AQVC 形式）
• Google A2A v0.3 のネイティブサポート（AgentTrust 自体が A2A エージェントです）
• x402 Solana 支払い検証（USDC + SOL）
• AIUC-1 プロトコルマッピング

クイックスタート

Docker（推奨）

cp .env.example .env
# Add at least one LLM key (GROQ_API_KEY, CEREBRAS_API_KEY, etc.)
docker compose up -d

サービス：

• API：http://localhost:8002
• MCP サーバー：http://localhost:8003
• ヘルスチェック：http://localhost:8002/health

ローカル開発

python -m venv .venv && source .venv/bin/activate
pip install -r requirements.txt
cp .env.example .env
# Add LLM keys to .env

unset GROQ_API_KEY  # Shell env overrides .env rotation pool
python -m uvicorn src.main:app --host 0.0.0.0 --port 8002 --reload

MCP サーバー（Claude、Cursor、Windsurf 用）

MCP クライアントの設定に追加してください：

{
  "mcpServers": {
    "agenttrust": {
      "command": "python",
      "args": ["-m", "src.standards.mcp_server"],
      "env": {
        "GROQ_API_KEY": "your-key"
      }
    }
  }
}

または、SSE 経由で実行中のインスタンスに接続します：

http://localhost:8003/sse

利用可能な MCP ツール：

ツール	説明
check_quality(server_url)	完全な評価：マニフェスト + 機能 + 判定スコアリング
check_quality_fast(server_url)	キャッシュ済みスコア（<10ms）、またはマニフェストのみ（<100ms）
get_score(server_url)	最新度の減衰を考慮したキャッシュ済みスコアの取得
verify_attestation(attestation_jwt)	AQVC JWT を検証し、ペイロードをデコード

API エンドポイント

メソッド	エンドポイント	説明
POST	/v1/evaluate	評価対象を送信
GET	/v1/evaluate/{id}	評価ステータスをポーリング
GET	/v1/score/{target_id}	品質スコアを取得
GET	/v1/scores	スコアを検索／一覧表示
GET	/v1/badge/{target_id}.svg	SVG 品質バッジ
GET	/v1/attestation/{id}	署名済みアテステーションを取得（JWT または W3C VC）
POST	/v1/attestation/{id}/verify	アテステーションを検証
POST	/v1/feedback	本番環境でのフィードバックを送信（サンドバッギング対策）
POST	/v1/battles	評価バトルを作成
GET	/v1/arena/leaderboard	バトルアリーナのランキング
GET	/v1/rankings	ドメイン／ティア別の全体ランキング
POST	/v1/irt/calibrate	IRT バッチキャリブレーションを開始
GET	/v1/irt/recommend	適応型の質問選択
GET	/v1/pricing	x402 料金表
GET	/.well-known/agent.json	A2A エージェントカード

アーキテクチャ

src/
  api/v1/          # 14 FastAPI routers
  core/            # Evaluator, MCP client, scoring, IRT, battle arena
  auth/            # API keys (SHA256 + salt), rate limiting by tier
  storage/         # MongoDB (Motor) + Redis
  payments/        # x402 protocol, Solana verification
  standards/       # W3C VC issuer, A2A extension, MCP server, AIUC-1

スタック： FastAPI + MongoDB + Redis | テスト 533 件 | ソースファイル 60 件 | 軽量な依存関係 15 件

テスト

python -m pytest tests/ -q
# 533 passed in ~2s

設定

60 以上の設定オプションについては、.env.example をご覧ください。以下の項目が含まれています。

• LLM API キー（7 つのプロバイダーに対応し、ローテーション用にカンマ区切りで指定）
• MongoDB／Redis 接続
• JWT アテステーション（Ed25519 キー、発行者 DID、有効期間）
• x402 決済用の Solana ウォレット
• レート制限のティアとコンセンサスジャッジの設定

ライセンス

MIT

リンク

• アーキテクチャ — システム設計の全容（845 行）
• 配布ロードマップ — パートナーおよび統合計画
• A2A エージェントカード — 機械可読な機能情報

Assisterr が開発しました。