Agent Reliability

エージェントの信頼性 — MCP サーバー

自律型 AI エージェントのテスト、ベンチマーク、監査 — 手法、ハーネス、エビデンス

厳選されたナレッジグラフを介したリモート MCP サーバーです。返されるすべての主張は、登録済みの情報源に紐付けられています。ツールは、引用と信頼度を添えて主張を返すため、エージェントは断言するのではなく、根拠を示すことができます。

インストールは不要です。ホストされたストリーミング可能な HTTP エンドポイントです。

https://agentreliability.dev/mcp

Smitheryにも掲載されています。

クライアントに追加する

Claude Code

claude mcp add --transport http agent-reliability https://agentreliability.dev/mcp

Claude Desktop／mcpServersを読み込む任意のクライアント

{
  "mcpServers": {
    "agent-reliability": {
      "type": "streamable-http",
      "url": "https://agentreliability.dev/mcp"
    }
  }
}

API キー、アカウント、認証は不要です。読み取り専用です。

クライアントを使わずに応答を確認する：

curl -s https://agentreliability.dev/mcp \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json, text/event-stream' \
  -H 'mcp-protocol-version: 2025-06-18' \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

ツール

8 つのツールがあり、それぞれにoutputSchemaがあり、structuredContentを返します。

ツール	引数	機能
get_overview	—	コーパスの概要です。このインスタンスが把握している内容、種類別の件数、公開済みタグ、鮮度を確認できます。コーパスが質問に答えられるかまだ分からない場合は、まずここから始めてください。
search	query, limit?	ナレッジグラフを全文検索します。アクセント記号とアポストロフィは区別されないため、ユーザー自身の言葉で検索できます。各検索結果には関連度スコアと、一致したフィールドが含まれます。
answer	question	コーパスから質問に回答します。一致したオブジェクトの主張を、情報源と信頼度とともに返します。情報源のない回答は決して返しません。
get_entity	id	ID を指定してナレッジオブジェクトを 1 つ取得し、その主張と各主張が引用する情報源を確認できます。
get_topic	tag	タグが付いたナレッジオブジェクトを一覧表示します（トピックはコンテンツに基づくタグです）。
get_related	id	オブジェクトのグラフ上の隣接要素を取得します。出方向と入方向の関係を、それぞれ関係の種類とともに表示します。
get_sources	object_id?	情報源の登録簿全体、または 1 つのオブジェクトが引用する情報源のみを取得します。信頼する前にコーパスを評価するために使います。
get_latest	limit?	最近検証されたナレッジオブジェクトを取得します。鮮度を示す指標です。

想定される手順は、get_overview → searchまたはanswer → get_entity → get_relatedです。エージェントが到着した直後、推測で呼び出す前にこのコーパスが役立つかを確認できるよう、get_overviewが用意されています。

コーパスの内容

ナレッジオブジェクト	38
登録済みの情報源	31
公開済みトピック	93

種類	オブジェクト数
エンティティ	25
ガイド	9
比較	2
FAQ	1
用語集	1

対象分野：評価とベンチマーク（GAIA、AgentBench、Inspect）、LLM を判定者として用いる手法とその失敗モード、Goodhart の法則とベンチマーク汚染、フォールトインジェクションとカオステスト、承認ゲートと自律性レベル、グラウンディングと忠実性。

回答できるように設計された質問

• エージェントが記憶しているベンチマークと、本物の評価をどう見分ければよいですか？
• LLM 判定者にとってキャリブレーションとは何を意味し、どのように測定しますか？
• フォールトインジェクションで実際に検出できる失敗モードは何ですか？

実際の回答の例

稼働中のエンドポイントに対する実際の呼び出しです。answerに *"ベンチマーク汚染と本物の評価をどう見分けるか"*と質問すると、次のstructuredContentが返されます（一部省略）。

{
  "answered": true,
  "entity": {
    "id": "agent-reliability-glossary",
    "name": "Agent reliability glossary",
    "evidence_tier": "secondary",
    "confidence": 0.85,
    "last_verified": "2026-08-08",
    "canonical_url": "https://agentreliability.dev/k/agent-reliability-glossary"
  },
  "claims": [
    {
      "text": "An eval is a structured, repeatable test that measures an LLM or LLM-based system against a defined dimension; frameworks package evals as registries of reusable templates.",
      "sources": [{ "title": "openai/evals — framework for evaluating LLMs and LLM systems" }]
    }
  ]
}

回答とともに返される内容に注目してください。エビデンスの階層、信頼度、最終検証日、そして主張の根拠となる情報源です。エージェントが解析しなければならない文章としてではなく、エージェントが利用できるフィールドとして返されます。エージェントは、根拠の弱い主張の利用を控えたり、一次情報源を直接引用したりできます。

コーパスが回答できない場合、answeredはfalseになります。即興で回答することはなく、情報の不足が記録されるため、後から補うことができます。

機械可読な提供形式

MCP エンドポイントは、複数ある提供形式のひとつです。同じコーパスは、エージェントが直接読み取れるプレーンファイルとしても提供されています。

提供形式	内容
/llms.txt	インデックス（text/plain）
/llms-full.txt	コーパス全体をまとめたファイル
/ai-index.json	このインスタンスが公開するすべての提供形式と、そのコンテンツタイプ
/api/index.json	ナレッジオブジェクトごとの JSON ドキュメント
/api/sources.json	ソースレジストリ全体
/.well-known/mcp/server.json	このサーバーのマニフェスト

各ナレッジオブジェクトには、人が読めるページと同じ ID の機械可読な対応データがあり、正規 URL はすべての提供形式で一致しています。

統合する前に知っておきたい動作

• POST のみ。 それ以外のすべてのメソッドには、Allow: POST, OPTIONS ヘッダー付きで 405 を返します。
• レート制限： クライアントごとに毎分 120 リクエストです。共有ストアでカウントし、すべてのレスポンスで RateLimit-Limit、RateLimit-Remaining、RateLimit-Reset として公開します（3 つとも CORS 経由で公開されます）。フェイルオープン方式のため、ストアに接続できない場合もリクエストは処理されます。
• 不正な入力には仕様に準拠した JSON-RPC エラーを返します。解析不能な本文には -32700、不明なツールには -32602 を返し、HTML エラーページは返しません。
• リクエスト本文にはサイズ上限があり、トランスポートに渡す前に検証されます。

プライバシー

アカウント、Cookie、広告はありません。利用状況は、日ごとにローテーションするハッシュ化識別子を使って集計され、200 日間保持されます。生の IP アドレスが保存されることはありません。ポリシーの全文は PRIVACY.md をご覧ください。

出典とライセンス

ナレッジコンテンツは CC-BY-4.0 です。利用し、出典を明記してください。ソースレジストリを公開しているのは、主張を鵜呑みにするのではなく、検証できるようにするためです。get_sources を使うと、特定の主張が何に基づいているかを確認できます。

主張にはエビデンスの段階と last_verified の日付が付されています。エビデンスが弱い場合は、段階を誇張するのではなく、その旨をオブジェクトに記載しています。

構築方法

Citarium によってコンパイルされ、配信されています。Citarium は、外部評価を受けながら、単一のソースからナレッジグラフをウェブサイト、API、MCP サーバー、エージェントが読み取れるファイルに変換する、ソース公開型のフレームワークです。

フレームワークのコードは Business Source License 1.1 でライセンスされており、そのリポジトリは公開されていません。公開されているもの、そして回答を信頼するうえで実際に重要なものは、このサーバー、提供されるコーパス、各主張の根拠となる登録済みのソースです。get_sources を使うと、特定の主張が何に基づいているかを確認できるため、鵜呑みにせず検証できます。

このリポジトリはサーバーの公開窓口であり、マニフェストとドキュメントを掲載しています。コーパスそのものは agentreliability.dev にあります。

自分で実行する

上記のエンドポイントがサーバーです。ローカルで複製を実行したい場合、またはディレクトリの内容を調べるためにサーバーを起動する必要がある場合は、手順を CONTAINER.md で確認できます。fetch-corpus.mjs がこのインスタンスの公開コーパスをダウンロードし、@citarium/mcp がそれを配信します。どちらのファイルも citarium mirror によって生成されます。編集するのはこれらのファイルではなく、インスタンスです。

コンテナが配信するのは、イメージのビルド時に取得したスナップショットです。このエンドポイント自体が本体です。