Agent Reliability

Agent Reliability — MCP 服务

测试、基准评测和审计自主 AI Agent 的方法、测试框架与证据

这是一个基于精选知识图谱的远程 MCP 服务。它返回的每条声明都关联到已登记的来源：工具会返回带有引用和置信度的声明，让 Agent 可以展示推理依据，而非只作断言。

无需安装。这是一个托管的可流式传输 HTTP 端点：

https://agentreliability.dev/mcp

也已列入 Smithery。

将其添加到客户端

Claude Code

claude mcp add --transport http agent-reliability https://agentreliability.dev/mcp

Claude Desktop / 任何读取 mcpServers 的客户端

{
  "mcpServers": {
    "agent-reliability": {
      "type": "streamable-http",
      "url": "https://agentreliability.dev/mcp"
    }
  }
}

无需 API 密钥、账户或身份验证。只读。

无需任何客户端，即可检查它是否能响应：

curl -s https://agentreliability.dev/mcp \
  -H 'Content-Type: application/json' \
  -H 'Accept: application/json, text/event-stream' \
  -H 'mcp-protocol-version: 2025-06-18' \
  -d '{"jsonrpc":"2.0","id":1,"method":"tools/list"}'

工具

共有 8 个工具，每个都有 outputSchema，且都会返回 structuredContent。

工具	参数	功能
get_overview	—	语料库概览：此实例掌握的内容、各类型的数量、已发布的标签以及新鲜度。从这里开始：刚进入时，如果还不知道该语料库能否回答你的问题，就先调用此工具。
search	query、limit?	对知识图谱进行全文搜索。搜索不区分重音符号和撇号，因此可以使用用户自己的措辞进行查询；每条结果都会附带相关性得分和匹配字段。
answer	question	根据语料库回答问题。返回匹配对象的声明、来源和置信度——绝不提供没有来源的答案。
get_entity	id	按 ID 获取一个知识对象，以及其声明和每条声明引用的来源。
get_topic	tag	列出带有某个标签的知识对象（主题是有内容支撑的标签）。
get_related	id	获取某个对象在图谱中的邻居：传出和传入关系，以及每种关系的类型。
get_sources	object_id?	获取完整的来源登记表，或仅获取某个对象引用的来源。可用它在信任语料库之前评估语料库。
get_latest	limit?	获取最近验证过的知识对象，作为新鲜度信号。

预期调用路径为 get_overview → search 或 answer → get_entity → get_related。设置 get_overview 是因为刚接入的 Agent 需要先了解语料库是否能提供帮助，再决定是否花一次调用来猜测。

语料库包含什么

知识对象	38
已登记来源	31
已发布主题	93

类型	对象数
entity	25
guide	9
comparison	2
faq	1
glossary	1

主题内容：评估和基准测试（GAIA、AgentBench、Inspect）、LLM-as-judge 及其失效模式、Goodhart 定律和基准测试污染、故障注入与混沌测试、审批关卡与自主级别、依据支撑与忠实度。

它旨在回答的问题

• 如何判断一项评估是真正的评估，还是 Agent 已经记住的基准测试？
• 对 LLM 裁判而言，校准意味着什么，又该如何衡量？
• 故障注入究竟能捕捉哪些失效模式？

答案的实际样子

对线上端点进行一次真实调用——使用 answer 提问 “如何判断一项评估是真正的评估，还是基准测试污染？”——会返回以下 structuredContent（经删减）：

{
  "answered": true,
  "entity": {
    "id": "agent-reliability-glossary",
    "name": "Agent reliability glossary",
    "evidence_tier": "secondary",
    "confidence": 0.85,
    "last_verified": "2026-08-08",
    "canonical_url": "https://agentreliability.dev/k/agent-reliability-glossary"
  },
  "claims": [
    {
      "text": "An eval is a structured, repeatable test that measures an LLM or LLM-based system against a defined dimension; frameworks package evals as registries of reusable templates.",
      "sources": [{ "title": "openai/evals — framework for evaluating LLMs and LLM systems" }]
    }
  ]
}

请注意答案附带的信息：证据等级、置信度、上次验证日期以及声明背后的来源——这些不是需要 Agent 解析的文字，而是它可以直接使用的字段。Agent 可以拒绝使用依据薄弱的声明，也可以直接引用原始来源。

如果语料库无法回答，answered 的值为 false。它不会临场编造，并且会记录这次未能回答的情况，以便补上缺失内容。

机器可读的内容入口

MCP 端点只是多个入口之一。同一语料还以纯文本文件的形式提供，Agent 可以直接读取：

入口	内容
/llms.txt	索引，格式为 text/plain
/llms-full.txt	合并在一个文件中的完整语料
/ai-index.json	此实例发布的所有内容入口及其内容类型
/api/index.json	每个知识对象对应一个 JSON 文档
/api/sources.json	完整的来源注册表
/.well-known/mcp/server.json	此服务的清单

每个知识对象都有一个人类可读页面，以及一个位于相同 ID 下的机器可读副本；它们的规范 URL 保持一致。

集成前值得了解的行为

• 仅支持 POST。 其他所有方法均返回 405，并附带 Allow: POST, OPTIONS 标头。
• 速率限制： 每个客户端每分钟 120 个请求，在共享存储中计数；每个响应都会通过 RateLimit-Limit、RateLimit-Remaining 和 RateLimit-Reset 发布限制信息（这三项均通过 CORS 暴露）。如果存储不可访问，系统会放行请求。
• 格式错误的输入会收到符合规范的 JSON-RPC 错误：无法解析的请求体返回 -32700，未知工具返回 -32602，不会返回 HTML 错误页面。
• 请求体大小有限制，并且会在传输前进行验证。

隐私

无需账户，不使用 Cookie，也没有广告。使用情况通过每日轮换的哈希标识符进行汇总统计，数据保留 200 天；原始 IP 地址绝不存储。完整政策见：PRIVACY.md。

来源与许可

知识内容采用 CC-BY-4.0 许可：可以使用，但请注明出处。来源注册表公开发布，正是为了让人们能够核查声明，而非盲目信任——get_sources 会返回任意声明所依据的来源。

每项声明都标注了证据等级和 last_verified 日期。证据较弱时，对象会如实说明，而不是夸大其可信度。

构建方式

本服务由 Citarium 编译并提供服务。Citarium 是一个可查看源代码的框架，可在外部评估下，从单一来源将知识图谱转化为网站、API、MCP 服务和 Agent 可读文件。

该框架的代码采用 Business Source License 1.1 许可，其代码库不公开。公开的内容，以及真正关系到答案是否可信的内容，是此服务、它提供的语料，以及每项声明背后注册的来源：get_sources 会返回任意声明所依据的来源，因此可以核查，而非盲目信任。

此代码库是该服务面向公众的部分：它的清单和文档。语料本身位于 agentreliability.dev。

自行运行

上方的端点就是该服务。如果你想在本地运行一个副本，或者某个目录需要先启动服务才能检查它，请参阅 CONTAINER.md 中的操作说明：fetch-corpus.mjs 会下载此实例发布的语料，@citarium/mcp 则提供该语料服务。这两个文件均由 citarium mirror 生成；请编辑实例，而不是这两个文件。

容器提供的是构建镜像时获取的快照。此端点才是服务本身。