GroundLens

LLM 答案的护栏

GroundLens 会根据你的文档检查 AI 答案：

核对数据、数据所指对象，以及答案是否回答了问题。

对于从未见过的财务答案，它拦截了 4 个错误答案中的 3 个；

对于包含数字的公开声明，它拦截了一半缺乏依据的说法。

每次检查约需 10 ms，结果确定，无需 LLM 参与。¹

🤔 已经在使用 LLM 评审器了吗？ 保留它。GroundLens 会先运行精确检查，FAIL 结果绝不会送到评审器。评审器只会看到那些未被精确检查驳回的答案。	确定性	先进行精确检查，无需 LLM 评审器
	可验证	PASS、REVIEW 或 FAIL，并附带签名记录
	可衡量	用你自己的答案衡量通过内容的错误率
	可移植	Rust 引擎：在所有操作系统上生成相同的哈希

_兼容

              

   

快速开始

# pip install groundlens
import groundlens as gl

verifier = gl.Verifier(sink=gl.sinks.jsonl("records/"))
record = verifier.check(answer="Revenue was €42.1 million.", passages=["Revenue reached €41.2 million."])
print(record.decision, record.reasons)

FAIL ['c2: groundlens.numeric contradicted: €42.1 million not in sources; nearest 41200000 EUR in ctx-0 (relative distance 0.021)']

在本地运行：无需账户、API 密钥、模型或网络。check 返回前，已签名的记录就会写入 records/。

集成

将同一项检查接入你的技术栈：

from langfuse import get_client
verifier = gl.Verifier(sink=gl.sinks.jsonl("records/"), observers=[gl.integrations.langfuse(get_client())])

verifier = gl.Verifier(sink=gl.sinks.jsonl("records/"), observers=[gl.integrations.otel()])

import boto3
verifier = gl.Verifier(
    signer=gl.signers.aws_kms(boto3.client("kms"), key_id),           # the key never leaves KMS
    sink=gl.sinks.s3_object_lock(boto3.client("s3"), "audit-records", retain_days=3650),
)

精确检查可以发现数值错误、计算错误、数据来自其他公司，或与问题所问的类型不符。它们无法发现取自正确表格错误行的真实数值，也无法发现原文段落中从未提及的句子。为此，你需要接入一个能够阅读内容的模型：裁判。GroundLens 不附带模型；你可以传入自己已在使用的客户端。

from openai import OpenAI

verifier = gl.Verifier(
    "credit_desk.yaml",                                       # a policy that allows a judge, below
    judge=gl.judges.openai_compatible(OpenAI(), "gpt-4.1"),
    sink=gl.sinks.jsonl("records/"),
)

随附的策略禁止使用裁判，因此使用裁判的策略会明确说明：

id: credit_desk
version: 1.0.0
extends: eu_ai_act_high_risk_v1
verifiers:
  forbidden: []          # allow llm_judge.*
judge:
  required: true         # no judge, or a judge that fails: REVIEW
  contradicted: REVIEW   # or FAIL
  unsupported: REVIEW

裁判可以升级处理，绝不会直接通过。 它会将每个句子标记为 supported、unsupported、contradicted 或 uncertain。仅凭 supported 不会得出任何结论，因此，即使裁判判断错误，或被段落内容诱导而表示赞同，也无法让未通过精确检查的答案蒙混过关。超时、出错或回复格式错误都会导致 REVIEW。

你可以准确看到它收到的内容。 每个答案只会发送一条提示词，采用固定模板（groundlens.judge/1）：对你而言 PASS 的含义、范围、问题、答案，以及每个带来源信息的段落。段落之间由它们无法包含的标记隔开，因此段落中的文本是数据，而非指令。groundlens judge show-template 会在发送任何内容前，打印出完整提示词。

记录会保留完整追踪信息。 记录包括模板 ID、提示词哈希、服务提供方声称作出回复的模型及回复哈希，以及每个句子的标记、引用的段落和一句话理由。在 Langfuse 中，裁判会显示为一个 generation，与你自己的模型调用并列。

架构

GroundLens 将验证拆分为五个互不混杂的部分：声明、验证器、证据、策略和记录。

1. 答案会被拆分为声明：每个数值和每个句子，并记录其字符偏移量。
2. 验证器会对照段落检查每项声明，并返回证据（supported、contradicted、unsupported），而非判定结果。随附的验证器都采用精确检查：数值（精确分数、地区格式、单位、重新计算的总和与比率）、范围、意图，以及你的规则。如果你接入了裁判，它就是你已在使用的模型，并通过固定模板向其提问。
3. 证据图会保留每个验证器对每项声明给出的结论，以及它们存在分歧之处。
4. 策略是由你维护的 YAML 文件，会将证据转化为决定：PASS、REVIEW 或 FAIL，并附上理由。
5. 记录包含输入哈希、证据、策略哈希和决定，并与上一条记录链式关联且经过签名。记录会在 check 返回前存储；之后才会通知观察者。

引擎使用 Rust 编写，并以 Python wheel 形式发布（abi3，Python 3.10+），另附可在不使用 Python 的情况下检查记录的独立 glv 二进制文件。它在你的进程中运行：无需服务端、网络或运行时依赖。使用 Rust 时，运行 cargo add groundlens；安装二进制文件时，运行 cargo install groundlens-cli。

策略

检查会生成证据。策略决定这些证据对你意味着什么：哪些情况会失败、哪些情况会交由人工处理，以及 PASS 允许什么。它是一个简短的 YAML 文件，由你负责维护版本，并与代码一同管理。同一个答案在两种策略下可能得到不同的决定，而且两种决定都正确；这种差异体现了你明确写下的风险偏好。

GroundLens 随附两种策略：

编写自己的策略

扩展随附的策略，只编写不同之处：

id: credit_desk
version: 1.2.0
extends: eu_ai_act_high_risk_v1
pass_means: "may be shown to the analyst as a summary of the filing"
locale: es-ES                     # how the documents write numbers: 1.234,56
rounding: half_even               # how a recomputed figure may round
scope:
  required: [entity]              # every request must name the borrower
  missing_scope: REVIEW           # or FAIL; never PASS
risk_classes:
  default: credit_information
  mandatory_review: [credit_limit_change]   # always seen by a person

verifier = gl.Verifier("policies/credit_desk.yaml")
verifier.check(answer=a, passages=p, scope={"entity": "Talleres Norte"}, risk_class="credit_limit_change")

未知键会被视为错误，而不会被忽略：拼写错误的规则绝不会被悄悄忽略。

失败不等于 PASS

最终决定取所有检查结果中最严重的结果。

检查你的策略

groundlens policy lint policies/credit_desk.yaml                # errors before you deploy
groundlens policy show --resolved policies/credit_desk.yaml     # every default filled in

已解析策略的哈希会写入它所作出的每条记录，因此每项决策都可以追溯到产生它的确切规则。

更改策略前，必须先进行评估：

• groundlens measure 会根据团队成员在不知道判定结果的情况下标注的小样本，估算已通过的答案中错误答案所占的比例，并按风险类别提供 95 % 置信区间以及每项决策的成本。
• groundlens replay 会使用新策略处理过去的流量，并列出可能发生变化的决策。

两份报告均经过签名。完整参考：编写策略。

安全性

GroundLens 位于模型与决策之间，其记录旨在作为证据。这两点都使它成为攻击目标：攻击者可能试图让错误答案通过，或事后篡改记录轨迹。

请通过 GitHub 安全公告 私下报告漏洞。请参阅 SECURITY.md。

参与贡献

如果 GroundLens 曾经错误判断了你的某个答案，那么这个案例就是最有价值的贡献。我们也欢迎检查项、连接器和文档方面的贡献；CONTRIBUTING.md 介绍了如何开始。

开源

全部采用 Apache-2.0 许可：引擎、检查项、策略、连接器、命令行和 MCP 服务。任何人都必须能够在不使用我们的软件或获得我们许可的情况下检查验证证据；只有验证器开源，这一点才能实现。

你可以通过 [email protected] 联系开发者

_{1. GroundLens 6.0.5，默认策略，不使用裁判。**财务回答：**基于 FinQA 10-K 页面构建的 RAG（e5 嵌入，前 4 个片段）生成的 189 条真实回答，由 Claude Haiku 提供，问题均为开发 GroundLens 时从未使用过的多步问题。每条回答都由大模型（Claude Opus 5.5，claude-opus-5-5）依据固定的书面标准盲评两次；对 3 条意见不一致的回答进行了第三轮评估；在运行 GroundLens 之前，所有标签均已锁定。22 条回答有误（每 9 条中有 1 条）：其中 17 条被判为 FAIL 或 REVIEW（77 %，95 % CI 57–90 %）。在 129 条通过的回答中，有 5 条错误（3.9 %，95 % CI 1.7–8.8 %）。代价是：189 条回答中有 60 条（32 %）被判为 FAIL 或 REVIEW，其中包括 110 条正确回答中的 38 条。全新进程中，每次检查的中位耗时为 10.6 ms。**公开声明：**LLM-AggreFact 测试集（来自 11 个数据集的 29,320 组成对的声明与文档，带有人工标签），开发 GroundLens 时从未使用过。在 1,616 条包含数字且缺乏支持的声明中，有 796 条被判为 FAIL 或 REVIEW（49 %，95 % CI 47–52 %）；在通过且包含数字的声明中，16.3 % 缺乏支持，而检查前为 25.4 %。不包含数字的声明全部通过：GroundLens 未能发现其中任何错误。每次检查的中位耗时为 4.0 ms。所有结果，包括未能发挥作用的数据集，均见 BENCHMARK.md。}