GroundLens

LLM の回答を守るガードレール

GroundLens は、AI の回答をお客様のドキュメントと照合します。

数値、対象者、そして質問に答えているかを確認します。

初見の財務に関する回答では、誤った回答 4 件中 3 件を検出しました。

数値を含む公開情報の主張では、根拠のないものの半数を検出しました。

チェック 1 回あたり約 10 ms。決定論的で、処理に LLM は関与しません。¹

🤔 すでに LLM による判定を実行していますか？ そのままお使いください。GroundLens はまず厳密なチェックを行い、FAIL は判定に進みません。判定器が見るのは、厳密なチェックで却下できなかった回答だけです。	決定論的	まず厳密にチェックし、LLM による判定は不要
	証明可能	署名付き記録による PASS、REVIEW、FAIL
	測定可能	お客様の回答を使って、合格したもののエラー率を測定
	ポータブル	Rust エンジン：すべての OS で同じハッシュ

_{対応サービス}

              

   

クイックスタート

# pip install groundlens
import groundlens as gl

verifier = gl.Verifier(sink=gl.sinks.jsonl("records/"))
record = verifier.check(answer="Revenue was €42.1 million.", passages=["Revenue reached €41.2 million."])
print(record.decision, record.reasons)

FAIL ['c2: groundlens.numeric contradicted: €42.1 million not in sources; nearest 41200000 EUR in ctx-0 (relative distance 0.021)']

ローカルで実行されます。アカウント、API キー、モデル、ネットワークは不要です。署名済みの記録は、check が戻る前に records/ に保存されます。

統合

同じチェックをスタックに組み込みます。

from langfuse import get_client
verifier = gl.Verifier(sink=gl.sinks.jsonl("records/"), observers=[gl.integrations.langfuse(get_client())])

verifier = gl.Verifier(sink=gl.sinks.jsonl("records/"), observers=[gl.integrations.otel()])

import boto3
verifier = gl.Verifier(
    signer=gl.signers.aws_kms(boto3.client("kms"), key_id),           # the key never leaves KMS
    sink=gl.sinks.s3_object_lock(boto3.client("s3"), "audit-records", retain_days=3650),
)

厳密なチェックでは、数値が誤っている、計算間違いがある、別の企業の数値である、または尋ねたものとは別の種類である、といった問題を検出できます。しかし、正しい表の誤った行から取得した実在の数値や、文章中で一度も述べられていない文までは検出できません。そのためには、読み取るモデル、つまりジャッジを接続します。GroundLens にモデルは同梱されていません。すでに使用しているクライアントを渡してください。

from openai import OpenAI

verifier = gl.Verifier(
    "credit_desk.yaml",                                       # a policy that allows a judge, below
    judge=gl.judges.openai_compatible(OpenAI(), "gpt-4.1"),
    sink=gl.sinks.jsonl("records/"),
)

同梱のポリシーではジャッジを使用できないため、ジャッジを使用するポリシーにはその旨が記載されています。

id: credit_desk
version: 1.0.0
extends: eu_ai_act_high_risk_v1
verifiers:
  forbidden: []          # allow llm_judge.*
judge:
  required: true         # no judge, or a judge that fails: REVIEW
  contradicted: REVIEW   # or FAIL
  unsupported: REVIEW

ジャッジはエスカレーションできますが、PASS にはできません。 各文に supported、unsupported、contradicted、uncertain のいずれかのラベルを付けます。supported だけでは何も解決しないため、ジャッジが間違っていたり、文章に同意するよう誘導されていたりしても、厳密なチェックに通らない回答が通過することはありません。タイムアウト、エラー、不正な形式の応答は REVIEW になります。

送信内容をそのまま確認できます。 回答ごとに、固定テンプレート（groundlens.judge/1）を使ってプロンプトを1つ作成します。プロンプトには、PASS の意味、スコープ、質問、回答、出典情報を含むすべての文章が含まれます。文章はその中に含められないマーカーで囲まれるため、文章内のテキストは指示ではなくデータとして扱われます。groundlens judge show-template を実行すると、どこにも何も送信する前に、正確なプロンプトを表示できます。

記録には経緯が残ります。 テンプレート ID、プロンプトのハッシュ、プロバイダーが回答したとするモデル、応答のハッシュに加え、各文のラベル、引用した文章、その1行の理由が記録されます。Langfuse では、ジャッジは独自のモデル呼び出しの隣に generation として表示されます。

アーキテクチャ

GroundLens では、検証を決して混在しない5つの部分、クレーム、検証器、エビデンス、ポリシー、記録に分割します。

1. 回答をクレームに分割します。各数値と各文を、文字オフセットとともに取り出します。
2. 検証器は各クレームを文章と照合し、判定ではなくエビデンス（supported、contradicted、unsupported）を返します。同梱の検証器は厳密です。数値（正確な分数、ロケール、単位、再計算した合計と比率）、スコープ、意図、そして独自のルールを検証します。ジャッジを接続している場合は、固定テンプレートを通じて、すでに使用しているモデルに確認します。
3. エビデンスグラフには、各検証器が各クレームについて示した内容と、検証器間で意見が食い違っている箇所が保持されます。
4. お客様が所有する YAML ファイルであるポリシーが、エビデンスを PASS、REVIEW、FAIL のいずれかの判定に変換し、その理由を示します。
5. 記録には、入力のハッシュ、エビデンス、ポリシーのハッシュ、判定が保存されます。記録は前の記録につながれ、署名されます。check が戻る前に保存され、オブザーバーへの通知はその後に行われます。

エンジンは Rust で実装され、Python ホイール（abi3、Python 3.10 以降）として配布されます。また、Python なしで記録を検証するスタンドアロンの glv バイナリも付属します。エンジンはプロセス内で動作し、サーバー、ネットワーク、実行時依存関係はありません。Rust からは cargo add groundlens、バイナリは cargo install groundlens-cli を実行してください。

ポリシー

チェックによってエビデンスが生成されます。ポリシーは、そのエビデンスの意味、つまり何を不合格とするか、何を人に回すか、PASS によって何が許可されるかを決定します。これは、所有者であるお客様がコードとともに管理し、バージョン管理する短い YAML ファイルです。同じ回答でも、ポリシーが異なれば異なる判定になることがあり、どちらも正しい判定です。その違いは、文書化されたリスク許容度を反映しています。

GroundLens には、次の 2 つのポリシーが付属しています。

独自のポリシーを作成する

付属のポリシーを拡張し、異なる部分だけを記述します。

id: credit_desk
version: 1.2.0
extends: eu_ai_act_high_risk_v1
pass_means: "may be shown to the analyst as a summary of the filing"
locale: es-ES                     # how the documents write numbers: 1.234,56
rounding: half_even               # how a recomputed figure may round
scope:
  required: [entity]              # every request must name the borrower
  missing_scope: REVIEW           # or FAIL; never PASS
risk_classes:
  default: credit_information
  mandatory_review: [credit_limit_change]   # always seen by a person

verifier = gl.Verifier("policies/credit_desk.yaml")
verifier.check(answer=a, passages=p, scope={"entity": "Talleres Norte"}, risk_class="credit_limit_change")

不明なキーは無視されず、エラーになります。ルールのスペルを間違えても、何も起こらないまま処理されることはありません。

失敗は PASS ではありません

最終判定は、すべてのチェックのうち最も厳しい結果になります。

ポリシーを確認する

groundlens policy lint policies/credit_desk.yaml                # errors before you deploy
groundlens policy show --resolved policies/credit_desk.yaml     # every default filled in

解決済みポリシーのハッシュは、そのポリシーが判定するすべてのレコードに記録されるため、各判定を、その根拠となった正確なルールまでたどれます。

ポリシーを変更する前に、測定を行う必要があります。

• groundlens measure は、判定結果を知らない状態でチームがラベル付けした少数のサンプルをもとに、通過した回答のうち誤りのある回答の割合を、リスククラスごとの 95 % 信頼区間と判定ごとのコストとともに推定します。
• groundlens replay は、過去のトラフィックに新しいポリシーを適用し、判定が変わるものを一覧表示します。

どちらのレポートにも署名が付与されます。詳しくは、ポリシーの作成をご覧ください。

セキュリティ

GroundLens はモデルと判定の間に位置し、その記録は証拠として使われます。そのため、攻撃の標的になり得ます。攻撃者は、誤った回答を通過させたり、後から記録を改ざんしたりしようとする可能性があります。

脆弱性は、GitHub のセキュリティアドバイザリから非公開で報告してください。SECURITY.mdをご覧ください。

コントリビューション

GroundLens が回答を誤った場合、その事例こそが何より価値のあるコントリビューションです。チェック、コネクター、ドキュメントへの貢献も歓迎します。始め方については、CONTRIBUTING.mdをご覧ください。

オープンソース

すべて Apache-2.0 です。エンジン、チェック、ポリシー、コネクター、コマンドライン、MCP サーバーが含まれます。検証の証拠は、誰もが当社のソフトウェアや許可なしに確認できる必要があります。それを実現できるのは、検証機能がオープンソースである場合に限られます。

開発者へのお問い合わせは、[email protected] までお願いします。

_{1. GroundLens 6.0.5、デフォルトポリシー、判定器なし。金融関連の回答： GroundLens の開発中には使用していない、FinQA の 10-K ページを対象にした RAG（e5 の埋め込み、上位 4 件の文章）による Claude Haiku の実際の回答 189 件。多段階の質問を対象としています。各回答を、GroundLens を知らされていない状態で、固定の文書化された基準に照らして言語モデル（Claude Opus 5.5、claude-opus-5-5）が 2 回ずつ判定し、不一致だった 3 件については 3 回目の判定を実施しました。ラベルは GroundLens の実行前に確定しました。22 件の回答が誤りでした（9 件に 1 件）：そのうち 17 件が FAIL または REVIEW となりました（77％、95％ CI 57～90％）。合格した 129 件の回答のうち、誤りは 5 件でした（3.9％、95％ CI 1.7～8.8％）。その代償として、189 件中 60 件（32％）が FAIL または REVIEW となり、その中には正解だった 110 件のうち 38 件が含まれていました。新しいプロセスでのチェック時間の中央値は 10.6 ms です。公開された主張： LLM-AggreFact のテスト分割（11 セットからの主張と文書のペア 29,320 件、人手によるラベル付け）を使用しました。GroundLens の開発中には使用していません。数値を含む裏付けのない主張 1,616 件のうち、796 件が FAIL または REVIEW となりました（49％、95％ CI 47～52％）。合格した数値を含む主張のうち、裏付けのないものは 16.3％で、チェック前の 25.4％から減少しました。数値を含まない主張はすべて合格しました。GroundLens はそのような主張の誤りを一つも検出できませんでした。チェック時間の中央値は 4.0 ms です。効果がなかったセットを含むすべての結果については、BENCHMARK.md をご覧ください。}