Iris

Iris — 勘ではなく、確かな根拠に基づいてエージェントをリリースしましょう

Iris は、すべてのエージェント実行を品質、安全性、コストの観点からスコアリングします。SDK もアカウントも不要で、すべてお使いのマシン上で行えます。 多くのエージェントプロジェクトでは、いくつかの記憶頼みのプロンプトを実行して出力を目視確認することで、品質をチェックしています。Iris はそれを、監査可能な数値に置き換えます。エージェントの実行結果はディスク上の SQLite データベースに保存され、組み込みの 26 個のルールが、PII、プロンプトインジェクション、ハルシネーションの兆候、コストのしきい値、エージェント自身のツール呼び出しを決定論的にスコアリングします。無料で、LLM の呼び出しもありません。また、評価 1 回あたりのコスト上限を厳格に設定できるオプションの LLM ジャッジが、意味的な判断を要する質問を処理します。すべてのルールは確認・編集できます。監査できないジャッジのスコアは、結局のところ、勘に数字を付けただけだからです。MIT ライセンスで、テレメトリもありません。次のいずれかを有効にしない限り、データがお使いのマシンの外に送信されることはありません。指定したコレクターにトレースをエクスポートする OpenTelemetry エンドポイント（IRIS_OTEL_ENDPOINT）、ご自身のキーを使う LLM ジャッジ（判定対象のテキストをプロバイダーに送信し、引用チェックでは出力が引用するページを取得します）、または ID、判定結果、ルール名のみを設定したアドレスに送信し、テキストは送信しない Webhook です。

Node.js 22.13 以降が必要です。 node --version で確認してください。

_{デモ用データベースは scripts/demo-media.mts で記録されています。ソースは demo.mp4 です。静止画はこちらです：dashboard-overview.png。}

60 秒で失敗を画面に表示

エージェントの配線も設定も不要です。コマンドを 1 つ実行するだけです。

npx @iris-eval/mcp-server --demo

デモ用データベースが作成されます。小規模なエージェントが 5 つ、2 週間分の実行履歴、エンジン自身によるすべての判定が含まれます。ダッシュボードはそのデータを使って http://localhost:6920 で起動します（初回起動時はブラウザーが自動的に開きます）。ダッシュボードは Failures を表示します。失敗した内容が、深刻度の高い順、新しい順に並び、各カードにはルールとその根拠が示されます。詳細もぜひご覧ください。安全性ルールが検出した PII の漏えい、要約エージェントが従ってしまったフォーラム投稿内の隠し指示、ソース文書に記載されていない数値、同じ 12 個の質問に対する 2 回の実行を期間を指定して比較した結果（Runs）、デプロイ済みのカスタムルールと監査行付きで一時停止されたルール、そして評価の根拠を伴う、失敗した LLM ジャッジのスコアが確認できます。

デモデータは専用のデータベース（Iris のホームディレクトリにある demo.db。macOS/Linux では ~/.iris、Windows では %USERPROFILE%\.iris）に保存され、実際のトレースと混ざることはありません。コマンドを 1 つ実行すると、すべて削除できます。

npx @iris-eval/mcp-server --demo-clear

独自のエージェントを接続する

まず、このマシンでインストールが動作することを確認します。オフラインで実行され、あなたのファイルを開くことはありません。

npx @iris-eval/mcp-server --self-test   # exit 0 = healthy

次に、Iris を MCP クライアントに追加します。次のコマンドを実行すると、クライアント独自の設定ファイルに書き込み、ほかのサーバーをすべて保持したまま、実行したバージョンを固定します。

npx -y @iris-eval/mcp-server install claude-code

クライアントは claude-code、claude-desktop、cursor、windsurf、continue、vscode、cline、zed、codex、gemini です。install --list を実行すると、このマシンで見つかったクライアント、それぞれが実行する Iris、読み込むファイルが表示されます。install <client> --uninstall を実行すると、Iris を削除できます。すべてのクライアントでデータベースを共有するため、アップグレード後は install --upgrade を実行してすべてをまとめて更新してください（更新）。クライアントを再起動して読み込みます。

Claude Desktop：ワンクリックでインストール。 0.20.0 以降の各リリースには iris-eval.mcpb が添付されています。これはMCP Bundleです。最新バージョンをダウンロードして開くと、Claude Desktop にインストールダイアログが表示されます。ダイアログの項目はどれも必須ではありません。LLM 評価用の Anthropic または OpenAI のキーは任意で、ダッシュボードは初期状態ではオフの切り替え設定です。バンドルには npm パッケージとその依存関係が含まれているため、ほかにインストールするものはありません。Claude Desktop は、同梱の Node が 22.13 以降であればその Node で実行します（Claude Desktop 1.1.6679 には 24.13 が同梱されています）。Iris は Node 内蔵の SQLite を使ってトレースを保存し、ほかのインストールと同じ ~/.iris を使用します。署名とビルドの証明書を検証する方法は、リリースノートをご覧ください。

Iris はあらゆる MCP クライアントで動作し、対応をうたう各クライアントについて、実際に確認した内容を記載した項目があります。CI の実行ごとに検証済み：Claude Code、Gemini CLI — 実際のクライアントがインストーラーの書き込んだ設定から Iris を起動し、接続を報告します（claude mcp list、gemini mcp list）。Linux、macOS、Windows で確認しています。Claude Code のキャプチャープラグインのフックも、実際のスクリプトを通じて実行されます。各クライアント独自の MCP ドキュメントに基づく記載 — インストーラーはクライアントのドキュメントに記載された形式で設定を書き込み、その形式に沿って書き込む処理をテストしていますが、Iris 側では接続を確認していません：Claude Desktop、Cursor、Devin Desktop（Windsurf）、Continue、VS Code、Cline、Zed、OpenAI Codex CLI。各項目の情報源と確認日はこちらをご覧ください：https://iris-eval.com/clients。手動で設定する場合は、ダッシュボードも含めて次のブロックを使います。

{
  "mcpServers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server", "--dashboard"]
    }
  }
}

接続すると、クライアントに Iris の 12 個のツールが表示され、ダッシュボードは http://localhost:6920 で利用できます。次の内容をエージェントに入力してください。

Iris に直前のタスクを記録し、出力を評価してください。

トレースはスコアとともにダッシュボードに表示されます。MCP サーバーをヘッドレスで使いたい場合は、引数から --dashboard を削除してください。同じダッシュボードは、いつでも npx @iris-eval/mcp-server --dashboard で開けます。

事前に知っておきたいことが一つあります。 MCP ツールを呼び出すかどうかは、モデルが判断します。Iris はエージェントを傍受しないため、エージェントが記録を依頼したときにトレースが記録されます。これは、あなたが依頼した場合、またはコードがツールを直接呼び出した場合です。エージェントに「これを Iris に記録して評価して」と頼めば、記録されます。モデルの選択に左右されないキャプチャーが必要な場合は、POST /api/v1/traces を利用できます。モデルを介さず、コードからプレーンな HTTP でトレースを送信できます（docs/http-ingest.mdを参照）。ロードマップにある CLI とホストフックは、同じエンドポイントを利用する軽量なクライアントになります。

HTTP 経由で記録する（モデルを介さない）

取り込みエンドポイントはダッシュボードのポート（デフォルトでは 6920）で動作します。MCP トランスポートのポートではありません。また、ダッシュボードの実行中のみ利用できます。--dashboard を渡すか、IRIS_DASHBOARD=true を設定してください。--transport http だけでは起動せず、トランスポートのポートにリクエストを送ると 404 が返ります。ダッシュボードが起動していれば、HTTP リクエストを送信できるものなら何でもトレースを記録でき、必要に応じて同じリクエスト内で決定論的な評価も実行できます。同じポートの GET /api/v1/capabilities は、このサーバーが評価できる内容、各ルールに必要なもの、評価を有効にする手順を含む評価の状態、制限を示します。これは MCP リソース iris://capabilities が提供するものと同じオブジェクトで、HTTP の呼び出し元も MCP クライアントが初期化時に受け取る情報を得られます。

curl -s -X POST "http://127.0.0.1:6920/api/v1/traces" \
  -H "Content-Type: application/json" \
  -d '{
    "agent_name": "support-bot",
    "input": "What is the refund policy?",
    "output": "Refunds are available within 30 days of purchase.",
    "evaluate": true,
    "eval_type": "safety"
  }'

保存された trace_id と評価結果を含む 201 を返します（--demo モードでは、このエンドポイントは書き込みを 403 で拒否するため、デモデータがユーザーのデータと混ざることはありません）。このエンドポイントは log_trace ツールと同じ本文を受け付け、ダッシュボードの他の機能と同じミドルウェアスタックを通ります。デフォルトではループバックへのバインドと DNS リバインディング対策が適用され、設定した場合は Bearer 認証も適用されます。明確な事実が 2 つあります。 Iris を --api-key（または IRIS_API_KEY）付きで起動しない限り、認証なしで書き込みを受け付けます。デフォルトではループバックへのバインドによって自分のマシンからのアクセスに制限されるため、ループバック以外にバインドする前にキーを設定してください。また、保存される内容はそのままです。input と output は、no_pii が検出するテキストも含め、送信された内容のまま iris.db に保存されます。仕様、フィールドのリファレンス、エラーの詳細については、docs/http-ingest.md を参照してください。

Claude Code のすべてのターンを記録する（オプション）

/plugin marketplace add iris-eval/mcp-server
/plugin install iris-eval-capture@iris-eval

別途インストールする 2 つ目のプラグインです。フックによって、プロンプトをキーとして各ターンのプロンプト、ツール呼び出し（失敗したものも含み、エージェントが受け取ったエラーも記録します）、最終回答を記録します。これにより、中断されたターンの呼び出しやバックグラウンドのサブエージェントの呼び出しも送信されます。記録した内容は、保存される評価テキスト内の重要なスパンを編集したうえで、切り離されたプロセスとして iris-eval ingest に渡されます。これは、モデルがツールを呼び出すと判断するかどうかに依存しない記録方法です。API エラーで終了したターンは評価せずに保存されます。モデルもそのターンを記録していた場合は両方のトレースが保持され、プラグインのトレースにはモデルのトレース名が付けられます。プラグインが何かを表示したり、処理をブロックしたり、どこかに送信したりすることはありません。iris-eval をインストールしただけでは、ターンのループに何も変更はありません。制限と削除方法については、claude-plugin-capture/README.md を参照してください。

Python

pip install iris-eval

from iris_eval import IrisClient
iris = IrisClient()                       # IRIS_URL, or the running dashboard's runtime.json
iris.evaluate_output("…", input="…", agent_name="support-bot")["verdict"]   # {"state": "pass", "basis": "clean", "by": []}

サーバー 0.16.0 以降の HTTP API を利用する軽量なクライアントです。バージョンはサーバーとは別に管理され、iris_eval.__version__ と PyPI のページに記載されます。サーバーのバージョンとは異なります。log_trace()、evaluate_output()、get_traces()、get_trace()、health()、capabilities() に、同期・非同期の両方、型付きの回答、拒否時にサーバー自身が返す文言を備えています。また、iris フィクスチャと、判定結果の状態をアサートする assert_iris(output, expect="pass") を提供する pytest プラグインもあります。packages/python/README.md を参照してください。

OpenAI と Anthropic のすべての呼び出しを記録する

from iris_eval import wrap_openai
client = wrap_openai(OpenAI(), agent_name="support-bot")   # every call: a GenAI span to POST /v1/traces, scored

import { wrapOpenAI } from '@iris-eval/sdk';
const openai = wrapOpenAI(new OpenAI(), { agentName: 'support-bot' });

プロバイダークライアントを一度ラップすれば、モデル呼び出しごとに OpenTelemetry GenAI スパンが 1 つ作成され、OTLP の入口に送信されます。入力、出力、トークン使用量、ツール呼び出しとともに保存され、評価されます。モデルがツールを呼び出すかどうかに依存しないキャプチャです。Python クライアントでは wrap_openai / wrap_anthropic、@iris-eval/sdk では Vercel AI SDK 用の wrapOpenAI、wrapAnthropic、irisMiddleware を使用します。どちらもまだ公開されていません（PyPI の次回 iris-eval リリースで公開予定です。@iris-eval/sdk は最初の npm リリースまでソースからビルドします）。ストリーム、SDK のストリームヘルパー、ツール呼び出しに対応しています。元のクライアントは変更されず、Iris が停止しても呼び出しに影響しません — packages/sdk/README.md、packages/python/README.md。

LangChain と LangGraph のすべての実行を評価する

from iris_eval.langchain import IrisCallbackHandler
graph.invoke(inputs, config={"callbacks": [IrisCallbackHandler(agent_name="support-bot")]})

トップレベルの実行ごとにトレースが 1 つ作成されます（実行、そのモデル呼び出し、ツール呼び出し、グラフノードは GenAI スパンとして記録されます）。入力、出力、ツール呼び出し、トークン使用量、判定が含まれます。Python ではクライアント内で利用できます（pip install iris-eval、0.2.0 以降）。JavaScript では @iris-eval/langchain として利用できます（このリポジトリにありますが、npm にはまだ公開されていません）。どちらも、スクリプト化されたモデルを使う実際の LangGraph アプリで CI により検証済みです。LangSmith 独自の OpenTelemetry エクスポートも同じ方法で検証済みです — docs/otel-recipes.md。

サーバー不要の CI ゲート

npx -y @iris-eval/mcp-server ingest --file traces.ndjson --evaluate --fail-on any

any を指定すると、合格以外のすべての判定でジョブが失敗します。失敗判定と、チェックされなかった判定の両方が対象です。特定のものだけを対象にするには、代わりに --fail-on detector_veto のように 1 つの基準を指定します。

または、ジョブサマリーにレシートを書き込み、プルリクエストのコメントとして投稿する GitHub Action（0.16.0）を使用できます。コメントはその場で更新されます。traces: traces.ndjson とともに uses: iris-eval/mcp-server/.github/actions/[email protected] を指定します — docs/ci-gate.md。

4 つ目の入口（0.15.0）として、ダッシュボードのポートにある POST /v1/traces は、既存の OpenTelemetry インストルメンテーションが出力する OTLP/HTTP の JSON または protobuf を受け付けます（Python SDK のエクスポーターは protobuf のみを扱うため、これが Python 用の入口でもあります）。各 OTLP トレースは、スパンを含む Iris トレースになります — docs/otel-integration.md。フレームワークごとのレシピ（Pydantic AI、Google ADK、LangSmith 経由の LangGraph、CrewAI、Python と JavaScript の OpenAI Agents SDK、LlamaIndex、AutoGen、Microsoft Agent Framework、Semantic Kernel、Vercel AI SDK、Mastra）は、それぞれフィクスチャで検証済みです。docs/otel-recipes.md をご覧ください。ingest は標準入力またはファイルから JSON トレース 1 件（または 1 行につき 1 件の NDJSON）を読み込み、保存したうえで、evaluate_output が実行するものとまったく同じルールで評価します。判定とその基準を含む JSON 行をトレースごとに 1 行出力し、判定が --fail-on に一致すると終了コード 1 で終了します。--dataset <id|label> を指定すると、ゲートの対象をデータセット内のケースキーに絞れます（POST /api/v1/datasets により、実行のケースキーをデータセットに登録できます）。これにより、選択したケースだけでジョブが失敗します。手順の全容、終了コード、8 つの基準については docs/ci-gate.md をご覧ください。

ルールをコードとして記述する

config.json の eval.plugins には、作成したルールを読み込めます。これは { name, kind, mechanism, version, needs, evaluate(ctx) } をデフォルトエクスポートする ES モジュールです。ファイルの sha256 を固定するため、固定後にファイルが変更されると、実行されるのではなく起動が拒否されます。読み込まれたプラグインは組み込みルールと同様に動作し、list_rules の plugins に表示されます。契約、ハッシュの算出方法、プラグインが返せる値については、docs/plugins.md をご覧ください。

独自のプロセスでエンジンを使う

評価エンジンはインポート可能です。サーバーもデータベースもモデルも必要ありません。

import { EvalEngine, defaultConfig } from '@iris-eval/mcp-server/engine';

const engine = new EvalEngine(defaultConfig.eval.defaultThreshold, defaultConfig.eval.ruleThresholds, defaultConfig.eval);
const result = await engine.evaluateAll({ output: answer, input: prompt, toolCalls, costUsd });
result.verdict.state;       // 'pass' | 'fail' | 'unknown', with result.verdict.basis and result.interpretations

サーバーが実行するものと同じエンジン、同じルール、同じコンポーザーを使えます。builtInRules()、createCustomRule()、compose() と、公開済みの精度を読み取る関数もあわせてエクスポートされています。

HTTP ルート用の型付きクライアント

import { createClient } from '@iris-eval/mcp-server/client';

const iris = createClient({ baseUrl: 'http://127.0.0.1:6920', apiKey: process.env.IRIS_API_KEY });
const { trace_id, evaluation } = await iris.logTrace({ agent_name: 'support-bot', input, output, tool_calls, evaluate: true });
evaluation?.verdict?.state;  // the same object evaluate_output returns

どの窓口でもリクエストボディは共通です。log_trace と iris-eval ingest が受け付ける形式です。リクエストが拒否されると、サーバー独自のメッセージとステータスを含む IrisClientError がスローされます。両方のサブパスは、ビルドのたびにパッケージ化された tarball から検証されます。

インストールの確認

npx @iris-eval/mcp-server --self-test   # offline diagnostic; exit 0 = healthy, 1 = a check failed
npx @iris-eval/mcp-server --version     # prints the bare version, e.g. 1.2.3

--self-test は、まず Iris のホームがない場合は作成し、書き込み可能か確認します（書き込みできない場合は、パスを示して終了コード 1 を返します）。データベースの検索インデックスの状態（完成済み、バックグラウンドでの構築によりこれまでにインデックス化されたトレース数、またはこの SQLite に FTS5 がないこと）を報告し、データベースのスキーマを読み取ります（このバージョン、または古いリリースに固定された MCP クライアントで開けない場合は、修正方法を示して終了コード 1 を返します）。その後、分離された一時ホーム内で、ストレージのラウンドトリップ、セーフティルールによる仕込み済みの SSN とインジェクションの検出、ダッシュボードの起動、DNS リバインディングガードをチェックします。実際のデータベースは読み取りのみで、変更されることはありません。Iris が書き込むデータはすべて、1 つのディレクトリ、Iris ホームに保存されます。デフォルトは ~/.iris（Windows では %USERPROFILE%\.iris）ですが、IRIS_HOME で指定した場所にも設定できます。iris.db、config.json、custom-rules.json、audit.log、preferences.json、デモファイルはここに保存されます。IRIS_HOME を作業用ディレクトリに設定すれば、実際のデータに触れずに Iris を試せます。

claude mcp add --transport stdio iris-eval -- npx -y @iris-eval/mcp-server

{
  "servers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server"]
    }
  }
}

{
  "context_servers": {
    "iris-eval": {
      "command": "npx",
      "args": ["-y", "@iris-eval/mcp-server"],
      "env": {}
    }
  }
}

[mcp_servers.iris-eval]
command = "npx"
args = ["-y", "@iris-eval/mcp-server"]

その他のインストール方法

# Global install (recommended for persistent data and faster startup)
npm install -g @iris-eval/mcp-server
iris-eval --dashboard

# Docker — two servers, two ports: 3000 = MCP HTTP transport,
# 6920 = dashboard (which also serves the POST /api/v1/traces ingest endpoint).
# The image binds 0.0.0.0 inside the container, so a key is required (see Production).
# The volume is the Iris home: the database, deployed rules and audit log persist in it.
docker run -p 3000:3000 -p 6920:6920 -v iris-data:/data \
  -e IRIS_API_KEY="$(openssl rand -hex 32)" ghcr.io/iris-eval/mcp-server

ヒント： グローバルインストール（npm install -g）では、トレースが ~/.iris/iris.db に永続的に保存されます。npx の場合も同じ場所にトレースが保存されますが、パッケージの解決に時間がかかるため、起動が遅くなります。

得られる機能

今後の展開についてはこちらをご覧ください：機能マップ — Iris があらゆる対象について尋ねられる質問、それぞれに対応できることと、できないこと — および3 つのトラック。

主張ではなく、測定結果です

組み込みルールごとに、95％信頼区間付きの適合率、再現率、F1スコアを公開しています。測定には、このリポジトリ内にあるラベル付きコーパス（proof/corpus/）を使い、キーもモデルも使わずにオフラインで、1つのコマンド — npm run proof — を実行して再生成できます。これらの数値は2種類に分かれており、このページでは決して合算しません。一部のルールは、モデルが失敗自体を読み取って付けたラベルを基準に測定しており、これは検出能力を測るものです。残りのルールは、文書化された独自の定義に基づいて独立に検証され、コードがその計算式を実装していることを示しますが、その計算式が失敗を検出できるかどうかは示しません。proof/RESULTS.md と証明ページでは、各ルールに印を付けています。CI はすべてのプルリクエストで測定を再実行し、コミット済みの数値がコードの生成結果と異なる場合は失敗します。そのため、ルールを変更すれば数値も必ず変わります。数値は iris-eval.com/proof と proof/RESULTS.md に掲載されています。コーパスの作成方法、コーパスに含まれないもの、信頼区間の読み方については、docs/proof.md をご覧ください。コーパスは合成データで、モデルによるラベル付けが行われています — 人間によるブラインドラベル付けは保留中であり、そのことはページにも記載されています。node proof/blind-sample.mjs を実行すると、結論を出すための再現可能なサンプルを抽出できます。

MCP ツール

Iris は、MCP 互換エージェントが呼び出せる12個のツールを登録します — トレースとルールのライフサイクル管理、実行間の比較、LLM-as-judge、意味に基づく引用検証に対応しています。

• log_trace — スパン、ツール呼び出し、トークン使用量、コストを含むエージェントの実行を記録します。同じ呼び出しでスコアを付けるには evaluate: true を指定します
• evaluate_output — 完全性、関連性、安全性、コストのルールに照らして出力品質を採点します（ヒューリスティック、決定論的、無料）
• get_traces — フィルタリング、ページネーション、時間範囲の指定に対応して、保存済みのトレースを検索します。また、q を指定すると、エージェントがある内容を発言した実行を探せます。入力、出力、ツール呼び出しの値、メタデータを対象にした全文検索で、関連度順に並べ、該当語をマークします
• list_rules — デプロイ済みのカスタム評価ルールを一覧表示します（読み取り専用）
• deploy_rule — 新しいカスタム評価ルールを登録し、そのカテゴリの evaluate_output が呼び出されるたびに適用されるようにします
• delete_rule — デプロイ済みのカスタムルールを削除します（破壊的操作、冪等）
• delete_trace — ID を指定して、保存済みのトレースを1件削除します（破壊的操作、テナントの範囲内）
• evaluate_with_llm_judge — LLM（Anthropic または OpenAI）による意味的評価です。7つのテンプレートに対応します：accuracy、helpfulness、safety、correctness、faithfulness、task_completed、relevance。コストに上限を設け、評価ごとの料金を開示します。API キーはご自身で用意してください（IRIS_ANTHROPIC_API_KEY または IRIS_OPENAI_API_KEY）— Iris は LLM 呼び出しをプロキシしたり中継したりしません
• verify_citations — 出力から引用（番号付き、著者名と年、URL、DOI）を抽出し、SSRF 対策とドメイン許可リストを備えたリゾルバーで出典を取得してから、LLM judge を使って各出典が引用された主張を実際に裏付けているかを確認します。外部への HTTP 通信はオプトインです。evaluate_with_llm_judge と同じ BYOK 要件があります
• compare_runs — 変更によってエージェントの性能が低下したかを確認します。保存済み評価の2つの実行を比較し、実行間でケースキーが共通する場合は対応のある厳密検定を行い、それ以外の場合は差の信頼区間を示します。また、必要なケース数を示したうえで、正直に「判断できません」と回答するか、「許容幅の範囲内で同等」と判定します。各ルールには独自の片側検定があり、20個のルールで回帰を誤って検出しないよう、まとめて補正します（Benjamini–Hochberg）
• compare_traces — エージェントが同じ質問にどれだけ安定して回答するかを確認します。ケースごとの合格率と信頼区間を示し、不安定なケースを先に表示します。全体の合格率には繰り返しの回数を反映します
• evaluate_runs — 実行内のすべてのトレースを現在のルールで再採点し、新しい実行として記録します。これにより、ルールの変更をエージェントの変更と取り違えません LLM ジャッジを有効にする（任意。決定論的ルールでは不要です）

1. Anthropic または OpenAI から API キーを取得します。
2. シェルだけでなく、Iris を実行するプロセスの環境変数に設定します。Claude Code、Claude Desktop、Cursor およびほとんどの MCP クライアントでは、MCP 設定内の iris-eval エントリにある「env」ブロックに設定します — 「iris-eval」: { 「command」: 「npx」, 「args」: [「-y」, 「@iris-eval/mcp-server」], 「env」: { 「IRIS_ANTHROPIC_API_KEY」: 「sk-ant-...」 } }（OpenAI のキーの場合は IRIS_OPENAI_API_KEY）。Docker では、実行コマンドに -e IRIS_ANTHROPIC_API_KEY=... を指定します。HTTP または CI では、iris-eval の起動前に環境変数を設定します。
3. MCP セッションを再起動します。実行中のプロセスは、起動後に設定された変数を認識しません。
4. クライアント内から確認します。iris://capabilities を読み取り、judge.enabled が true になっていることを確認します。シェルで設定したキーは、クライアントが起動するプロセスには、クライアントの設定に記載されていない限り渡されません。マシン上で npx @iris-eval/mcp-server --self-test を実行すると、そのシェルのジャッジ行が表示されます。また、稼働中のダッシュボードで GET /api/v1/health を実行すると judge.enabled が報告されます。
5. 利用額の制限：各呼び出しの上限は IRIS_LLM_JUDGE_MAX_COST_USD_PER_EVAL（デフォルトは 0.25 USD）で、最悪の場合にこの額を超える場合は、費用が発生する前に拒否されます。Iris がキーを使って行うすべてのジャッジ呼び出しは、1 日あたりの共通予算 IRIS_LLM_JUDGE_DAILY_BUDGET_USD（デフォルトは UTC 日あたり 1 USD）を消費します。上限に達すると、UTC の午前 0 時まで呼び出しは行われません。Iris はキーを使ってプロバイダーに直接接続し、キーをプロキシ経由で送信することはありません。
6. 任意：IRIS_RELEVANCE_JUDGE_MODEL に価格設定済みのモデル ID（例：claude-haiku-4-5）を設定すると、answers_the_ask がジャッジに各回答が要求に応えているかを判定させ、話題から外れた回答を失敗とします。入力を含む評価ごとにジャッジを 1 回呼び出します。この呼び出しではキーが使われ、上記の上限が適用されます。キーを設定しただけでは有効になりません。呼び出しごとに、その入力と出力をモデルのプロバイダーに送信します。その際、個人データと認証情報の no_pii フラグは、先に置き換えられます（IRIS_RELEVANCE_JUDGE_REDACT=off を設定すると、そのまま送信されます）。この呼び出しも 1 日あたりの予算を消費し、リクエストごとの呼び出し回数は IRIS_RELEVANCE_JUDGE_MAX_CALLS_PER_REQUEST（デフォルトは 20）までです。いずれかの上限に達すると、answers_the_ask は語句に基づいて要求を読み取り、その理由を説明します。

IRIS_OTEL_ENDPOINT が設定されている場合、log_trace の呼び出しでは、任意の OpenTelemetry コレクター（Jaeger、Grafana Tempo、Datadog OTLP、Honeycomb など）に対して、ベストエフォートで OTLP/HTTP JSON エクスポートも行われます。docs/otel-integration.md を参照してください。

passed の判定方法

evaluate_output は score と passed フラグの両方を返しますが、それぞれ異なる問いに答えます。

• score（0～1）は、実行されたルールの加重平均であり、品質の度合いを示します。
• passed は、リリース可否の判定であり、スコアが判定に使われることはありません。コンポーザーは、ルールがどのような主張をしているかに基づいて各ルールを読み取ります。設定したポリシーはゲートとして機能し、クリティカルな検出器は拒否し、実行を求められたものの回答できなかったクリティカルなチェックは、問題なしではなく判定を unknown（passed: false）にします。それ以外の検出器は、出力に問題がある確率として統合され、eval.falsePassCost（デフォルトは 1、つまりしきい値は 0.5）で指定した損失比と比較されます。verdict.basis は判定を下したレイヤーを、verdict.by は該当するルールを示し、verdict.also には、それ以降のレイヤーのうち、同じ判定を下したものがすべて列挙されます。interpretations[] には、失敗したルールが判定に影響しなかった理由と、その判定を変える設定が示されます。また、判定されなかった質問と、判定できるようにするための入力も示されます。

実際の安全性違反は必ず不合格になります。デフォルトでは、no_pii、no_injection_patterns、no_blocklist_words は クリティカルルール です。いずれかが失敗すると、他のルールのスコアがどれほど高くても、評価結果は passed: false となり、応答の critical_failures に該当するルールが示されます。SSN の漏えいが平均化されて見逃されることはありません。どの組み込みルールをクリティカルにするかはデプロイ設定（eval.criticalRules / eval.nonCriticalRules）で指定します。すべてのルール結果には、有効な critical フラグと criticalSource が含まれ、list_rules には、このサーバーで適用されるルール一覧が表示されます。severity: "high" または "critical" でデプロイされたカスタムルールも同様に必ず不合格となり、low / medium の重大度はスコアにのみ影響します。すべての画面で同じように示される注意点が 1 つあります。コンテキスト不足、定義の破損、サンドボックスの予算上限による正規表現の停止などで、クリティカルルールが スキップ された場合、そのルールは出力を判定していないため、拒否にはなりません。そのようなルールはすべて critical_skipped に列挙されます。フェイルクローズ必須のゲートでは、空でない critical_skipped は問題なしではなく unknown として扱い、rule_results の budgetExceeded によるスキップも同様に扱うことがあります。

CI ゲートでは、eval_type を省略すると、完全性、関連性、安全性、コスト、およびカスタムルールを含むすべてのバンドルが実行されます。応答には、デフォルトで実行されたことを示す note と、バンドルごとの categories マップを伴って、eval_type: "all" が示されます。各行には state（そのバンドルに含まれるルールを対象に読み取った判定）が含まれるため、ある行に、その評価を失敗させたルールの判定が読み込まれることはありません。判定対象がないバンドル（cost_usd がないコスト評価や、input がない関連性評価など）では、その部分の state: "unknown" と passed: null が返されます。これは未評価であって失敗ではなく、判定にも加算されません。応答には、実行された eval_type が常に返されるため、ゲートで対象範囲を検証できます。判定には passed を基準とし、より限定的な評価を実行したい場合にのみバンドル名を指定してください。

カスタムルールの作成

ルールを追加する方法は2つあります。インラインルールは、1回の evaluate_output 呼び出しに付随します（custom_rules、1回の呼び出しにつき最大10件）。選択した eval_type のルールセットとともに実行することも、eval_type: "custom" で単独実行することもできます。デプロイ済みルールは deploy_rule で一度登録すると、Iris のホームディレクトリにある custom-rules.json に保存され、以降のすべての evaluate_output で、該当する evalType のルールとして実行されます。どちらの方法でも、定義の形式は同じです。

deploy_rule は、定義を name、任意の description、evalType（completeness · relevance · safety · cost · custom）および severity でラップします。Severity は失敗の意味を示します。low / medium ではスコアのみが下がり、high / critical では加重スコアにかかわらず評価が不合格になります（passed: false、ルールは critical_failures に記録されます）。スキップされたルール（cost_usd がない cost_threshold ルール、または100 msのサンドボックス実行時間上限に達した正規表現）は出力を判定していないため、代わりに critical_skipped に記録されます。エージェントが発言する内容に内部ホスト名が含まれることを禁止する重大度 critical のルールをデプロイします。

{
  "name": "no_internal_hostnames",
  "description": "Output must not mention internal hostnames.",
  "evalType": "safety",
  "severity": "critical",
  "definition": {
    "name": "no_internal_hostnames",
    "type": "regex_no_match",
    "config": { "pattern": "\\b[a-z0-9-]+\\.internal\\.example\\b", "flags": "i" }
  }
}

応答は保存されたルールです。delete_rule で使うために id を控えておいてください。

{ "rule": { "id": "rule-588823d0", "name": "no_internal_hostnames", "evalType": "safety", "severity": "critical", "enabled": true, "version": 1, "definition": { "…": "…" } } }

次回の evaluate_output で eval_type: "safety" を指定すると、db-primary.internal.example に言及した出力は passed: false と critical_failures: ["no_internal_hostnames"] を返します。組み込みの安全性ルール5件がすべて合格し、加重スコアが0.895であっても同様です。正規表現パターンはデプロイ時に ReDoS チェックに合格する必要があり、常にサンドボックスワーカーで100 msの厳格な期限内に実行されます。list_rules ではデプロイ済みルールを確認できます。ダッシュボードのルール作成ツールでは、クリックした失敗から同じ形式のルールを作成できます。仕様の全文、タイプごとのスコアリング、実例については、docs/custom-rules.md をご覧ください。

ツールスキーマと設定の詳細については、iris-eval.com をご覧ください。

セルフホスト可能で無料

Iris は、ご自身のマシンまたはインフラストラクチャで実行できます。オープンソースのコアは無料で、MIT ライセンスのもとで提供されており、使用制限もアカウントもありません。ホスト型ストレージ、チームで共有する履歴、アラート機能は検討中ですが、開発には着手していません。こうした機能が役立つ場合は、[email protected] までお知らせください。

次の2つを約束します。現在無料の機能を、今後有料化することはありません。また、コンプライアンス認証は取得するまで取得済みと主張しません。

例

• Claude Desktop のセットアップ — stdio モードと HTTP モード用の MCP 設定
• TypeScript — MCP SDK クライアント — 接続してツールを呼び出します
• HTTP トランスポート（TS + Python） — REST スタイルの統合に使えるクライアントコード一式
• LangGraph エージェントの実行を個別に採点（Python） — グラフのコールバックで IrisCallbackHandler を使用し、CI ではスクリプト化されたモデルを使って同じグラフを実行します
• OpenTelemetry を利用した CrewAI クルー（Python） — OpenInference インストゥルメンターから Iris の OTLP エンドポイントへ直接送信し、CrewAI のレシピをスクリプトとして実行します
• OpenTelemetry を利用した OpenAI Agents SDK エージェント（Python） と (JavaScript)、および LlamaIndex エージェント — 各レシピをスクリプトとして、CI が実際の Iris サーバーに対して実行します

コミュニティ

• GitHub の Issue — バグ報告と機能リクエスト
• GitHub Discussions — 質問やアイデア
• 貢献ガイド — 貢献方法
• HTTP Ingest — POST /api/v1/traces による決定論的なトレース取得
• 機能一覧 — Iris に尋ねられる質問と、対応していない内容
• バージョニングポリシー — 各バージョン番号が保証する内容と、1.0 より前に満たすべき条件

# Production deployment
iris-eval --transport http --port 3000 --api-key "$(openssl rand -hex 32)" --dashboard

# The image: pass a key
docker run -p 3000:3000 -p 6920:6920 -v iris-data:/data \
  -e IRIS_API_KEY="$(openssl rand -hex 32)" ghcr.io/iris-eval/mcp-server

# Compose: the file requires the variable and refuses before the container starts
IRIS_API_KEY="$(openssl rand -hex 32)" docker compose up

# A network you have already fenced some other way: run open, on purpose
IRIS_ALLOW_UNAUTHENTICATED=1 iris-eval --transport http --dashboard

npx @iris-eval/mcp-server --self-test

npx --yes @iris-eval/mcp-server@latest

npm install -g @iris-eval/mcp-server@latest

npm rebuild better-sqlite3
# for a global install:
npm rebuild -g better-sqlite3

npx @iris-eval/mcp-server --version

npx -y @iris-eval/mcp-server@latest install --upgrade

node --version  # Must be v22.13.0 or newer

# Correct
claude mcp add --transport stdio iris-eval -- npx -y @iris-eval/mcp-server

# Wrong (causes /c to be parsed as a path)
claude mcp add --transport stdio iris-eval -- cmd /c "npx -y @iris-eval/mcp-server"

Iris が役に立った場合は、リポジトリにスターを付けることをご検討ください。より多くの人に見つけてもらいやすくなります。

MIT ライセンスです。