poordjaevin

DEVIN エコシステムの一部です
分野：制御 · 種別：製品
対象：AI エンジニア、QA エンジニア
インターフェース：CLI / Python ライブラリ / MCP サーバー / ブリッジ
手順：QA エンジニア向け · ステップ 3/3 — devin-evals の後

どのような位置づけか

• 役割： 制御
• 製品： devin-judge
• パッケージ： poordjaevin
• モード： 読み取り専用
• エコシステム： awesome-devin · レジストリ：devin-powerups

poordjaevin

_{名称変更（2026年10月）：このリポジトリは Icaro0310/poordjaevin から Icaro0310/devin-judge に移転しました。PyPI パッケージ、コンソールスクリプト、MCP レジストリ名は引き続き poordjaevin です。リダイレクトにより、スター、イシュー、履歴は維持されています。}

手頃な Jev。 LLM アプリ向けのオープンソース、ローカルファーストな「System One」意思決定レイヤーです。信頼性が数学的に保証された確信度を持つ、型付きの判断を提供します。API キー不要。ウェイトリストもありません。

_{コミュニティプロジェクトです。Cognition AI とは提携、承認、後援のいずれもありません。「Devin」は Cognition AI の商標です。}

Linux · 個人向け Windows · 法人向け Windows

awesome-devin エコシステムの一部です。devin-* ツールを厳選して集めたハブです。

---

モデルの 0.9 は単なる雰囲気です。poordjaevin の 0.9 は測定値です。

JSON モードの LLM はどれも確信度スコアを返し、検証されないことを願っています。poordjaevin はそれを検証します。付属の評価セットでは、精度を一切損なうことなく、確信度の較正誤差（ECE）を 0.156 から 0.072 に低減します。また、API キーなしでノート PC 上で動作します。

左：未処理の確信度。過信気味です。右：較正後。確信度を 0.8 と示した場合、実際に約 80% の確率で正解します。

クイックスタート

# Linux / macOS
pip install "poordjaevin[local]"

# Windows (PowerShell)
py -m pip install "poordjaevin[local]"

[local] は、オフライン NLI バックエンド用に torch と transformers をインストールします。Devin ACP バックエンド（poordjaevin serve のデフォルト）のみを使用する場合は、通常の pip install poordjaevin で十分です。GitHub から開発版を直接インストールするには、パッケージ指定の末尾に @ git+https://github.com/Icaro0310/devin-judge.git を追加します。

from poordjaevin import Client, Choice, Score, Noul

client = Client()  # local model, no key, offline after one download

result = client.ask(
    state="I've emailed three times and I'm STILL being double-charged. Cancel my account today.",
    questions={
        "topic":        Choice(["billing", "technical", "account", "shipping", "other"]),
        "frustration":  Score(levels=["low", "medium", "high"]),
        "is_urgent":    Noul("The customer needs a response today."),
        "wants_cancel": Noul("The customer wants to cancel their account."),
    },
)

result["topic"].value          # "billing"      always one of your options, by construction
result["topic"].confidence     # 0.86           calibrated, not a vibe
result["frustration"].value    # "high"
result["is_urgent"].value      # True
result["wants_cancel"].value   # True

1 回の呼び出し、1 回のモデル実行で、型付きの回答が 4 つ得られます。プロンプトエンジニアリングも JSON の解析も、「モデルが文章を返した」という事態も不要です。

Devin で使用する（MCP サーバー、Devin 専用）

poordjaevin は MCP サーバーを提供するため、Devin（または任意の MCP クライアント）がツールとして高速で適切に調整された判断を行えます。典型的な用途は、エージェントがリスクのあるツール呼び出しを実行する前に、その実行を制御することです。

このモードに必要なのは Devin だけです。 デフォルトのバックエンド（acp）は、パッケージに含まれる小型の Node ブリッジを介して devin acp と通信するため、すべての判断は Devin プランで利用できるモデルによって評価され、モデルは自動で切り替わります。Ollama も VM もトンネルも、2 つ目の API キーも必要ありません。このブリッジは、Devin CLI が使用するものと同じ credentials.toml を読み込みます。

# Devin users: no local model needed
uv tool install "poordjaevin[mcp]"

または pipx を使用する場合（代替手段）：

pipx install "poordjaevin[mcp]"

Devin の MCP 設定に追加してください：

{
  "mcpServers": {
    "poordjaevin": { "command": "poordjaevin", "args": ["serve"] }
  }
}

ACP バックエンドの要件：PATH 上に devin CLI があること（または DEVIN_CLI_PATH を設定すること）、PATH 上に Node.js >= 18 があること、そして %APPDATA%\devin\credentials.toml（Windows）または ~/.local/share/devin/credentials.toml（Linux、DEVIN_CREDENTIALS_PATH で変更可能）に有効な Devin 認証情報があること。

バックエンドの選択と調整に使える設定（すべて任意）：

変数	デフォルト	意味
POORDJAEVIN_BACKEND	acp	acp = ACP 経由の Devin のモデル、vscode-lm = LM API 経由の VS Code のモデル、nli = 完全オフラインのローカルモデル
POORDJAEVIN_ACP_MODEL	auto	自動切り替えの代わりに特定の Devin モデルを固定
POORDJAEVIN_ACP_TIMEOUT	120	判断の往復あたりの秒数
POORDJAEVIN_ACP_MAX_COST	unset	ACP の累積コストがこの予算を超えた場合、フェイルクローズする
POORDJAEVIN_VSCODE_LM_ENDPOINT	auto	エンドポイントのファイルパス、または上書き用の直接指定 http(s):// URL
POORDJAEVIN_VSCODE_LM_TIMEOUT	120	拡張機能のエンドポイントへのリクエストあたりの秒数
POORDJAEVIN_VSCODE_LM_FALLBACK	unset	nli = 拡張機能が利用できない場合にローカルモデルへフォールバック
POORDJAEVIN_ABSTAIN	off	on = 回答する代わりに、調整済みのしきい値を下回る場合は回答を棄権

信頼性に関する注記：acp と vscode-lm の信頼度は self_report（モデルが自ら示した確率を温度調整したもの）であり、NLI の対数確率ではありません。各ツールの応答には confidence_source フィールドが含まれるため、呼び出し元が両者を取り違えることはありません。また、クォータ監視のため、呼び出しごとに model と cost が記録されます。

vscode-lm バックエンドは、VS Code が提供しているチャットモデル（Copilot、Codex、BYOK）を使って評価します。vscode.lm は拡張機能ホスト内でのみ利用できるため、icaro0310.judge 拡張機能が小型の localhost エンドポイントを提供し、プラットフォームのデータディレクトリ内にある vscode-lm-endpoint.json（djaevin_log.db と同じ場所）を介してそのエンドポイントを通知します。拡張機能が起動していない場合、バックエンドはフェイルクローズするか、POORDJAEVIN_VSCODE_LM_FALLBACK=nli の場合は nli にフォールバックします。

このマシンに Devin がない場合は、オフラインの方法を使用してください：

uv tool install "poordjaevin[local,mcp]"

または pipx を使用する場合（代替手段）：

pipx install "poordjaevin[local,mcp]"

POORDJAEVIN_BACKEND=nli poordjaevin serve   # ~400MB one-time model download, then offline

このサーバーは Claude Code/Desktop でも動作します（claude mcp add poordjaevin -- poordjaevin serve）。JSON 設定の形式は同じです。

エージェントは次のローカルツールを利用できます：

ツール	機能
gate(action)	ガードレール：このアクションをブロックすべきか（資金の移動、データの削除など）を判断します
judge(text, statement)	P(true) が調整された、はい／いいえ形式の質問です
classify(text, options)	調整済みの信頼度で、選択肢から 1 つ選びます
rate(text, levels)	順序尺度で評価します（低／中／高）
decide(text, questions)	複数の型付き質問を一度に、1 回の処理で行います

LLM に判断を依頼するより優れている理由：デフォルトの NLI バックエンドでは、ローカルで（プライベートに）動作し、無料（トークン不要）で高速なうえ、信頼度は作り上げられたものではなく調整されています。acp または vscode-lm では、評価するテキストは選択したモデルプロバイダーに送信されます。信頼度は confidence_source によって正直にラベル付けされ、一致するキャリブレーターが読み込まれている場合は調整済みとなり、それ以外の場合は未加工の値になります。

コミットをゲートする（pre-commit フック）

リポジトリには、各コミットの前にアクションファイルに対して poordjaevin gate を実行する pre-commit フックが含まれています。

# .pre-commit-config.yaml (in the repo you want to protect)
- repo: https://github.com/Icaro0310/devin-judge
  # the hook manifest ships in v0.1.2+; use a tag once cut
  rev: main
  hooks:
    - id: devin-judge-gate
      # optional: point the gate at your own action file
      # args: [--action-file, path/to/action.txt]

セットアップが必要です。このフックはフェイルクローズで動作します。アクションファイルがない場合、各コミットは終了コード 2 で終了するため、最初に一度だけ作成してください。

mkdir -p .devin
echo "The risky action this commit performs." > .devin/judge-action.txt

知っておくとよい点が 2 つあります。pre-commit は、entry にすでに含まれているフラグの後ろに args を追加するため、デフォルトのパスを上書きするには --action-file を繰り返し指定します。また、このフックはすべてのコミットで実行されるため（always_run、pass_filenames: false）、動作するバックエンドが必要です。デフォルトの acp、または local エクストラをインストールしたうえでの POORDJAEVIN_BACKEND=nli を使用してください。

poordjaevin が存在する理由

本番環境における AI の仕事の大半はチャットではありません。チケットをルーティングする、意図を分類する、感情をスコアリングする、フィールドを抽出する、ツール呼び出しをゲートする、といった高速な構造化判断です。TypeSafe の Jev はこのカテゴリ（「System One」モデル）を名付け、その主張を明確に示しました。そして、以下の独立したシステム間ベンチマークによれば、現時点でキャリブレーションに関する主張を裏付けており、ここで測定したモデルの中で最も優れています。ただし、クローズドで、ホスティング型であり、ウェイトリストへの登録が必要です。

poordjaevin は、「ホスティング型 API を呼び出す」ことが答えにならないデプロイのために存在します。プライベートデータ、オフライン環境、限界費用ゼロ、ウェイトリストなしといった用途です。小規模なローカルモデルで Jev の型付き判断インターフェースを再現し、独自のキャリブレーションを誠実に検証します（5 分割交差検証を使用し、学習に使ったデータで評価することはありません）。他のオープンなローカルの選択肢と比べると、以下の複合的な判断プリミティブのベンチマークでは優位ですが、高カーディナリティのベンチマークではそうではありません。実際の内訳をご覧ください。Jev を上回るわけではありません。NLI バックエンドで完全ローカルかつ無料であることと引き換えにした、正直なトレードオフです。

poordjaevin とその他の選択肢

自己申告ではなく、独立して測定しています。完全なハーネス、データ、すべての生結果ファイルについては、crossbench/ をご覧ください。

赤色は poordjaevin です。グラフは crossbench/results/ から crossbench/plot_comparison.py で再生成できます。数値は下の表と同じです。

	Jev (TypeSafe)	von	Laya	poordjaevin
インターフェース（型付き質問、1回のパス）	はい	はい	はい	はい
ローカルで実行可能、API キー不要	いいえ	はい	はい	はい
データを自分の環境内に保持	いいえ	はい	はい	はい
ウェイトリスト／サインアップ	はい	いいえ	いいえ	いいえ
オープンソース	いいえ	はい（Apache-2.0）	はい（Apache-2.0）	はい（MIT）
Banking77 の正解率（77 クラス、n=154）	0.812	0.838	0.519	0.656
Banking77 の ECE（低いほど良い）	0.084	0.135	0.388	0.414
マルチプリミティブセットの正解率（n=160）	0.906	0.775	0.775	0.781
マルチプリミティブセットの ECE（低いほど良い）	0.045	0.108	0.215	0.071

マルチプリミティブの行は、evalset/tasks.jsonl の55項目／160判定の スナップショットで測定したものです。同梱セットはその後、70 項目／203判定に拡張されています（evalset/README.md を参照）。 Banking77 の数値に変更はありません。拡張後のセットで4システムすべてを 再実行したことはありません。

この取り組みの意図が伝わるよう、率直に述べます。

• Jev はマルチプリミティブセットで圧勝しています。正解率も キャリブレーションも最高で、但し書きはありません。
• von は Banking77 で勝っています。4システムすべての中で 正解率が最高（0.838。Jev の0.812さえ上回ります）ですが、そこでの キャリブレーションは Jev のほうが優れています（0.084 対 0.135）。
• poordjaevin はマルチプリミティブセットで、オープンかつローカルな選択肢の中で首位です。そこでの Laya／von／poordjaevin の中では、正解率も キャリブレーションも最高です。ただし、これは Banking77 には 当てはまりません。正解率では von が poordjaevin を大差で上回り（0.838 対 0.656）、poordjaevin のキャリブレーションは4システム中で 最も悪く（0.414。Laya の0.388さえ下回ります）、最高ではありません。

すべてのベンチマークで勝つシステムはなく、poordjaevin も特にオープンソースの選択肢すべてに勝つわけではありません。 一方のベンチマークでは勝ち、もう一方では von に決定的な差で負けています。完全な 手法、公平性に関する注記、すべての生結果ファイルは crossbench/ にあります。数セント分の Jev API 呼び出しと 多少の CPU 時間で再現できます。

poordjaevin は Jev のクローンではなく、Jev に勝つとも、あらゆる面で von に勝つとも主張していません。インターフェースを再現し、 宣伝文句ではなく数値で独自のキャリブレーションを実証します。また、 混合判定プリミティブのベンチマークでは、完全ローカルな選択肢の中で最も優れています。 ただし、クラス数の多い分類ではそうではなく、現在は von が首位です。

3つのプリミティブ

プリミティブ	用途	戻り値
Choice(options)	分類、ルーティング	勝者の選択肢、選択肢ごとの確率、キャリブレーション済み信頼度
Score(levels)	順序尺度の評価、重大度	勝者のレベル、尺度上の連続スコア、信頼度
Noul(statement)	はい／いいえのゲート、ガードレール	P(true)。しきい値を適用して bool に変換

返される value は、必ず宣言した集合から選ばれます。無効なカテゴリは構造上選択できず、「通常は回避される」というものではありません。これは敵対的な入力（NaN、無限大、負数、すべてゼロのスコアベクトル）を使ってテストされています。

仕組み

state + typed questions
        |
        v
   one batched pass through a local zero-shot NLI model   (no API key)
        |
        v
   raw probabilities per option
        |
        v
   calibration: temperature scaling + conformal abstention
        |
        v
   typed, schema-valid answers + calibrated confidence

• ローカル NLI バックエンド（完全オフライン）： 1つの小型自然言語推論モデルが、1回のバッチ処理による順方向パスで、すべての選択肢を含意の仮説としてスコアリングします。約400MBのダウンロードは初回のみで、その後は完全にオフラインで動作します。キーもベンダーも不要で、テキストがマシンの外に出ることはありません。poordjaevin eval／calibrate と Python の Client() が使用するバックエンドです。serve で選択するには POORDJAEVIN_BACKEND=nli を設定します。
• Devin ACP バックエンド（poordjaevin serve のデフォルト）： devin acp 経由でスコアリングするため、Devin プランで既に利用できるモデルを使って判定します。自動ローテーションと呼び出しごとのコスト報告にも対応しています。追加のモデルもキーも不要です。
• VS Code LM バックエンド： icaro0310.judge 拡張機能内の vscode.lm 経由でスコアリングするため、VS Code が既に提供しているチャットモデル（Copilot、Codex、BYOK）を使って判定します。追加のキーは不要です。POORDJAEVIN_BACKEND=vscode-lm を設定して選択します。
• キャリブレーション（優位性の源泉）： 温度スケーリングでは、予測信頼度が実際の正解率と一致するよう、1つのスカラー値を調整します。コンフォーマルしきい値処理では、目標リスク予算を「わからないためエスカレーションする」というシグナルに変換します。キャリブレーションはバックエンドごとに行われます。NLI バックエンドで適合させたキャリブレーターは ACP のスコアには適用されません（不一致の場合、サーバーは警告を出し、生の信頼度にフォールバックします）。

ベンチマーク

以下の2つのコマンドですべてを再現できます。

poordjaevin eval       --set evalset/tasks.jsonl          # accuracy, ECE, Brier, risk-coverage
poordjaevin calibrate  --set evalset/tasks.jsonl --plots  # before/after ECE + the diagrams

同梱の評価セット（人手でラベル付けした70項目、203件の判定）、ローカル NLI バックエンド、キー不要の条件での結果です。

指標	補正前	補正後
正解率	0.793	0.793
ECE（キャリブレーション誤差）	0.156	0.072
Brier	0.173	低下
温度	1.00	2.59

温度は5分割交差検証で適合されるため、「補正後」の値は適合に使用していない保留データで測定されています。詳細な表と率直な制約事項は RESULTS.md をご覧ください。

同じ入力、同じ指標コードで Jev、Laya、von と比較： 上記の poordjaevin と他の方式の比較 と crossbench/ の完全なベンチマークハーネスをご覧ください。簡単にまとめると、この混合型の判定プリミティブベンチマークでは poordjaevin がオープンな選択肢の中で最も優れており、多クラス分類では von が、総合では Jev が優れています。

選択的予測：わからないときに、それを認識します

リスク予算を設定すると、poordjaevin は推測する代わりに、信頼度が最も低い判定を棄権します。

エラー予算を10％に設定すると、判定の64％に自信を持って回答し、残りをエスカレーションします。これは、システム1（高速な自動回答）からシステム2（人間、またはより大規模なモデル）への自然な橋渡しとなります。

実例

python examples/ticket_router.py   # full triage on a support ticket
python examples/tool_gate.py       # gate a risky tool call before it runs
python examples/demo.py            # raw vs calibrated, side by side

ツールゲートの例から、実用的な教訓がわかります。ローカルモデルは「このアクションは資金を移動する」「これはデータを削除する」といった具体的な質問には強く、「これは危険だ」といった抽象的な質問には弱い傾向があります。具体的な質問をして、1行のルールでポリシーを適用します。

正直な制約事項

誇張はしません。これは次のようなものではありません。

• Jevほど高速ではありません。 Jevはカスタムモデルを使用しています。poordjaevinは汎用モデルを使用しています。レイテンシを報告しますが、宣伝には使いません。
• 評価セットは小規模です（数十項目、ラベラー1名、英語、サポート関連の内容）。キャリブレーションの傾向とスキーマの妥当性を示すには十分ですが、リーダーボードを作る規模ではありません。
• After-ECEは0.072で、0.05未満ではありません。 これは実測値として報告している、実際の交差検証済みの数値です。質問ごとに温度を設定すれば、さらに低くなる可能性があります。
• ローカルモデルの知能は中程度です。 深い推論ではなく、実際の意味的含意判定を行います。キャリブレーションと棄権によって安全性を確保しています。
• Jevは現時点で、想定ではなく実測で優位にあり、1つの評価軸ではvonも優位です。 クロスシステムベンチマークでは、複数のプリミティブを含むセットでJevが圧勝し、Banking77のキャリブレーションでもリードしています。vonはBanking77の精度でJevとpoordjaevinの両方を上回ります。poordjaevinの正直な立ち位置は「複数の意思決定プリミティブを含むベンチマークで、完全ローカルかつ無料の選択肢として最良」であり、「Jevに勝つ」でも「あらゆる環境ですべてのオープンな代替製品に勝つ」でもありません。
• 温度スケーリングですべてが解決するわけではありません。 Banking77の77クラスでは、適切な交差検証済みの温度再フィットを行ってもECEはほとんど変化しません（0.414 → 0.416）。ここでのキャリブレーション不良は、選択肢数が多い場合の小規模NLIバックエンドに構造的に起因するもので、スカラー値をフィッティングして解消できるものではありません。詳しくはcrossbench/results/banking77_poordjaevin_recalibrated.jsonをご覧ください。

FAQ

これはJevのクローンですか？ いいえ。オープンなローカルモデル上で、Jevの開発者向けインターフェースとキャリブレーション済み信頼度の保証を再現しています。Jevのアーキテクチャや速度をコピーしているわけではありません。

Jevをローカルで実行できますか？ Jevそのものは実行できません。クローズドで、ホスト型のサービスだからです。poordjaevinはローカルで使えるオープンソースの代替製品です。APIキーもウェイトリストも不要で、オフラインで自分のマシン上に同じ型付き意思決定インターフェースを実行できます。

Jevに代わるオープンソースの選択肢はありますか？ はい、これがその1つです。poordjaevinはMITライセンスで、汎用モデル上でJevのChoice／Score／Noulインターフェースを再現し、再現可能な数値でキャリブレーションを実証しています。

APIキーやGPUは必要ですか？ いいえ。無料で使える方法が2つあります。serveはデフォルトでACPバックエンドを使用し、既存のDevin認証情報とモデルを再利用します。nliはモデルを一度ダウンロードした後、オフラインでCPU上で動作します。

LLMのJSONモードとはどう違いますか？ 2つあります。出力は解析によるものではなく、構築時点でスキーマに準拠します。また、信頼度はキャリブレーションされ、実証されたものであり、モデルが作り出した数値ではありません。

「System One」モデルとは何ですか？ 低速で熟考するチャットとは対照的な、高速かつ自動的に構造化された意思決定（分類、ルーティング、スコアリング、ゲーティング）を行うモデルです。この名称はKahnemanのSystem 1／System 2に由来します。

ECEとは何ですか？ 期待キャリブレーション誤差（Expected Calibration Error）のことで、モデルの信頼度と実際の精度の差の平均です。値が小さいほど優れています。poordjaevinは、この値を小さくすることを目的としています。

独自のモデルを使えますか？ はい。バックエンドはプラグイン可能で、バックエンドが実装する必要があるのはentail_probs(pairs)だけです。

ロードマップ

• 型付きプリミティブ。構築時点でスキーマに準拠
• ローカルNLIバックエンド、シングルパス、キー不要
• 評価セットと指標（精度、ECE、Brier、リスク・カバレッジ）
• キャリブレーション：温度スケーリング＋コンフォーマル棄権
• MCP サーバー：poordjaevinをClaude Codeのローカルツールとして使用
• Jev、Laya、vonとの独立したクロスシステムベンチマーク（crossbench/）
• Devin ACPバックエンド：既存のDevin認証情報を通じたLLMスコアリング（知能ダイヤル）
• JevとのBanking77の精度／キャリブレーションの差を縮める（より大規模なバックエンド、クラスごとのキャリブレーション）

プラットフォームのサポート

Windows、Linux、macOS に対応しています。ACP ブリッジは、プラットフォームごとに Devin の認証情報と devin 実行ファイルを解決します。

プラットフォーム	Devin の認証情報	Devin CLI
Windows	%APPDATA%\devin\credentials.toml	PATH 上の devin.exe
Linux	$XDG_DATA_HOME/devin/credentials.toml（デフォルトは ~/.local/share/devin/credentials.toml）	PATH 上の devin
macOS	~/Library/Application Support/devin/credentials.toml	PATH 上の devin

DEVIN_CREDENTIALS_PATH と DEVIN_CLI_PATH を指定すると、それぞれを上書きできます。認証情報ファイルは ACP セッションの認証にのみ使用し、ログに記録したりコピーしたりすることはありません。

コントリビューション

Issue や PR を歓迎します。特に、評価セット向けの新しいラベル付き意思決定タスクを歓迎します。確信度が正直でないケースを見つけた場合は、ぜひバグとして報告してください。

ライセンス

MIT。自由に使い、公開し、販売してください。

---

poordjaevin：価格は控えめ、正直さはたっぷり。お使いのモデルの確信度が雰囲気任せなら、ぜひご覧ください。

---

デバッグの時間を節約できたら、他の人にも見つけてもらえるよう、リポジトリに ⭐ を付けてください。