EvalForge Lite

EvalForge Lite

テキスト LLM を並べて比較できます。テスト用プロンプトをいくつか作成し、OpenRouter、Amazon Bedrock、Google Vertex AI、Microsoft Foundry から最大 4 つのモデルを選ぶと、EvalForge Lite が同じプロンプトをすべてのモデルに送り、回答を自動採点して、レターグレード、応答時間、速度、推定コストを含むリーダーボードを表示します。ウェブアプリとして、または Claude などのアシスタント向け MCP サーバーとして利用できます。認証情報はご自身で用意するか、ホストする人がサーバー上で管理します。

ドキュメントサイト： https://thejaredchapman.github.io/evalforge-lite/

使う理由

• 独自のプロンプトでテストできます。 汎用ベンチマークではなく、ご自身のタスクに関する根拠に基づいてモデルを選べます。
• 4 つのバックエンドから、1 回の実行につき最大 4 モデルを選べます。 X（OpenRouter）と X@bedrock は別々の対象となるため、1 回の実行で同じモデルを 2 つのプラットフォームで比較できます。
• 自動採点。 評価モデルがルーブリックに基づいて各回答を採点し、ルールチェック（contains、regex、json_valid、max_length。API と MCP から利用可能）で合格または不合格を判定します。0～100 点のスコアとレターグレードが表示されます。
• すべての回答を別の視点から評価します。 各回答を 6 つの基準（回答の有無、品質、指示への準拠、完全性、有用性、安全性）でも評価し、長所と短所を明示します。
• 品質に加えて速度とコストも表示します。 各モデルのレイテンシ、1 秒あたりのトークン数、推定コストを確認できます。また、「最も重視する項目は？」セレクターを使えば、再実行せずに「最適」バッジを切り替えられます。
• ポリシーゲート。 会社のポリシーをアップロードすると、違反するプロンプトはモデルを呼び出す前にブロックされます。チェック自体に失敗した場合も、プロンプトはブロックされます。
• レポート。 直近 5 回の実行について、PDF または CSV をダウンロードできます。
• アカウントもデータベースも不要です。 認証情報は 1 回のリクエストにのみ使用され、保存されません。ディスクへの書き込みはありません。

クイックスタート

1. お使いのコンピューターでウェブアプリを実行する

Python 3.10 以降（3.12 を推奨。https://www.python.org/downloads/ からダウンロード）と git が必要です。

git clone https://github.com/thejaredchapman/evalforge-lite.git
cd evalforge-lite
python3.12 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
python app.py

http://localhost:8000 を開き、少なくとも 1 つのバックエンドのキーを貼り付け（OpenRouter API キーが最も手軽です：https://openrouter.ai/workspaces/default/keys）、テストケースを追加して、2～4 個のモデルを選び、比較を実行をクリックします。実行回数は、ブラウザーセッションごとに 8 時間あたり 3 回に制限されています。 詳しい手順：はじめに。

2. Claude から利用する（MCP サーバー）

uv をインストールした状態で：

uvx evalforge-lite

次の 1 行で Claude Code に追加できます：

claude mcp add evalforge-lite -- uvx evalforge-lite

または、同じサーバーをバンドルした Claude Code プラグインをインストールします：

claude plugin marketplace add thejaredchapman/evalforge-lite
claude plugin install evalforge-lite@evalforge

次に、アシスタントにモデルの比較を依頼します。9 つのツールを利用できます：list_models、 suggest_models、list_availability、set_policy、evaluate_prompt、 run_comparison、list_runs、get_report、get_report_csv。 詳細、Claude Desktop の設定、認証情報の形式：MCP サーバー。

3. 他の人が使えるようにホストする

付属の render.yaml（gunicorn、ワーカー 1 つ）を使ってデプロイするか、 gunicorn --workers 1 --threads 4 --bind 0.0.0.0:$PORT app:app を実行できるホストを利用します。デフォルトでは、訪問者がそれぞれ自分のキーを入力します。必要に応じて、環境変数と共有の日次上限（デフォルトでは 24 時間あたり 50 回）を使い、プロバイダーのキーをサーバー上で管理できます。状態はすべてプロセスごとのメモリーに保存されるため、ワーカー数は 1 つにしてください。 詳しいガイド：ホスティングとサーバー側キー。

知っておくとよいこと

• アプリは .env を自動では読み込みません。.env の値を使うには、python app.py の前に set -a; source .env; set +a を実行してください。
• 1回の実行で使用できるモデルは4つまでです。また、各ブラウザーセッションで8時間ごとに3回実行できます。
• すべての状態はメモリ上に保持され、サーバーの再起動時に消去されます。プライバシーと制限をご覧ください。
• 古いバージョンからアップグレードしていて、CSV または API のフィールドについて確認したい場合は、トラブルシューティングと FAQの注記をご覧ください。

バックエンドと認証情報

バックエンド	用意するもの
OpenRouter	API キー1つ
Amazon Bedrock	リージョン、および Bedrock API キーまたは AWS アクセスキー（セッショントークンは任意）
Google Vertex AI	プロジェクト ID とリージョン、およびアクセストークンまたはサービスアカウント JSON
Microsoft Foundry	リソース名とリージョン、および API キーまたは Entra ID アクセストークン

別の評価バックエンド設定で、評価者とポリシーゲートを実行する場所を選択します。 Bedrock、Vertex、Foundry のコストは、クラウドの請求額ではなく、カタログ価格に基づく概算です。バックエンドと認証情報をご覧ください。

ドキュメント

ページ	内容
概要	どのようなものか、対象ユーザー、3つの利用方法
はじめに	インストール、実行、最初の比較
ウェブアプリガイド	画面の各部について順に説明
モデルの比較	指標、評価、採点、コストとそれぞれの限界について
バックエンドと認証情報	キー、リージョン、X@backend ターゲット
MCP サーバー	インストール先、9つのツールすべて、プロンプトの例
ホスティングとサーバー側キー	他のユーザー向けのデプロイ、運用者が管理するキー、1日あたりの上限
トラブルシューティングと FAQ	よくあるメッセージ、解決方法、CSV/API フィールドの変更に関する注記
プライバシーと制限	データの送信先と保存内容、すべての制限

テスト

pytest tests/ -v

すべてのモデル呼び出しと HTTP 呼び出しはモックされるため、テストスイートの実行に API キーは不要で、ネットワークへの接続も行いません。

コントリビューション

バグ報告、モデルカタログの更新、新しいチェック、ドキュメント、新しいバックエンドなどのコントリビューションを歓迎します。セットアップ、テスト、プルリクエストの手順については、CONTRIBUTING.mdをご覧ください。アプリにエラーが表示されたときは、ポップアップの GitHub で問題を報告 ボタンから、必要事項が入力済みのバグ報告を開けます。

ライセンス

MIT