Model Finder

独自のテストに合格する最安のAIモデルを見つけ、その状態を維持しましょう。
_{Claude · Gemini · OpenAI · Bedrock · Vertex AI · ローカルモデル — Indigloo が公開}

インストール  ·  仕組み  ·  MCP ツール  ·  クイックスタート  ·  プライバシー  ·  セキュリティ

メモ

ローカルで動作します。 Model Finder は、4つの Agent Skills とローカル MCP サーバー（mcp/server.py、Python 3.9+ の標準ライブラリを使用、依存関係なし）で構成されています。サーバーはネットワークへの接続を行わず、API キーも不要です。ファイルへの書き込みや、Indigloo への情報送信も一切行いません。モデルプロバイダーを呼び出すのは評価スクリプトと、それが生成するルーターだけです。実行時には、お客様自身のキーを使用します。

仕組み

flowchart LR
    A["Audit<br/><sub>models and SDKs in your repo</sub>"] --> B["Draft evals<br/><sub>from your prompts, PII dropped</sub>"]
    B --> C["Evaluate<br/><sub>your keys · pass rate · latency · cost</sub>"]
    C --> D["Rank<br/><sub>cost per passing answer</sub>"]
    D --> E["Route<br/><sub>cheapest first, escalate on failure</sub>"]
    F["Size<br/><sub>weights + KV cache vs your GPU</sub>"] -.-> C
    classDef step fill:#f3f0e8,stroke:#1c1b19,color:#1c1b19;
    classDef pick fill:#f3f0e8,stroke:#cd462a,color:#cd462a;
    class A,B,C,E,F step;
    class D pick;

提案のみを行います。何もデプロイされず、現在のモデルが変更されることもありません。データは、お客様が設定して承認したプロバイダーにのみ送信されます。個人データとシークレットは、デフォルトで送信前にブロックされます。インドの DPDP Act への対応については、DATA-PROTECTION.md をご覧ください。

インストール

PATH 上で python3 として実行できる Python 3.9 以降が必要です（Windows を参照）。pip install は不要です。

クライアント	コマンド	スキル	MCP ツール
Claude Code	/plugin marketplace add Abhiindigloo/EvalHarness を実行し、続けて /plugin install model-finder@model-finder	✅	✅ .mcp.json 経由
OpenAI Codex CLI	codex plugin marketplace add Abhiindigloo/EvalHarness を実行し、続けて codex plugin add model-finder@model-finder	✅	✅ mcp.json 経由（Agent Plugins 形式で、./mcp/server.py を実行します）。Codex はサーバーにワークスペースを渡さないため、エージェントがプロジェクトのパスを渡します
GitHub Copilot CLI	copilot plugin marketplace add Abhiindigloo/EvalHarness を実行し、続けて copilot plugin install model-finder@model-finder	✅	✅ mcp.json 経由
Gemini CLI	gemini extensions install https://github.com/Abhiindigloo/EvalHarness	✅	✅ gemini-extension.json 経由
Cursor	スキル付きプラグイン：cursor.directory/plugins/model-finder、または ~/.cursor/plugins/local/model-finder にクローンしてウィンドウを再読み込みします	✅	✅ mcp.json、または .cursor-plugin/plugin.json → .mcp.json 経由
Cursor、MCP のみ	（ワンクリックで設定。uvx model-finder-mcp==1.3.5 を実行します。uv が必要です）	—	✅
任意の MCP クライアント、PyPI 経由	uvx model-finder-mcp==1.3.5（PyPI、MCP Registry：co.indigloo/model-finder）	—	✅
VS Code、JetBrains、Windsurf など	クライアントの MCP 設定にサーバーを追加します（手動セットアップ）	—	✅
その他の Agent Skills クライアント	skills/<name>/ をクライアントのスキルディレクトリにコピーします	✅	—

Gemini CLI は、信頼済みのフォルダー内でのみ拡張機能の MCP サーバーを起動します。プロジェクトを初めて開くときに、信頼するかどうかを尋ねます。

MCP の手動セットアップ

{
  "servers": {
    "model-finder": {
      "type": "stdio",
      "command": "python3",
      "args": ["/absolute/path/to/EvalHarness/mcp/server.py"],
      "env": { "MODEL_FINDER_ROOT": "${workspaceFolder}" }
    }
  }
}

{
  "mcpServers": {
    "model-finder": {
      "command": "python3",
      "args": ["/absolute/path/to/EvalHarness/mcp/server.py"],
      "env": { "MODEL_FINDER_ROOT": "${workspaceFolder}" }
    }
  }
}

{
  "mcpServers": {
    "model-finder": {
      "command": "python3",
      "args": ["/absolute/path/to/EvalHarness/mcp/server.py"],
      "env": { "MODEL_FINDER_ROOT": "/absolute/path/to/your/project" }
    }
  }
}

リポジトリを一度クローンし、/absolute/path/to/EvalHarness を置き換えます。リポジトリのツールが読み取るのはワークスペース内のみです。ワークスペースは、クライアントが MCP 経由で共有するルート、または MODEL_FINDER_ROOT、それらがない場合はサーバーの作業ディレクトリです。ファイルシステムのルートやホームディレクトリは拒否されます。

Windows

Codex、Copilot CLI、Cursor は ./mcp/server.py としてサーバーを起動します。このファイルは #!/usr/bin/env python3 の行に依存するため、Windows では手動セットアップまたは uvx model-finder-mcp を使用してください。PATH 上に python3 がない場合、MCP サーバーは起動しません。python.org から Python をインストールし（「Add python.exe to PATH」にチェックを入れます）、python3 エイリアスを作成するか、手動セットアップで "command": "py" および "args": ["-3", "C:/path/to/EvalHarness/mcp/server.py"] を使用してください。

MCP ツール

読み取り専用のツールが10個あり、サポート対象のすべての IDE で同じ機能をツールとして利用できます。

すべてのツールは、デフォルトで読みやすい Markdown の概要と、構造化 JSON の完全な結果を返します（response_format: "json" を指定すると、テキストにも JSON が含まれます）。大きな結果はページ分割されます（limit、offset、has_more、next_offset）。modelfinder_audit_models ではプロバイダーファミリーまたはハードコードされた ID で絞り込めます。また、不明な引数は有効な引数の一覧とともに拒否されます。サーバーはネットワーク接続を開かず、API キーを読み取らず、ファイルを書き込みません。モデルプロバイダーを呼び出すのは eval_models.py と生成された router.py のみです。これらは実行時に、指定したキーを使って呼び出します。

クイックスタート

IDE で次のように尋ねます。「このリポジトリで使われている AI モデルを監査し、プロンプトから評価を作成して、より安価なモデルに合格できるかテストしてください。」 アシスタントは MCP ツールを使って監査と作成を行い、チェック項目についてユーザーと合意し、有料の実行を開始する前に確認します。

ターミナルから：

cp skills/eval-models/assets/example-config.json my-eval.json   # fill in verified model IDs and prices
export ANTHROPIC_API_KEY=... GEMINI_API_KEY=... OPENAI_API_KEY=...
python3 skills/eval-models/scripts/repo_scan.py audit .            # what the repo uses
python3 skills/eval-models/scripts/repo_scan.py examples .         # draft examples from prompt files
python3 skills/eval-models/scripts/eval_models.py my-eval.json --dry-run
python3 skills/eval-models/scripts/eval_models.py my-eval.json --out results
python3 skills/route-models/scripts/make_routing.py --results results/results.json --guards guards.json --out routing
python3 routing/router.py routing/routing.json "your prompt"

ローカルモデルのサイズを見積もる：

python3 skills/size-local-model/scripts/estimate_memory.py --params-b 8.03 --bits 16 \
  --layers 32 --kv-heads 8 --head-dim 128 --context 8192 --available-gib 24

テスト

python3 -m unittest discover -s tests -v

エンドツーエンドテストは、OpenAI 互換、Anthropic、Gemini の各 API をローカルでモックして実行し、stdio 経由で MCP サーバーを操作します。キーもネットワークアクセスも必要ありません。evaluations/ には、MCP ツールを対象とした10問のエージェント評価が含まれています。

リリース

1. すべての箇所でバージョンを更新し（python3 tests/check_release_version.py を実行すると異なるフィールドが表示されます）、CHANGELOG の項目を追加します。
2. vX.Y.Z タグをプッシュします。release.yml がテストの実行、バージョンの確認、パッケージのビルドを行い、トラステッドパブリッシングを使用して PyPI に公開した後、server.json を公式 MCP Registry に公開します。
3. 初回のみ必要な設定：
   • PyPI：プロジェクト model-finder-mcp のトラステッドパブリッシャーを保留中として追加します（owner Abhiindigloo、repository EvalHarness、workflow release.yml、environment pypi）。できれば Indigloo PyPI organization から設定し、repository settings で pypi environment を作成します。
   • MCP Registry（indigloo.co ドメインで検証される co.indigloo/model-finder）。OpenSSL 3 を使用して、自分のマシンで次のコマンドを実行します。

     openssl genpkey -algorithm Ed25519 -out mcp-registry-key.pem
     echo "TXT record for indigloo.co: v=MCPv1; k=ed25519; p=$(openssl pkey -in mcp-registry-key.pem -pubout -outform DER | tail -c 32 | base64)"
     echo "GitHub secret MCP_REGISTRY_PRIVATE_KEY: $(openssl pkey -in mcp-registry-key.pem -noout -text | grep -A3 'priv:' | tail -n +2 | tr -d ' :\n')"
     

     indigloo.co の apex に TXT レコードを追加し、repository environment mcp-registry を作成して、16 進数のキーをそのシークレット MCP_REGISTRY_PRIVATE_KEY として保存します。その後、mcp-registry-key.pem を削除するか、パスワードマネージャーに保管します。

skills/                      shared Agent Skills (single source of truth)
mcp/server.py                local MCP server (stdio, standard library only)
.mcp.json                    MCP launch config for Claude Code and Cursor (${CLAUDE_PLUGIN_ROOT}); disabled as a
                             project config inside this repo by .claude/settings.json
mcp.json                     Agent Plugins MCP launch config (Codex, Copilot CLI, Cursor): runs ./mcp/server.py
server.json, pyproject.toml  MCP Registry entry and PyPI package (model-finder-mcp); pypi/ holds the package marker
glama.json                   Glama directory ownership
.github/workflows/           tests on every push; release.yml publishes tags to PyPI and the MCP Registry
.claude-plugin/              Claude Code (and Copilot CLI) plugin + marketplace manifests
.codex-plugin/               Codex plugin manifest
.agents/plugins/             Codex repository marketplace
.cursor-plugin/              Cursor plugin + marketplace manifests
gemini-extension.json        Gemini CLI extension (context: GEMINI.md)
plugin.json                  Agent Plugins manifest with OpenAI listing metadata
AGENTS.md, GEMINI.md         skill index for agents that read root instructions
PRIVACY.md, TERMS.md, SUPPORT.md  pages the marketplace listings link to
assets/                      logo, README plates, and DESIGN.md (the visual language)

_{サポート · プライバシー · 利用規約 · セキュリティ · データ保護
MIT License · © 2026 Indigloo Softwares Private Limited}