Model Finder

找到能通过你自己的测试的最低成本 AI 模型，并让它始终保持如此。
_{Claude · Gemini · OpenAI · Bedrock · Vertex AI · 本地模型 — 由 Indigloo 发布}

安装  ·  工作原理  ·  MCP 工具  ·  快速开始  ·  隐私  ·  安全

说明

在本地运行。 Model Finder 是一组包含 4 个 Agent Skills 和一个本地 MCP 服务（mcp/server.py，使用 Python 3.9+ 标准库，无依赖项）。该服务不会进行网络调用，无需 API 密钥，不会写入文件，也绝不会向 Indigloo 发送任何信息。只有评测脚本及其生成的路由器会在你运行时使用你自己的密钥调用模型提供方。

工作原理

flowchart LR
    A["Audit<br/><sub>models and SDKs in your repo</sub>"] --> B["Draft evals<br/><sub>from your prompts, PII dropped</sub>"]
    B --> C["Evaluate<br/><sub>your keys · pass rate · latency · cost</sub>"]
    C --> D["Rank<br/><sub>cost per passing answer</sub>"]
    D --> E["Route<br/><sub>cheapest first, escalate on failure</sub>"]
    F["Size<br/><sub>weights + KV cache vs your GPU</sub>"] -.-> C
    classDef step fill:#f3f0e8,stroke:#1c1b19,color:#1c1b19;
    classDef pick fill:#f3f0e8,stroke:#cd462a,color:#cd462a;
    class A,B,C,E,F step;
    class D pick;

仅供参考：不会部署任何内容，不会更改你当前使用的模型，数据只会发送到你配置并批准的服务提供方。默认情况下，发送前会拦截个人数据和机密信息；关于这与印度 DPDP 法案的对应关系，请参阅 DATA-PROTECTION.md。

安装

需要在 PATH 中提供 Python 3.9+，可通过 python3 调用（参见 Windows）。无需通过 pip install 安装任何内容。

客户端	命令	技能	MCP 工具
Claude Code	/plugin marketplace add Abhiindigloo/EvalHarness 然后运行 /plugin install model-finder@model-finder	✅	✅ 通过 .mcp.json
OpenAI Codex CLI	codex plugin marketplace add Abhiindigloo/EvalHarness 然后运行 codex plugin add model-finder@model-finder	✅	✅ 通过 mcp.json（Agent Plugins 格式，运行 ./mcp/server.py）。Codex 不会向服务提供工作区，因此 Agent 会传递项目路径
GitHub Copilot CLI	copilot plugin marketplace add Abhiindigloo/EvalHarness 然后运行 copilot plugin install model-finder@model-finder	✅	✅ 通过 mcp.json
Gemini CLI	gemini extensions install https://github.com/Abhiindigloo/EvalHarness	✅	✅ 通过 gemini-extension.json
Cursor	带技能的插件：cursor.directory/plugins/model-finder，或克隆到 ~/.cursor/plugins/local/model-finder 并重新加载窗口	✅	✅ 通过 mcp.json 或 .cursor-plugin/plugin.json → .mcp.json
Cursor，仅 MCP	（一键安装；运行 uvx model-finder-mcp==1.3.5，需要 uv）	—	✅
任意 MCP 客户端，通过 PyPI	uvx model-finder-mcp==1.3.5（PyPI，MCP Registry：co.indigloo/model-finder）	—	✅
VS Code、JetBrains、Windsurf 等	将服务添加到客户端的 MCP 设置中（手动设置）	—	✅
其他 Agent Skills 客户端	将 skills/<name>/ 复制到客户端的技能目录	✅	—

Gemini CLI 只会在你信任的文件夹中启动扩展 MCP 服务；首次打开项目时会询问你。

手动设置 MCP

{
  "servers": {
    "model-finder": {
      "type": "stdio",
      "command": "python3",
      "args": ["/absolute/path/to/EvalHarness/mcp/server.py"],
      "env": { "MODEL_FINDER_ROOT": "${workspaceFolder}" }
    }
  }
}

{
  "mcpServers": {
    "model-finder": {
      "command": "python3",
      "args": ["/absolute/path/to/EvalHarness/mcp/server.py"],
      "env": { "MODEL_FINDER_ROOT": "${workspaceFolder}" }
    }
  }
}

{
  "mcpServers": {
    "model-finder": {
      "command": "python3",
      "args": ["/absolute/path/to/EvalHarness/mcp/server.py"],
      "env": { "MODEL_FINDER_ROOT": "/absolute/path/to/your/project" }
    }
  }
}

克隆一次仓库，并替换 /absolute/path/to/EvalHarness。仓库工具只会读取工作区内的内容：客户端通过 MCP 共享的根目录、MODEL_FINDER_ROOT 指定的目录，或服务的工作目录。拒绝使用文件系统根目录或主目录。

Windows

Codex、Copilot CLI 和 Cursor 会以 ./mcp/server.py 启动服务，该脚本依赖 #!/usr/bin/env python3 行；在 Windows 上，请使用手动设置或 uvx model-finder-mcp。如果 PATH 中没有 python3，MCP 服务将无法启动。请从 python.org 安装 Python（勾选“Add python.exe to PATH”），然后创建 python3 别名，或使用手动设置，将 "command": "py" 和 "args": ["-3", "C:/path/to/EvalHarness/mcp/server.py"] 填入配置。

MCP 工具

十个只读工具，因此所有受支持的 IDE 都能使用相同功能：

默认情况下，每个工具都会返回易读的 Markdown 摘要，以及结构化 JSON 格式的完整结果（response_format: "json" 也会在文本中包含 JSON）。大型结果会分页（limit、offset、has_more、next_offset）；modelfinder_audit_models 可按提供商系列或硬编码 ID 筛选；不支持的参数会被拒绝，并附上有效参数列表。服务绝不会建立网络连接、读取 API 密钥或写入文件。只有在你运行 eval_models.py 和生成的 router.py 时，它们才会使用你的密钥调用模型提供商。

快速开始

在 IDE 中询问：“审查此代码仓库使用了哪些 AI 模型，然后根据我们的提示词起草评估，并测试更便宜的模型能否通过。”助手会使用 MCP 工具进行审查和起草，与你确认检查项，并在付费运行前征求同意。

在终端中：

cp skills/eval-models/assets/example-config.json my-eval.json   # fill in verified model IDs and prices
export ANTHROPIC_API_KEY=... GEMINI_API_KEY=... OPENAI_API_KEY=...
python3 skills/eval-models/scripts/repo_scan.py audit .            # what the repo uses
python3 skills/eval-models/scripts/repo_scan.py examples .         # draft examples from prompt files
python3 skills/eval-models/scripts/eval_models.py my-eval.json --dry-run
python3 skills/eval-models/scripts/eval_models.py my-eval.json --out results
python3 skills/route-models/scripts/make_routing.py --results results/results.json --guards guards.json --out routing
python3 routing/router.py routing/routing.json "your prompt"

评估本地模型的配置：

python3 skills/size-local-model/scripts/estimate_memory.py --params-b 8.03 --bits 16 \
  --layers 32 --kv-heads 8 --head-dim 128 --context 8192 --available-gib 24

测试

python3 -m unittest discover -s tests -v

端到端测试会针对 OpenAI 兼容、Anthropic 和 Gemini API 的本地模拟进行，并通过标准输入/输出驱动 MCP 服务；无需密钥或网络访问。evaluations/ 中包含一项针对 MCP 工具的 10 题 Agent 评估。

发布

1. 在所有位置更新版本号（python3 tests/check_release_version.py 会列出不一致的字段），并添加一条 CHANGELOG 条目。
2. 推送标签 vX.Y.Z。release.yml 会运行测试、检查版本号、构建软件包、通过可信发布将其发布到 PyPI，然后将 server.json 发布到官方 MCP 注册表。
3. 一次性设置：
   • PyPI：为项目 model-finder-mcp 添加一个待处理的可信发布者（所有者 Abhiindigloo、仓库 EvalHarness、工作流 release.yml、环境 pypi），最好通过 Indigloo PyPI 组织添加，并在仓库设置中创建 pypi 环境。
   • MCP 注册表（co.indigloo/model-finder，通过 indigloo.co 域名验证）。在你自己的设备上，使用 OpenSSL 3：

     openssl genpkey -algorithm Ed25519 -out mcp-registry-key.pem
     echo "TXT record for indigloo.co: v=MCPv1; k=ed25519; p=$(openssl pkey -in mcp-registry-key.pem -pubout -outform DER | tail -c 32 | base64)"
     echo "GitHub secret MCP_REGISTRY_PRIVATE_KEY: $(openssl pkey -in mcp-registry-key.pem -noout -text | grep -A3 'priv:' | tail -n +2 | tr -d ' :\n')"
     

     在 indigloo.co 的顶级域添加 TXT 记录，创建仓库环境 mcp-registry，将十六进制密钥保存为该环境的密钥 MCP_REGISTRY_PRIVATE_KEY，然后删除 mcp-registry-key.pem，或将其保存在密码管理器中。

skills/                      shared Agent Skills (single source of truth)
mcp/server.py                local MCP server (stdio, standard library only)
.mcp.json                    MCP launch config for Claude Code and Cursor (${CLAUDE_PLUGIN_ROOT}); disabled as a
                             project config inside this repo by .claude/settings.json
mcp.json                     Agent Plugins MCP launch config (Codex, Copilot CLI, Cursor): runs ./mcp/server.py
server.json, pyproject.toml  MCP Registry entry and PyPI package (model-finder-mcp); pypi/ holds the package marker
glama.json                   Glama directory ownership
.github/workflows/           tests on every push; release.yml publishes tags to PyPI and the MCP Registry
.claude-plugin/              Claude Code (and Copilot CLI) plugin + marketplace manifests
.codex-plugin/               Codex plugin manifest
.agents/plugins/             Codex repository marketplace
.cursor-plugin/              Cursor plugin + marketplace manifests
gemini-extension.json        Gemini CLI extension (context: GEMINI.md)
plugin.json                  Agent Plugins manifest with OpenAI listing metadata
AGENTS.md, GEMINI.md         skill index for agents that read root instructions
PRIVACY.md, TERMS.md, SUPPORT.md  pages the marketplace listings link to
assets/                      logo, README plates, and DESIGN.md (the visual language)

_{支持 · 隐私 · 条款 · 安全 · 数据保护
MIT 许可证 · © 2026 Indigloo Softwares Private Limited}