EvalForge Lite

EvalForge Lite

并排比较文本大模型。编写几个测试提示词，选择来自 OpenRouter、Amazon Bedrock、Google Vertex AI 和 Microsoft Foundry 的至多 4 个模型，EvalForge Lite 就会向所有模型发送相同的提示词，自动为回答评分，并展示包含字母等级、响应时间、速度和预估费用的排行榜。你可以将它用作 Web 应用，也可以将其用作 Claude 和其他助手的 MCP 服务。你可以使用自己的凭据，也可以由托管方在服务器上为你保管凭据。

文档网站： https://thejaredchapman.github.io/evalforge-lite/

为什么使用它

• 使用你自己的提示词进行测试。 根据模型在你任务上的表现进行选择，而不是依据通用基准测试。
• 每次运行最多测试 4 个模型，支持 4 种后端。 X（OpenRouter）和 X@bedrock 是不同的目标，因此你可以在一次运行中检查同一模型在两个平台上的表现。
• 自动评分。 评审模型会根据你的评分标准为每个回答打分，规则检查（contains、regex、json_valid、max_length，可通过 API 和 MCP 使用）则会给出通过或失败的结果。你将获得 0-100 分和字母等级。
• 为每个回答提供另一种评估意见。 每个回答还会根据六项标准进行评估（是否作答、质量、遵循指令、完整性、帮助程度、安全性），并列出具体优势和不足。
• 兼顾速度、费用与质量。 展示每个模型的延迟、每秒生成的令牌数和预估费用，并提供“最重要的是什么？”选择器，无需重新运行即可更改“最适合……”徽章。
• 策略关卡。 上传公司策略后，违反策略的提示词会在调用任何模型之前被拦截。如果策略检查本身失败，提示词也会被拦截。
• 报告。 下载最近 5 次运行中任意一次的 PDF 或 CSV 报告。
• 无需账户和数据库。 凭据仅用于单次请求，不会被存储。不会向磁盘写入任何内容。

快速开始

1. 在你的计算机上运行 Web 应用

需要 Python 3.10 或更高版本（推荐使用 3.12；下载地址： https://www.python.org/downloads/）和 git。

git clone https://github.com/thejaredchapman/evalforge-lite.git
cd evalforge-lite
python3.12 -m venv venv
source venv/bin/activate
pip install -r requirements.txt
python app.py

打开 http://localhost:8000，粘贴至少一个后端的密钥（OpenRouter API 密钥获取最快：https://openrouter.ai/workspaces/default/keys），添加一个测试用例，选择 2 到 4 个模型，然后点击 运行比较。每个浏览器会话每 8 小时最多运行 3 次。 完整操作指南：入门指南。

2. 在 Claude 中使用（MCP 服务）

安装 uv 后：

uvx evalforge-lite

一行命令即可将其添加到 Claude Code：

claude mcp add evalforge-lite -- uvx evalforge-lite

或者安装 Claude Code 插件，该插件包含相同的服务：

claude plugin marketplace add thejaredchapman/evalforge-lite
claude plugin install evalforge-lite@evalforge

然后让你的助手比较模型。它会获得 9 个工具：list_models、 suggest_models、list_availability、set_policy、evaluate_prompt、 run_comparison、list_runs、get_report、get_report_csv。 详细说明、Claude Desktop 配置和凭据格式：MCP 服务。

3. 为其他人托管

使用随附的 render.yaml（gunicorn，1 个工作进程）进行部署，或部署到任何能够运行 gunicorn --workers 1 --threads 4 --bind 0.0.0.0:$PORT app:app 的主机。默认情况下，每位访客都需要提供自己的密钥。你也可以通过环境变量将服务提供商密钥保留在服务器上，并设置共享的每日上限（默认每 24 小时 50 次）。请保持单个工作进程：所有状态都按进程存储在内存中。 完整指南：托管和服务器端密钥。

注意事项

• 应用不会自行读取 .env。如需使用其中的值，请在运行 python app.py 前执行 set -a; source .env; set +a。
• 每次运行最多可评估 4 个模型，每个浏览器会话每 8 小时可运行 3 次。
• 所有状态都存储在内存中，并会在服务重启时清除。请参阅隐私与限制。
• 要从旧版本升级并读取 CSV 或 API 字段？请参阅故障排除与常见问题中的说明。

后端与凭据

后端	需要提供的内容
OpenRouter	一个 API 密钥
Amazon Bedrock	一个区域，以及 Bedrock API 密钥或 AWS 访问密钥（可选的会话令牌）
Google Vertex AI	一个项目 ID 和区域，以及访问令牌或服务账号 JSON
Microsoft Foundry	一个资源名称和区域，以及 API 密钥或 Entra ID 访问令牌

单独的评判后端设置用于选择评判器和策略门运行的位置。Bedrock、Vertex 和 Foundry 的费用是根据目录价格估算的，并非你的云账单。请参阅后端与凭据。

文档

页面	内容
概览	项目简介、适用对象及三种使用方式
快速入门	安装、运行及首次对比
Web 应用指南	按顺序介绍屏幕上的各个部分
模型对比	了解指标、评级、评估、费用及其限制
后端与凭据	密钥、区域、X@backend 目标
MCP 服务	安装路径、全部 9 个工具、提示词示例
托管与服务端密钥	为他人部署、由运营方持有的密钥、每日上限
故障排除与常见问题	常见消息、解决方法，以及 CSV/API 字段变更说明
隐私与限制	数据流向、存储内容及所有限制

测试

pytest tests/ -v

所有模型和 HTTP 调用均已模拟，因此测试套件无需 API 密钥，也不会发起网络请求。

贡献

欢迎贡献：报告 Bug、更新模型目录、新增检查、完善文档和添加后端。有关设置、测试和拉取请求流程，请参阅 CONTRIBUTING.md。应用出现错误时，弹窗中的 在 GitHub 上报告问题按钮会打开一份预先填写好的 Bug 报告。

许可证

MIT