vision-bench

Vision Bench — 大模型图像评估

使用一个或多个视觉大模型评审器，根据结构化评分标准对图像进行评分并比较。

快速开始

# Install dependencies
pip install pyyaml openai anthropic mistralai

# Score a single image
python bench.py image.png --criteria photorealism --judge gemini-2.5-flash

# Compare two AI-generated images
python bench.py img_a.png img_b.png \
  --criteria text_to_image \
  --prompt "a fox in a snowy forest" \
  --judge gpt-4o

# Multi-judge consensus
python bench.py img.png \
  --criteria portrait \
  --judges gpt-4o gemini-2.5-flash claude-opus-4-5-20251022

# OpenRouter models (any vision-capable model)
python bench.py img_a.png img_b.png \
  --criteria artistic_style \
  --judges "openrouter/meta-llama/llama-4-maverick" "openrouter/mistralai/pixtral-large-2411"

# List all presets
python bench.py --list-presets

# Save report to file
python bench.py img.png --criteria chart_analysis --save report.md

预设

预设	用途
text_to_image	比较 AI 图像生成器（Midjourney、DALL-E、Flux）
photorealism	图像看起来像照片的逼真程度
artistic_style	风格一致性、构图、色彩协调性
portrait	AI 生成肖像的质量和真实感
product_photo	电商产品图像质量
document_ocr	文档文本提取和版面理解
chart_analysis	图表和数据可视化理解
invoice	财务文档字段提取准确性
ui_screenshot	应用/网站截图理解
scientific	科学/医学图像准确性
alt_text	无障碍图像描述质量

自定义标准：将任意 .yaml 文件作为 --criteria path/to/my.yaml 传入。

评审器提供方

前缀	提供方	示例
gpt-、o1、o3、o4	OpenAI	gpt-4o
claude-	Anthropic	claude-sonnet-4-5-20251022
gemini-	Google Gemini	gemini-2.5-flash
pixtral-、mistral-、ministral-	Mistral	pixtral-12b-2409
openrouter/	OpenRouter（任意模型）	openrouter/meta-llama/llama-4-maverick

API 密钥

密钥从 secrets.enc.yaml（使用 SOPS + age 加密）加载；若不可用，则回退到环境变量。

支持的密钥：OPENAI_API_KEY、ANTHROPIC_API_KEY、GEMINI_API_KEY、OPENROUTER_API_KEY

要加密自己的密钥：

sops --config .sops.yaml --encrypt --input-type yaml --output-type yaml secrets.yaml > secrets.enc.yaml

输出格式

--output markdown（默认）· --output json · --output table

文件

• bench.py — CLI 入口
• judge.py — 多提供方大模型评审逻辑
• report.py — 报告生成
• vault.py — SOPS 密钥解密
• criteria/ — 11 个 YAML 预设文件
• .sops.yaml — 用于加密的 Age 密钥配置
• secrets.enc.yaml — 加密的 API 密钥