vision-bench

Vision Bench — LLM 画像評価

1 つ以上の視覚 LLM 評価者を使用し、構造化された評価基準に照らして画像をスコアリングして比較します。

クイックスタート

# Install dependencies
pip install pyyaml openai anthropic mistralai

# Score a single image
python bench.py image.png --criteria photorealism --judge gemini-2.5-flash

# Compare two AI-generated images
python bench.py img_a.png img_b.png \
  --criteria text_to_image \
  --prompt "a fox in a snowy forest" \
  --judge gpt-4o

# Multi-judge consensus
python bench.py img.png \
  --criteria portrait \
  --judges gpt-4o gemini-2.5-flash claude-opus-4-5-20251022

# OpenRouter models (any vision-capable model)
python bench.py img_a.png img_b.png \
  --criteria artistic_style \
  --judges "openrouter/meta-llama/llama-4-maverick" "openrouter/mistralai/pixtral-large-2411"

# List all presets
python bench.py --list-presets

# Save report to file
python bench.py img.png --criteria chart_analysis --save report.md

プリセット

プリセット	使用例
text_to_image	AI 画像生成ツール（Midjourney、DALL-E、Flux）の比較
photorealism	画像がどれほど説得力のある写真に見えるか
artistic_style	スタイルの一貫性、構図、色の調和
portrait	AI 生成ポートレートの品質とリアリティ
product_photo	E コマース商品画像の品質
document_ocr	文書のテキスト抽出とレイアウト理解
chart_analysis	グラフとデータ可視化の理解度
invoice	財務文書のフィールド抽出精度
ui_screenshot	アプリ／ウェブのスクリーンショット理解
scientific	科学・医療画像の精度
alt_text	アクセシビリティ向け画像説明の品質

カスタム評価基準：任意の .yaml ファイルを --criteria path/to/my.yaml として渡します。

評価プロバイダー

プレフィックス	プロバイダー	例
gpt-、o1、o3、o4	OpenAI	gpt-4o
claude-	Anthropic	claude-sonnet-4-5-20251022
gemini-	Google Gemini	gemini-2.5-flash
pixtral-、mistral-、ministral-	Mistral	pixtral-12b-2409
openrouter/	OpenRouter（任意のモデル）	openrouter/meta-llama/llama-4-maverick

API キー

キーは secrets.enc.yaml（SOPS + age で暗号化）から読み込まれ、見つからない場合は環境変数が使用されます。

対応するキー：OPENAI_API_KEY、ANTHROPIC_API_KEY、GEMINI_API_KEY、OPENROUTER_API_KEY

独自のキーを暗号化するには：

sops --config .sops.yaml --encrypt --input-type yaml --output-type yaml secrets.yaml > secrets.enc.yaml

出力形式

--output markdown（デフォルト） · --output json · --output table

ファイル

• bench.py — CLI エントリーポイント
• judge.py — マルチプロバイダー対応の LLM 評価ロジック
• report.py — レポート生成
• vault.py — SOPS シークレットの復号
• criteria/ — 11 個の YAML プリセットファイル
• .sops.yaml — 暗号化用 Age キー設定
• secrets.enc.yaml — 暗号化された API キー