openrouter-benchmarks

OpenRouter ベンチマーク

OpenRouter の統合ベンチマークエンドポイントを使用して、ベンチマークに基づくモデルのランキングや選定に関する質問に回答します。このエンドポイントは Artificial Analysis と Design Arena のデータを集約し、結果を報告する際に保持すべき引用メタデータを返します。

前提条件

OPENROUTER_API_KEY に有効な OpenRouter API キーを設定します。ベンチマークの利用に管理キーは必要ありません。

export OPENROUTER_API_KEY=sk-or-v1-...

判断ツリー

ユーザーの要望	対応
複数のソースにわたるベンチマーク順位付きモデルを確認する	GET /api/v1/benchmarks を呼び出し、ソース／引用メタデータを保持します
アプリやユースケースに適したモデルを選ぶ	Artificial Analysis または Design Arena に関連する指標があるか確認します。直接対応するベンチマークがない場合は、その旨を伝えます
コーディング、知能、またはエージェント型タスクに最適なモデルを探す	task_type=coding、task_type=intelligence、または task_type=agentic を使用します
Artificial Analysis のみを照会する	source=artificial-analysis を使用します
Design Arena のみを照会する	source=design-arena を使用し、該当する場合は arena と category も指定します
統合用に API の形式に沿った生データを取得する	エンドポイントの生の data／meta 構造を返します
すべてのレスポンスフィールドや直接の curl の使用方法を確認する	references/benchmarks-api.md を読みます

ベンチマーク順位を尋ねておらず、価格、コンテキスト長、サポートされるパラメーター、モダリティ、またはプロバイダーエンドポイントのパフォーマンスが必要な場合は、代わりに openrouter-models を使用してください。

創作、ストーリーテリング、または編集アプリの場合、このエンドポイントには現在、文章の品質を直接評価するベンチマークがありません。Artificial Analysis の intelligence_index は汎用能力を示す弱い指標として扱い、アプリが複数ステップの計画や改訂を行う場合にのみ agentic_index を使用してください。Design Arena の視覚／コードカテゴリが文章の品質を測定するかのように示してはいけません。

利用可能性の確認

ベンチマーク順位付きモデルを推奨する前に、models／endpoints API を使って利用可能性を確認してください。ベンチマーク行には、日付やベンチマーク固有の model_permaslug が含まれることがあります。これは出典の特定には役立ちますが、OpenRouter で実際にルーティング可能な正確なモデル ID とは限りません。

ベンチマーク候補を推奨する前に、次の手順を実行してください。

1. GET /api/v1/models を確認し、ベンチマークの model_permaslug と完全に一致する id があるか調べます。
2. 完全に一致する id がないものの、ベンチマークの model_permaslug と canonical_slug が一致するモデルがある場合、そのベンチマーク行はそのモデルファミリーを示す根拠として扱い、直接推奨できる ID として扱わないでください。利用可能性を確認した後に限り、実際のモデル id を使用します。
3. GET /api/v1/models/{author}/{slug}/endpoints を確認するか、openrouter-models の get-endpoints.ts を使ってプロバイダーのステータスを確認します。
4. 少なくとも 1 つ、明らかに利用可能なエンドポイントがある候補を優先します。すべてのエンドポイントで性能が低下している場合、uptime_last_30m: 0 の場合、または OpenRouter のモデルページ／API でそのモデルが利用できないことが示されている場合は、主な推奨候補から除外し、ベンチマーク結果を現時点では実用できない理由を説明します。
5. 利用可能性が不明確な場合は、その旨を伝え、ベンチマーク首位のモデルを既定の選択肢として提示するのではなく、利用可能性を確認済みの代替モデルを推奨します。

エンドポイントの status: 0 だけを根拠にしてはいけません。ルーティングエラーメッセージ、警告メッセージ、リクエスト上限がゼロ、エンドポイント一覧が空、プロバイダー固有のアクセス制限など、モデルレベルの利用可能性を示す情報がある場合、1 つのエンドポイントが稼働しているように見えても、ベンチマーク首位のモデルが実用できないことがあります。利用可能性を示す情報が食い違う場合は、その不確実性を説明し、そのモデルを主な推奨候補にしないでください。

API の使用方法

クエリパラメーター：

フラグ	値	備考
source	artificial-analysis、design-arena	省略すると、すべてのソースが返されます。
task_type	coding、intelligence、agentic	ソース固有のインデックス／カテゴリに対応します。
arena	models、builders、agents	Design Arena のみ。サーバー側のデフォルトは models です。
category	codecategories、uicomponent、gamedev、3d、dataviz、image、video、svg など	Design Arena のみ。
max_results	正の整数	API が返す行の最大数です。

meta.citation、meta.source_url、meta.as_of は必ず保持してください。ベンチマークデータを再公開する場合は、出典を明記してください。

結果に両方のソースが含まれる場合、単一の絶対的なランキングとして提示しないでください。Artificial Analysis のインデックスと Design Arena の ELO では尺度が異なります。各ソース内で比較するか、source=artificial-analysis または source=design-arena を指定して、ソースごとのランキングを再実行してください。

結果の解釈

• Artificial Analysis の行には intelligence_index、coding_index、agentic_index が含まれます。値が大きいほど優れています。
• Design Arena の行には elo、win_rate、avg_generation_time_ms、arena、category、tournament_stats が含まれます。elo／win_rate は値が大きいほど優れており、生成時間は値が小さいほど高速です。
• pricing.prompt と pricing.completion は、トークンあたりの USD を小数文字列で表したものです。トークン 100 万個あたりの料金を求めるには、1,000,000 を掛けてください。
• model_permaslug は、ベンチマーク対象のモデルエントリーを識別します。チャット／補完モデル ID として使用する前に、GET /api/v1/models で確認してください。
• meta.model_count はレスポンス内の一意なモデル数を数えます。複数の Design Arena カテゴリが返される場合、data.length とは異なることがあります。

API の直接呼び出し

curl 'https://openrouter.ai/api/v1/benchmarks?source=artificial-analysis&task_type=coding&max_results=10' \
  -H "Authorization: Bearer $OPENROUTER_API_KEY"

生の API を使用する実装や、ソース固有のレスポンス形式を扱う場合は、references/benchmarks-api.md をお読みください。