openrouter-benchmarks

OpenRouter 基准测试

使用 OpenRouter 统一基准测试端点，回答有基准数据支持的模型排名和模型选择问题。该端点汇总 Artificial Analysis 和 Design Arena 的数据，并返回引用元数据；报告结果时应保留这些元数据。

前提条件

将 OPENROUTER_API_KEY 设置为任意有效的 OpenRouter API 密钥。基准测试不需要管理密钥。

export OPENROUTER_API_KEY=sk-or-v1-...

决策树

用户想要……	操作
查看按基准测试排名的模型及其来源	调用 GET /api/v1/benchmarks 并保留来源／引用元数据
为应用／使用场景选择模型	检查 Artificial Analysis 或 Design Arena 是否包含相关信号；如果没有直接基准测试，请说明
查找最佳编码、智能或 Agentic 模型	使用 task_type=coding、task_type=intelligence 或 task_type=agentic
仅查询 Artificial Analysis	使用 source=artificial-analysis
仅查询 Design Arena	使用 source=design-arena，并在相关时使用 arena 和 category
获取适用于集成工作的原始 API 格式数据	返回端点的原始 data／meta 结构
了解所有响应字段或直接使用 curl	阅读 references/benchmarks-api.md

如果用户需要定价、上下文长度、支持的参数、模态或提供商端点性能，但未询问基准测试排名，请改用 openrouter-models。

对于创意写作、讲故事或编辑类应用，此端点目前没有直接的写作质量基准测试。将 Artificial Analysis intelligence_index 视为较弱的通用能力信号；仅当应用会执行多步规划／修订时，才使用 agentic_index。不要暗示 Design Arena 的视觉／代码类别可以衡量散文质量。

可用性检查

在通过 models／endpoints API 检查可用性之前，不要推荐按基准测试排名的模型。基准测试条目中的 model_permaslug 可能带有日期或特定于基准测试的标识，适用于归因，但不一定是可通过 OpenRouter 路由的确切模型 ID。

推荐基准测试候选模型之前：

1. 检查 GET /api/v1/models，确认是否存在与基准测试 model_permaslug 完全匹配的 id。
2. 如果没有完全匹配的 id，但某个模型的 canonical_slug 与基准测试 model_permaslug 相同，则将该基准测试条目视为该模型系列的证据，而非可直接推荐的 ID。只有在确认模型可用后，才使用该模型实际的 id。
3. 检查 GET /api/v1/models/{author}/{slug}/endpoints，或使用 openrouter-models 的 get-endpoints.ts 检查提供商状态。
4. 优先选择至少有一个明确可用端点的候选模型。如果所有端点都处于降级状态、uptime_last_30m: 0，或 OpenRouter 模型页面／API 显示模型不可用，则将其排除在主要推荐之外，并说明该基准测试结果目前无法据此采取行动。
5. 如果可用性不明确，请如实说明，并推荐已确认可用的替代模型，而不要将基准测试排名第一的模型作为默认选择。

不要仅凭端点 status: 0 作出判断。模型级别的可用性信号，例如路由错误消息、警告消息、请求限额为零、端点列表为空或特定于提供商的访问限制，都可能导致基准测试排名第一的模型无法实际使用，即使某个端点看起来正常。如果可用性信号相互矛盾，请说明其中的不确定性，并避免将该模型作为主要推荐。

API 用法

查询参数：

标志	值	说明
source	artificial-analysis、design-arena	省略此参数会返回所有来源。
task_type	coding、intelligence、agentic	映射到来源特定的索引/类别。
arena	models、builders、agents	仅适用于 Design Arena；服务端默认值为 models。
category	codecategories、uicomponent、gamedev、3d、dataviz、image、video、svg 等	仅适用于 Design Arena。
max_results	正整数	API 返回的最大行数。

始终保留 meta.citation、meta.source_url 和 meta.as_of；重新发布基准数据时，请注明出处。

当结果包含两个来源的数据时，不要将它们呈现为同一个绝对排行榜：Artificial Analysis 指数和 Design Arena ELO 使用不同的量表。请在各自来源内进行比较，或使用 source=artificial-analysis 或 source=design-arena 重新查询，以获取特定来源的排名。

解读结果

• Artificial Analysis 的行包含 intelligence_index、coding_index 和 agentic_index；数值越高越好。
• Design Arena 的行包含 elo、win_rate、avg_generation_time_ms、arena、category 和 tournament_stats；elo/win_rate 越高越好，生成时间越短越快。
• pricing.prompt 和 pricing.completion 是以美元计价的每 Token 费用，使用十进制字符串表示。乘以 1,000,000 即可得出每百万 Token 的费用。
• model_permaslug 用于标识参与基准测试的模型条目。将其用作聊天/补全模型 ID 前，请先通过 GET /api/v1/models 验证。
• meta.model_count 统计响应中的唯一模型数量；当返回多个 Design Arena 类别时，该数量可能与 data.length 不同。

直接调用 API

curl 'https://openrouter.ai/api/v1/benchmarks?source=artificial-analysis&task_type=coding&max_results=10' \
  -H "Authorization: Bearer $OPENROUTER_API_KEY"

如果要使用原始 API 实现功能或处理特定来源的响应结构，请阅读 references/benchmarks-api.md。