LLM Latency Tracker

📊 LLM 延迟追踪器

测量各地区的 AI API 延迟和正常运行时间，并将结果作为开放数据发布。

🌐 实时排名 · JSON API · MCP 端点

⚡ 功能介绍

• 🌍 区域测量 — 通过分布式探测节点比较服务提供商的响应时间和可用性。
• ⏱️ 两种探测类型 — 网络首字节时间（TTFB）和可选的推理首 Token 时间（TTFT）。
• 📈 开放数据集 — 每日排名、历史快照和区域 p50 / p95 统计数据。
• 🤖 Agent 访问 — JSON API、MCP、Markdown 页面和 llms.txt 索引。
• 🗓️ 模型生命周期 — 弃用日历，并附有指向服务提供商公告的链接。

🔧 专为测量打造

• 基于 Python 标准库的核心，用于边缘探测；推理探测需要服务提供商密钥。
• SQLite 存储和区域聚合，远程节点会将测量数据发送到中央节点。
• 静态发布网站和 JSON 数据集。
• CI 检查用于测试和 lint；发布的快照包含测量日期。

**如何解读结果：**边缘 TTFB 测量的是网络/API 响应能力，而非模型生成速度。请将其与推理 TTFT 分开比较；结果取决于地区、探测类型和时间窗口。

🚀 快速开始

无需安装任何内容即可使用公开数据：

curl https://llmlatency.dev/api/rankings.json

或者使用 Python 3.12+ 在本地运行边缘探测：

git clone https://github.com/mazamaka/llm-latency-tracker.git
cd llm-latency-tracker
REGION=local python3 run.py
python3 aggregate.py --region local

如需通过已发布的 API 运行本地 stdio MCP 服务（仅使用标准库，无需密钥）：

python3 mcp_server.py

工具：get_ai_api_latency（按地区查看服务提供商排行榜）、get_provider_latency（查看单个服务提供商在各地区的表现）、get_model_deprecations（模型停用日历）、get_coding_agent_health（Claude Code / Codex 的速度和准确性变化）。全部为只读工具。

推理探测、API 访问和网站生成 → · 部署 →

🧪 参与贡献

添加服务提供商、引入新的探测地区，或改进测量代码。请参阅 CONTRIBUTING.md，了解设置和检查流程。

---

Python · SQLite · JSON API · MCP · Cloudflare Pages

代码：MIT · 数据：CC-BY-4.0，使用时请注明来源 llmlatency.dev。

📈 最新每日快照

每日快照 — 2026-10-27

在 4 个地区测得 46 家 AI 推理服务提供商的延迟。方法：分布式边缘探测（DNS→TCP→TLS→TTFB）+ 推理探测（TTFT），覆盖最近 24 小时。许可证：CC-BY-4.0。

地区	最快的服务提供商（p50）	p50	p95	正常运行时间
亚洲（东京）	fireworks	23 ms	73 ms	100%
欧洲（德国）	fireworks	98 ms	201 ms	100%
南美洲（圣保罗）	openrouter	61 ms	92 ms	100%
美国（中部）	fireworks	32 ms	83 ms	100%

• 完整数据集：data/rankings/2026-10-27.json（最新数据）
• 可引用存档（DOI）：10.5281/zenodo.23388429 — 每日汇总数据，CC-BY-4.0
• Hugging Face 数据集：https://huggingface.co/datasets/llmlatency/llm-latency-tracker
• Kaggle 数据集：https://www.kaggle.com/datasets/llmlatency/llm-latency-tracker
• 已存档至 Software Heritage：swh:1:snp:2778cbabd72a70a629ee35fbd5ac536d1ccb7a9a
• Python 客户端：https://pypi.org/project/llmlatency/
• 实时排名和方法说明：https://llmlatency.dev
• 机器可读 API：https://llmlatency.dev/api/rankings.json
• 模型弃用日历：https://llmlatency.dev/deprecations

快照生成时间：2026-10-27T07:24:20Z — 此表每日重新生成。