关于 llmledger
llmledger 是本地运行的 MCP 服务,用于比较 AI 模型价格、Arena 任务评分和价格历史。开发者和团队可借助更新的数据评估模型选择、成本及运行时间;运行时间估算使用本地记录的数据。
主要功能
- 01按任务评分和价格比较模型
- 02估算 API 与使用成本
- 03追踪价格变化及走势
- 04根据运行记录估算耗时
- 05分析 promptfoo 和用量导出文件
- 06每日更新并支持离线数据
适用场景
- 01为项目选择模型
- 02比较预期调用量的成本
- 03估算批处理任务的成本和时长
- 04按其他模型重新计算历史用量
MCP 相关
向 MCP 客户端提供模型比较工具、数据快照资源和模型选择提示词。本地 stdio 服务读取更新后的 llmledger 数据,并附带离线数据。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
6收录的工具列表 · 更新于 1 周前
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| task | enum | 否 | Arena 评定的工作类型overall | coding | math | creative_writing | instruction_following | hard_prompts | longer_query | multi_turn | expert | business | legal | medicine | science | software | writing | media | chinese | french | german | japanese | korean | russian | spanish | vision | document | webdev |
| limit | integer | 否 | |
| maker | any | 否 | 仅限此厂商,例如 anthropic 或 openai |
| needs | array | 否 | 模型必须具备的能力 |
| min_context | any | 否 | 模型必须接受的最小提示词长度,以 token 计 |
| max_output_price | any | 否 | 最高回答价格,美元/百万 token |
详细介绍
llmledger-mcp
在工作过程中,随时询问 Claude(或 Cursor、ChatGPT 桌面版,或任何支持 MCP 的应用)该使用哪个 AI 模型,以及费用是多少。答案来自 llmledger: LiteLLM 的公开价格目录、Arena 按任务分类的评分,以及自 2023 年以来的所有价格变化和价格下次变动的可能性。每天重建。
安装
需要 uv。无需托管,也无需密钥:该插件在你的电脑上运行,并从 llmledger 页面读取每日数据,缓存一天;同时附带一份数据副本,供离线使用。
Claude Code:
claude mcp add llmledger -- uvx llmledger-mcp
Claude Desktop(Settings、Developer、Edit config)或 Cursor(.cursor/mcp.json):
{
"mcpServers": {
"llmledger": { "command": "uvx", "args": ["llmledger-mcp"] }
}
}
LiteLLM 代理可以通过其 MCP 网关,以使用相同命令的 stdio 服务形式,将其提供给整个团队。
相同的答案也以 Agent Skill 的形式提供,在使用前占用的 Agent 上下文要少得多,而且只需要 Python:仓库中的 skills/llmledger 文件夹,
https://github.com/pouriaetab/llmledger/tree/main/skills/llmledger
在 Claude Code 中:/plugin marketplace add pouriaetab/llmledger,然后运行 /plugin install llmledger@llmledger。
你可以询问什么
| 工具 | 示例 |
|---|---|
suggest_for_project | “这个项目该用哪个模型和投入程度?”并附上起始提示词;pay 可以设为 claude 或 chatgpt,以便在同一套餐内比较 |
compare_models | “用于编码,Opus 5.5 和 Fable 5.1 哪个更好?Fable 什么时候更便宜?” |
estimate_cost | “这三个模型每天处理 2,000 次调用,每次输入 10K 个 token、输出 1K 个 token,费用是多少?”;还可以提供 cached_tokens 和 cache_write_tokens,了解缓存能节省多少费用 |
find_models | “每百万个回答 token 低于 $10、评分最高且能读取图像的编码模型”;也可以提供 name,查询某个模型及所有列出该模型的服务商 |
price_history | “Claude Opus 5.5 的价格变过吗?近期再次变动的可能性有多大?”;提供 date 后可询问“3 月 1 日的价格是多少?”每次变动都会链接到其对应的 LiteLLM 变更 |
not_yet_priced | “Arena 上哪些新模型还没有价格?通常要等多久才会有价格?” |
estimate_time | “通过 API 使用 Opus 5.5,每次输入 2K 个 token、输出 600 个 token,并发 4 个任务时,处理 5,000 次调用要多久?”根据你自己的运行记录估算 |
log_run | “我测了这次调用:输入 2,100 个 token、输出 640 个 token、耗时 9.2 秒”,也可以提供 promptfoo 结果文件;数据只保存在你的电脑上 |
forecast_job | “这是我 5,000 项测试中的 20 项 promptfoo 运行结果:整个任务在每个模型上的费用和耗时是多少?我该选哪个?”仅读取文件 |
local_or_cloud | “我该花 $2,000 买台电脑,在家运行 llama3.1:8b,还是继续使用 GPT-6.1,每月调用 30,000 次?”本地模型的速度根据你自己的运行记录估算,电费根据 EIA 数据或你的电价计算 |
price_my_usage | “这是我的 ccusage session --json(或 codeburn export -f json)文件:上个月的工作如果使用其他模型,各自会花多少钱?哪些模型能以更低成本保持质量?差距真实吗?”按每次会话当天的价格计算,采用适用于相应工作类型的 Arena 评分,为每次会话提供 95% 区间;仅使用 token 数量 |
此外还提供一个资源 llmledger://snapshot(数据日期和来源)以及一个提示词 pick_a_model。
重要提示
- 费用和评分均为估算值。Arena 评分反映的是人们更偏好哪些答案,并不代表哪些答案最适合你。套餐用量(Claude、ChatGPT)按套餐用量与 API 价格同步递减来估算,因为套餐没有公布各模型的用量限制。本内容不构成财务或采购建议。
- 工作量等级来自 LiteLLM;建议等级仅供参考。目前还没有开源项目衡量各工作量等级下每项任务的 token 用量。
- 目录中的许多价格变更是在修正错误条目,而非调整价格:在一个带标签的样本中,首次价格变更约有 10 次中的 6 次属于此类情况。
price_history会说明每次变更标记的含义(可能是修正、单位修正或撤销变更),并指出这类变更中有多少属于修正。 - 每个答案都会注明数据日期。当数据已有 3 天或更久时,答案会特别说明。
price_my_usage会根据你自己的 token 用量为其他模型估算价格;其他模型对同一项工作的 token 化方式略有不同(通常相差 10% 到 20%),回答长度也可能不同。对你使用过的模型进行比较时,会使用各模型各自处理过的会话,而这些会话并非相同的工作;答案会说明这一点。没有缓存价格的模型会按输入价格计算缓存 token,用量行中也会注明。- 时间数据仅来自你自己的运行记录(以及样本中
forecast_job的计时调用),始终同时提供常见耗时和较慢时的耗时。模型答对的频率是指其通过样本检查的比例,并附有 95% 范围;测试只有 20 项时,范围较宽,答案会说明何时无法区分两个模型的表现。 - 插件读取的内容:传给
suggest_for_project的提示词只会用于计数并与词表匹配;promptfoo 结果文件(log_run、forecast_job)只会读取数字和名称(提供商 ID、延迟、token 计数、通过或失败),其中的提示词、答案和评分文本绝不会被传出或作为指令处理;ccusage 或 codeburn 导出文件(price_my_usage)只会读取模型名称、日期、会话 ID 和 token 计数,绝不会读取项目路径或文件名。计时运行数据只会以数字形式保留在你的计算机上。唯一的网络调用是每日下载data.json。 - 将
LLMLEDGER_DATA设置为本地的 data.json 或其他地址,即可使用你自己的副本。
数据与许可证
价格:LiteLLM 的 model_prices_and_context_window.json(MIT)。评分:Arena 排行榜
(CC BY 4.0)。电力数据:美国能源信息署的《Electric Power Monthly》
(公有领域)。价格历史和展望:llmledger(MIT)。
使用 FastMCP(Apache-2.0)构建。独立项目;与 BerriAI、LiteLLM 或 Arena 均无关联。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。