mcpField
L
llmledger

llmledger

本地服务
github.com/pouriaetabAI 与智能体01 周前更新

关于 llmledger

llmledger 是本地运行的 MCP 服务,用于比较 AI 模型价格、Arena 任务评分和价格历史。开发者和团队可借助更新的数据评估模型选择、成本及运行时间;运行时间估算使用本地记录的数据。

主要功能

  1. 01按任务评分和价格比较模型
  2. 02估算 API 与使用成本
  3. 03追踪价格变化及走势
  4. 04根据运行记录估算耗时
  5. 05分析 promptfoo 和用量导出文件
  6. 06每日更新并支持离线数据

适用场景

  1. 01为项目选择模型
  2. 02比较预期调用量的成本
  3. 03估算批处理任务的成本和时长
  4. 04按其他模型重新计算历史用量

MCP 相关

向 MCP 客户端提供模型比较工具、数据快照资源和模型选择提示词。本地 stdio 服务读取更新后的 llmledger 数据,并附带离线数据。

配置

本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。

mcp.json · 通用配置
{
"mcpServers": {
"pouriaetab-llmledger": {
"command": "uvx",
"args": [
"llmledger-mcp"
]
}
}
}
启动命令uvx llmledger-mcp

本地服务需要在你的电脑上安装运行环境(如 Node.js 18+)。各客户端的配置文件位置不同,请参考客户端文档。

安装包
pypillmledger-mcp0.2.0

工具

6

收录的工具列表 · 更新于 1 周前

参数类型必填说明
taskenum否Arena 评定的工作类型overall | coding | math | creative_writing | instruction_following | hard_prompts | longer_query | multi_turn | expert | business | legal | medicine | science | software | writing | media | chinese | french | german | japanese | korean | russian | spanish | vision | document | webdev
limitinteger否
makerany否仅限此厂商,例如 anthropic 或 openai
needsarray否模型必须具备的能力
min_contextany否模型必须接受的最小提示词长度,以 token 计
max_output_priceany否最高回答价格,美元/百万 token

详细介绍

llmledger-mcp

在工作过程中,随时询问 Claude(或 Cursor、ChatGPT 桌面版,或任何支持 MCP 的应用)该使用哪个 AI 模型,以及费用是多少。答案来自 llmledger: LiteLLM 的公开价格目录、Arena 按任务分类的评分,以及自 2023 年以来的所有价格变化和价格下次变动的可能性。每天重建。

安装

需要 uv。无需托管,也无需密钥:该插件在你的电脑上运行,并从 llmledger 页面读取每日数据,缓存一天;同时附带一份数据副本,供离线使用。

Claude Code:

claude mcp add llmledger -- uvx llmledger-mcp

Claude Desktop(Settings、Developer、Edit config)或 Cursor(.cursor/mcp.json):

{
  "mcpServers": {
    "llmledger": { "command": "uvx", "args": ["llmledger-mcp"] }
  }
}

LiteLLM 代理可以通过其 MCP 网关,以使用相同命令的 stdio 服务形式,将其提供给整个团队。

相同的答案也以 Agent Skill 的形式提供,在使用前占用的 Agent 上下文要少得多,而且只需要 Python:仓库中的 skills/llmledger 文件夹, https://github.com/pouriaetab/llmledger/tree/main/skills/llmledger 在 Claude Code 中:/plugin marketplace add pouriaetab/llmledger,然后运行 /plugin install llmledger@llmledger。

你可以询问什么

工具示例
suggest_for_project“这个项目该用哪个模型和投入程度?”并附上起始提示词;pay 可以设为 claude 或 chatgpt,以便在同一套餐内比较
compare_models“用于编码,Opus 5.5 和 Fable 5.1 哪个更好?Fable 什么时候更便宜?”
estimate_cost“这三个模型每天处理 2,000 次调用,每次输入 10K 个 token、输出 1K 个 token,费用是多少?”;还可以提供 cached_tokens 和 cache_write_tokens,了解缓存能节省多少费用
find_models“每百万个回答 token 低于 $10、评分最高且能读取图像的编码模型”;也可以提供 name,查询某个模型及所有列出该模型的服务商
price_history“Claude Opus 5.5 的价格变过吗?近期再次变动的可能性有多大?”;提供 date 后可询问“3 月 1 日的价格是多少?”每次变动都会链接到其对应的 LiteLLM 变更
not_yet_priced“Arena 上哪些新模型还没有价格?通常要等多久才会有价格?”
estimate_time“通过 API 使用 Opus 5.5,每次输入 2K 个 token、输出 600 个 token,并发 4 个任务时,处理 5,000 次调用要多久?”根据你自己的运行记录估算
log_run“我测了这次调用:输入 2,100 个 token、输出 640 个 token、耗时 9.2 秒”,也可以提供 promptfoo 结果文件;数据只保存在你的电脑上
forecast_job“这是我 5,000 项测试中的 20 项 promptfoo 运行结果:整个任务在每个模型上的费用和耗时是多少?我该选哪个?”仅读取文件
local_or_cloud“我该花 $2,000 买台电脑,在家运行 llama3.1:8b,还是继续使用 GPT-6.1,每月调用 30,000 次?”本地模型的速度根据你自己的运行记录估算,电费根据 EIA 数据或你的电价计算
price_my_usage“这是我的 ccusage session --json(或 codeburn export -f json)文件:上个月的工作如果使用其他模型,各自会花多少钱?哪些模型能以更低成本保持质量?差距真实吗?”按每次会话当天的价格计算,采用适用于相应工作类型的 Arena 评分,为每次会话提供 95% 区间;仅使用 token 数量

此外还提供一个资源 llmledger://snapshot(数据日期和来源)以及一个提示词 pick_a_model。

重要提示

  • 费用和评分均为估算值。Arena 评分反映的是人们更偏好哪些答案,并不代表哪些答案最适合你。套餐用量(Claude、ChatGPT)按套餐用量与 API 价格同步递减来估算,因为套餐没有公布各模型的用量限制。本内容不构成财务或采购建议。
  • 工作量等级来自 LiteLLM;建议等级仅供参考。目前还没有开源项目衡量各工作量等级下每项任务的 token 用量。
  • 目录中的许多价格变更是在修正错误条目,而非调整价格:在一个带标签的样本中,首次价格变更约有 10 次中的 6 次属于此类情况。price_history 会说明每次变更标记的含义(可能是修正、单位修正或撤销变更),并指出这类变更中有多少属于修正。
  • 每个答案都会注明数据日期。当数据已有 3 天或更久时,答案会特别说明。
  • price_my_usage 会根据你自己的 token 用量为其他模型估算价格;其他模型对同一项工作的 token 化方式略有不同(通常相差 10% 到 20%),回答长度也可能不同。对你使用过的模型进行比较时,会使用各模型各自处理过的会话,而这些会话并非相同的工作;答案会说明这一点。没有缓存价格的模型会按输入价格计算缓存 token,用量行中也会注明。
  • 时间数据仅来自你自己的运行记录(以及样本中 forecast_job 的计时调用),始终同时提供常见耗时和较慢时的耗时。模型答对的频率是指其通过样本检查的比例,并附有 95% 范围;测试只有 20 项时,范围较宽,答案会说明何时无法区分两个模型的表现。
  • 插件读取的内容:传给 suggest_for_project 的提示词只会用于计数并与词表匹配;promptfoo 结果文件(log_run、forecast_job)只会读取数字和名称(提供商 ID、延迟、token 计数、通过或失败),其中的提示词、答案和评分文本绝不会被传出或作为指令处理;ccusage 或 codeburn 导出文件(price_my_usage)只会读取模型名称、日期、会话 ID 和 token 计数,绝不会读取项目路径或文件名。计时运行数据只会以数字形式保留在你的计算机上。唯一的网络调用是每日下载 data.json。
  • 将 LLMLEDGER_DATA 设置为本地的 data.json 或其他地址,即可使用你自己的副本。

数据与许可证

价格:LiteLLM 的 model_prices_and_context_window.json(MIT)。评分:Arena 排行榜 (CC BY 4.0)。电力数据:美国能源信息署的《Electric Power Monthly》 (公有领域)。价格历史和展望:llmledger(MIT)。 使用 FastMCP(Apache-2.0)构建。独立项目;与 BerriAI、LiteLLM 或 Arena 均无关联。

评论

支持 Markdown

第一次接触 MCP?

从协议是什么,到在客户端里装上第一个服务,这几条回答覆盖了大多数入门问题。

一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。