llmledger について
llmledger は、AI モデルの価格、Arena のタスク別評価、価格履歴を比較するローカル MCP サーバーです。開発者やチームが更新データを使ってモデル、費用、実行時間を検討でき、時間の推定には記録した実行結果を利用します。
主な機能
- 01タスク評価と価格でモデルを比較
- 02API と利用費用を推定
- 03価格変化と見通しを追跡
- 04実行記録から所要時間を推定
- 05promptfoo と利用量のエクスポートを分析
- 06毎日更新しオフラインデータも同梱
活用シーン
- 01プロジェクトに使うモデルを選定
- 02想定呼び出し数の費用を比較
- 03バッチ処理の費用と所要時間を推定
- 04過去の利用量を別モデルで再計算
MCP 対応
モデル比較ツール、データスナップショットのリソース、モデル選択のプロンプトを MCP クライアントに提供します。ローカルの stdio サーバーが更新データを読み込み、オフライン用データも同梱します。
設定
ローカルサーバーの設定はどのクライアントでも共通です。コピーしてクライアントの MCP 設定ファイルに貼り付けてください。
ツール
6掲載時のツール一覧 · 1 週間前に更新
| パラメーター | 型 | 必須 | 説明 |
|---|---|---|---|
| task | enum | いいえ | Arena が評価する作業の種類overall | coding | math | creative_writing | instruction_following | hard_prompts | longer_query | multi_turn | expert | business | legal | medicine | science | software | writing | media | chinese | french | german | japanese | korean | russian | spanish | vision | document | webdev |
| limit | integer | いいえ | |
| maker | any | いいえ | このメーカーのみ。例:anthropic または openai |
| needs | array | いいえ | モデルに必要な機能 |
| min_context | any | いいえ | モデルが受け付ける必要がある最小プロンプト長(トークン数) |
| max_output_price | any | いいえ | 回答価格の上限(100 万トークンあたりのドル) |
詳細
llmledger-mcp
作業中に、Claude(または Cursor、ChatGPT desktop、MCP に対応した任意のアプリ)に、どの AI モデルを使うべきか、費用はいくらかを尋ねられます。回答の情報源は llmledger です。LiteLLM の公開価格カタログ、タスク別の Arena 評価、2023 年以降のすべての価格変更と、次に価格が変更される可能性を参照します。毎日再構築されます。
インストール
uv が必要です。ホストもキーも不要です。このプラグインはお使いのコンピューター上で実行され、その日のデータを llmledger ページから読み込みます。データは 1 日キャッシュされ、オフライン利用向けに同梱データもあります。
Claude Code:
claude mcp add llmledger -- uvx llmledger-mcp
Claude Desktop(Settings、Developer、Edit config)または Cursor(.cursor/mcp.json):
{
"mcpServers": {
"llmledger": { "command": "uvx", "args": ["llmledger-mcp"] }
}
}
LiteLLM プロキシでは、同じコマンドを使う stdio サーバーとして MCP ゲートウェイ経由でチーム全体に提供できます。
同じ回答をエージェントスキルとしても利用できます。使用されるまでエージェントのコンテキストを大幅に節約でき、Python だけで動作します。リポジトリ内の skills/llmledger フォルダーをご覧ください。
https://github.com/pouriaetab/llmledger/tree/main/skills/llmledger
Claude Code では、/plugin marketplace add pouriaetab/llmledger を実行し、続けて /plugin install llmledger@llmledger を実行します。
質問できること
| ツール | 例 |
|---|---|
suggest_for_project | 開始時のプロンプトとともに「このプロジェクトにはどのモデルとエフォートが適していますか?」。プラン内で比較するには、pay に claude または chatgpt を指定できます |
compare_models | 「コーディングには Opus 5.5 と Fable 5.1 のどちらが適していますか?また、Fable が安くなるのはいつですか?」 |
estimate_cost | 「これら 3 つのモデルで、1 日 2,000 回、入力 10K トークン、出力 1K トークンの場合、費用はいくらですか?」。cached_tokens と cache_write_tokens を指定すると、キャッシュによる節約額もわかります |
find_models | 「画像を読み取れる、回答トークン 1M あたり 10 ドル未満の評価が最も高いコーディングモデル」。または name を指定すると、そのモデルを掲載しているすべてのホストとともに検索できます |
price_history | 「Claude Opus 5.5 の価格は変わりましたか?近いうちに変わる可能性はどのくらいですか?」。date を指定して「3 月 1 日の価格はいくらでしたか?」とも尋ねられます。各変更から、その根拠となった LiteLLM の変更にリンクします |
not_yet_priced | 「Arena に登場したばかりで、まだ価格が設定されていないモデルはどれですか?通常、価格が設定されるまでどのくらいかかりますか?」 |
estimate_time | 「API 経由で Opus 5.5 を使い、入力 2K トークン、出力 600 トークンの呼び出しを 5,000 回、同時に 4 件ずつ実行すると、どのくらい時間がかかりますか?」。実際の実行結果をもとに推定します |
log_run | 「この呼び出しの時間を計りました。入力 2,100、出力 640、9.2 秒です」、または promptfoo の結果ファイル。データはお使いのコンピューター内にのみ保存されます |
forecast_job | 「私が実行した 5,000 件のテストのうち、promptfoo の 20 件分の実行結果はこちらです。各モデルで全テストを実行した場合の費用と時間、選ぶべきモデルを教えてください」。ファイルを読み取るだけです |
local_or_cloud | 「自宅で llama3.1:8b を動かすために 2,000 ドルのコンピューターを買うべきですか?それとも、月 30,000 回の呼び出しで GPT-6.1 を使い続けるべきですか?」。ローカルモデルの速度はご自身の実行結果を、電気料金は EIA またはご自身の料金をもとにします |
price_my_usage | 「私の ccusage session --json(または codeburn export -f json)ファイルはこちらです。先月の作業をほかの各モデルで行った場合の費用、品質を保ちながら安くできるモデル、そしてその差が実際にあるのかを教えてください」。各セッションにその日の価格を適用し、その作業に応じた Arena 評価と、セッションごとの 95% 範囲を示します。トークン数のみを使用します |
さらに、リソース llmledger://snapshot(データの日付と情報源)と、プロンプト pick_a_model があります。
知っておくとよいこと
- コストと評価は推定値です。Arena の評価が示すのは、どの回答が人々に好まれたかであり、あなたにとって最適なものではありません。プラン利用(Claude、ChatGPT)の試算では、プランにモデルごとの上限が公開されていないため、API 料金に合わせてプランの利用枠が減ると仮定しています。財務または調達に関する助言ではありません。
- 労力度は LiteLLM に基づいており、推奨レベルは大まかな目安です。現時点で、労力度ごとにタスクあたりのトークン数を測定するオープンソースの手段はありません。
- カタログの価格変更の多くは、価格の変更ではなく誤った項目の修正です。ラベル付きサンプルでは、最初の価格変更の約 10 件中 6 件が該当します。
price_historyでは、変更時の各フラグの意味(修正の可能性が高い、単位の修正、取り消された変更)と、そのような変更が修正だった頻度を確認できます。 - すべての回答にデータの日付が含まれます。データが 3 日以上前の場合は、回答でそのことを示します。
price_my_usageは、あなた自身のトークン数を使って他のモデルの料金を算出します。同じ作業でも別のモデルではトークン化の方法が少し異なり(通常は 10〜20%以内)、回答の長さも変わる場合があります。使用したモデルの比較には、各モデルが処理したセッションを使いますが、同じ作業ではなく、そのことは回答にも記載されます。キャッシュ料金が設定されていないモデルでは、キャッシュトークンを入力料金で計算し、そのことを行に記載します。- 所要時間は、あなた自身の実行(および
forecast_jobのサンプルで計測された呼び出し)のみを使用し、通常の所要時間と遅い日の所要時間を常に示します。モデルが正解した頻度は、サンプルのチェックに合格した割合を 95%の範囲とともに示します。テストが 20 件の場合、その範囲は広くなり、2 つのモデルに差があると判断できない場合は回答でそのことを示します。 - プラグインが読み取る内容:
suggest_for_projectに渡されたプロンプトは、単語リストとの照合と件数の集計にのみ使用されます。promptfoo の結果ファイル(log_run、forecast_job)から読み取るのは数値と名前(プロバイダー ID、レイテンシー、トークン数、合否)のみです。ファイル内のプロンプト、回答、採点者のテキストが送信されたり、指示として扱われたりすることはありません。ccusage または codeburn のエクスポート(price_my_usage)から読み取るのは、モデル名、日付、セッション ID、トークン数のみで、プロジェクトのパスやファイル名は読み取りません。計測した実行のデータは数値としてあなたのコンピューター上に保存されます。ネットワークへの接続は、毎日のdata.jsonのダウンロードのみです。 LLMLEDGER_DATAにローカルの data.json または別のアドレスを設定すると、独自のコピーを使用できます。
データとライセンス
料金:LiteLLM の model_prices_and_context_window.json(MIT)。評価:Arena リーダーボード(CC BY 4.0)。電力:米国エネルギー情報局の Electric Power Monthly(パブリックドメイン)。料金履歴と見通し:llmledger(MIT)。FastMCP(Apache-2.0)を使用して構築。独立したプロジェクトであり、BerriAI、LiteLLM、Arena とは提携していません。
コメント
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。