llmtrim

# Linux / macOS
curl -fsSL https://raw.githubusercontent.com/fkiene/llmtrim/main/install.sh | sh

# Windows (PowerShell)
irm https://raw.githubusercontent.com/fkiene/llmtrim/main/install.ps1 | iex

# Package managers
brew install fkiene/tap/llmtrim
cargo binstall llmtrim
scoop install llmtrim
docker run -d -p 43117:43117 -v llmtrim-state:/data ghcr.io/fkiene/llmtrim

オプションの詳細：INSTALL.md。

節約額を同じように表示するメニューバー／システムトレイのポップオーバーです。Homebrew、Scoop、npm に同梱されています。setup でログイン時に開くよう設定できます。llmtrim tray で開きます。Linux デスクトップでは、対話型の ensure により、最新リリースからトレイバイナリを取得できます（libwebkit2gtk-4.1 と libayatana-appindicator3 が必要です）。

mitmproxy と同じ手法を、LLM API ホストのみに限定して使用します。setup は3つの項目を変更します。llmtrim uninstall を実行すると、すべて元に戻ります。

1. ~/.llmtrim/ 内のプライベート CA（名前制約付き。銀行やメールの通信を傍受できません）
2. シェル環境変数：HTTPS_PROXY と CA の信頼設定
3. ログイン時に起動するデーモンのサービス

API キーは保存されません（お使いのツールの認証情報は転送されます）。プロンプトがディスクに保存されることはなく、匿名化されたトークン数のみが扱われます。復元可能なツールの結果は、デフォルトで最大5時間、制限付きのデーモン RAM に保持され、再起動すると消去されます。脅威モデルの詳細：SECURITY.md。

llmtrim ca
openssl x509 -in ~/.llmtrim/ca.pem -noout -text | grep -A3 "Name Constraints"

各段階は、削減効果の高い順に実行されます。cache_controlマーカーの下にあるものは書き換えられません。

デフォルトのautoでは、各段階を効果がある場合にのみ有効にします。safeでは、情報損失のない処理だけを実行します。設定 →

Claude Code を Anthropic の代わりに CLIProxyAPI 経由で実行するか、現在の経路が失敗した場合のフォールバック経路として使用します。ログインには CLIProxyAPI の TUI を使います。プロバイダーの利用規約に適合するかどうかは、ご自身で判断してください。

llmtrim sub on                  # install + start CLIProxyAPI, enable redirect
llmtrim sub on grok             # write opus/sonnet/haiku/fable → that CLI's models
llmtrim sub auth                # CLIProxyAPI TUI — sign in
llmtrim sub models              # official + live sidecar models
llmtrim sub map on opus grok-4.6
llmtrim sub chain anthropic,codex
llmtrim sub mode fallback       # try hops in order when the current one fails
llmtrim sub status
llmtrim sub off

対話操作：llmtrim status → タブ 4 Sub — Off / Always / Fallback を選択し、e で入力→出力のマップを編集します（入力して CLIProxyAPI のカタログ を検索します。s で保存、a で追加、d で削除）。[ ] でフォールバックの最初のホップを切り替えます。 llmtrim update は、CLIProxyAPI を使用している場合、CLIProxyAPI も更新します。既存のインスタンスを使う場合は、LLMTRIM_CLIPROXY_URL をそのインスタンスに設定すると、管理対象のサイドカーをスキップできます。

親ウィンドウはそのままに、委譲された Claude Code サブエージェントだけをルーティングするには、次のようにします。

llmtrim agents install          # also installed/refreshed by setup, update, and ensure

その後、自然な言葉で指示します：Implement it using a Grok subagent、use Terra、または review this with GPT Terra。プロバイダーのみを指定するエージェントは、設定されたマッピングを通じて子のリクエストの Claude ティアを維持します。モデルを明示したエージェントは、そのプロバイダーのモデルに固定されます。リクエスト単位のエージェントは、自身のリクエストに限り、ウィンドウの /sub とグローバルポリシーを上書きします。llmtrim agents uninstall は llmtrim が所有するエージェントファイルのみを削除し、オプトアウトを記録するため、ensure を実行してもファイルは再作成されません。

このウィンドウのみ（ensure でインストールされ、サブエージェントを含み、/clear 後も有効です）：

/sub on [optional:cli-or-model]  # gemini, codex, claude, grok, kimi, vertex, qwen, copilot, or a model id
/sub off
/sub status

サイドカー：~/.llmtrim/cliproxy/（バイナリ＋設定）。認証情報：~/.cli-proxy-api が存在する場合はそこに、それ以外は ~/.llmtrim/cliproxy/auth に保存されます。環境変数：LLMTRIM_SUB、LLMTRIM_SUB_MODE、LLMTRIM_CLIPROXY_URL、LLMTRIM_CLIPROXY_KEY。

Anthropic /login と claude.ai コネクターについて： グローバルの sub が always モードの場合、デフォルトでは llmtrim がダミーの ANTHROPIC_AUTH_TOKEN を ~/.claude/settings.json に書き込みます（claude-code-proxy の ANTHROPIC_AUTH_TOKEN=unused と同じ考え方です）。これにより、Claude Code で有効な Anthropic OAuth セッションが不要になります。MITM はこのダミートークンを取り除き、/v1/messages を CLIProxyAPI に送信します。メッセージ以外の Anthropic プローブにはローカルで応答するため、401 Invalid bearer token が返されることはありません。

Claude Code は API キーによる認証を claude.ai ログインより優先するため、ダミートークンが設定されている間は claude.ai コネクターが無効になります。これは想定された動作です。コネクターを有効にしたままにし（セッションの期限切れ時に Anthropic /login を受け入れるには）、次のようにします。

llmtrim sub anthropic-login keep   # connectors OK; Anthropic login required
llmtrim sub anthropic-login skip   # default: no Anthropic /login; connectors off

設定変更を反映するには、sub on／sub off／sub mode／sub anthropic-login の実行後に Claude Code を再起動してください。最初のホップが「使用中のもの」となるフォールバックでは、引き続き有効な Anthropic ログインが必要です。

echo '{"model":"gpt-4o","messages":[...]}' | llmtrim compress --provider openai > out.json
echo '{"model":"gpt-4o","messages":[...]}' | llmtrim send --provider openai

use llmtrim_core::{compress, ir::ProviderKind};
let out = compress(request_json, Some(ProviderKind::OpenAi))?;

import llmtrim
out = llmtrim.compress(request_json, llmtrim.Provider.OPEN_AI, "aggressive")

import { compress } from "@llmtrim/js";
const out = compress(requestJson, "openai", "aggressive");

バインディングと WASM に関する注意事項：crates/llmtrim-uniffi · crates/llmtrim-wasm。

llmtrim mcp install          # Claude Code
llmtrim mcp install --print  # paste into any client

{
  "mcpServers": {
    "llmtrim": { "command": "llmtrim", "args": ["mcp"] }
  }
}

ツール：llmtrim_compress、llmtrim_compress_text、llmtrim_stats（status と同じ台帳を使用します）。

auto はリクエストの形状に応じてこれらを組み合わせるため、ほとんどのユーザーは個別に設定する必要はありません。トラフィックの特性が分かっていて、形状の検出を省略したい場合は、いずれかを選択してください。

各ステージは設定フラグで個別に調整できます。preset は個々のフラグより優先されます。全項目の一覧は長いため、config.rs のフィールド一覧を確認するか、llmtrim compress --help を実行してください。特に便利な設定項目は次のとおりです。

環境変数：LLMTRIM_PRESET（プリセット）、LLMTRIM_CONFIG（設定ファイルのパス）。

これらの設定項目は圧縮とは独立しています。それぞれ環境変数を優先し、次に設定ファイルから値を読み込むため、用途に合う方を設定してください。両方が指定されている場合は環境変数が優先されます。

extra_hosts には完全一致するホスト名を指定してください（llm.acme.com のように指定し、acme.com のようなドメイン単体は指定できません）。各ホスト名の追加によって、名前制約付きMITM CAの対象範囲が広がります。CAは次回起動時に、それらを対象に含むよう自動的に再生成されます。

export LLMTRIM_UPSTREAM_PROXY=http://host:port
# or with auth: http://user:pass@host:port  (redacted in logs)

外部への呼び出しには、検証付きTLSによる CONNECT を使用します。上流プロキシから見えるのは暗号化されたストリームのみです。 llmtrim自身のリッスンアドレスへのループバックは拒否されます。この変数は、対話型シェルだけでなく、デーモンの起動環境（launchd ／ systemd）に設定してください。プロファイルのシークレットは平文で保存されます。

別のポートで動作する関連ツール（例：headroom）は問題なく使用できます。

標準的な学術ベンチマークでも、保守的な形状一致プリセット（qwen3-next-80b、対応のある95%信頼区間）を使って同じ A/B テストを実施しました。品質は元のリクエストと圧縮後のリクエストのスコアです。GSM8K は上記のフロンティアから取得（n=12）、残りの3つは読者が比較対象とする名称付きベンチマークです（各 n=20）：

品質を落とさずに圧縮できたのは3行で、低下が見られたのは GSM8K です：

• BFCL では、クエリに不要なツールスキーマを削除します（呼び出しごとに候補が2～37個）。
• SQuAD v2 では、回答不能な質問にも引き続き正しく回答します。
• TruthfulQA では、事実の正確性を完全に維持します。約75トークンのプロンプトはほとんどが回答テキストのため、安全なプリセットでは削減できるものが見つかりません。
• GSM8K では、精度を −8pp 犠牲にしてコストを −71% 削減します。推論用プリセットを有効にする前に、ワークロードごとに測定してください。¹入力がマイナスになっているのは、このプリセットが Chain-of-Draft 指示を追加し、その効果が出力側に現れるためです（上のフロンティア表を参照）。

エビデンスと再現用の1行コマンド（名称付きベンチマークのスナップショット）：

make -C crates/llmtrim-cli/bench data
(cd crates/llmtrim-cli && cargo run -q --features live -- bench quality \
   --corpus bench/data/squad2.jsonl --preset rag \
   --model qwen/qwen3-next-80b-a3b-instruct --route "" --n 20)

手法、コーパスごとのフロンティア、信頼区間については、crates/llmtrim-cli/bench/README.mdを参照してください。再現するには：

make -C crates/llmtrim-cli/bench data   # pull real corpora (gsm8k, humaneval, dolly, hotpotqa, …)
(cd crates/llmtrim-cli && cargo run -q --features live -- bench suite)  # live A/B across all corpora (needs OPENROUTER_API_KEY)
(cd crates/llmtrim-cli/bench/scripts && PYTHONPATH=. python3 -m benchkit.tools.chart)  # regenerate the chart + table

比較

各ツールはリクエストの一部分を圧縮します。llmtrim は入力と出力を圧縮し、プロンプトキャッシュを安定させるためにキャッシュ済みプレフィックスはそのまま維持します。また、削除したトークン数ではなく、圧縮後も回答が保たれるかどうかで評価します。以下の両方の軸では o200k_base エンコーダーを使用しており、このリポジトリから再現できます。

入力

ライブ A/B テストで測定した回答品質と並べた、入力の削減率（決定論的）です。品質は、各ツールの比較設定における llmtrim からの低下を示します（✅ 維持。統計的に同等、❌ 有意に低下）。そのため、削減率が大きくても❌が付いている場合、そのツールは回答の質を犠牲にしてトークンを節約しています。

オーバーヘッドは、呼び出しごとの圧縮時間の中央値です（Python の実時間で、同条件の CPU 比較ではありません）。ここでは Headroom と leanctx は CPU 上で ML を実行しており（GPU ではより高速です）、これに加えてモデルの初回読み込みに約3 s と約4 s かかります。llmtrim は Rust 製、entroly は字句処理のため、どちらもこの処理はありません。

• auto は品質ゲート付きのデフォルトです。aggressive は、ゲートが維持される範囲で情報損失を伴う削減を許可します。
• Headroom は ML を無効にすると削減率が0%になります（ルーターは文章に対して何もしません）。
• leanctx と entroly は品質ゲートのない情報損失を伴う方式です。entroly には削減率を抑えるモードがありません。

削減率を揃えた条件（24-25%、n=30、有意差なし）では Headroom の品質は同等ですが、回答が長くなり、モデルの出力トークン上限に達して llmtrim の2回に対し12回切り詰められます。これがコスト増につながる出力の肥大化の原因です。leanctx（26%で測定）と entroly（最も穏やかな設定の69%）は llmtrim より有意に低いスコアとなり（n=20）、それぞれの代表的な削減率ではさらに低下します（vs-leanctx、vs-entroly）。

出力

9件のコーディング用プロンプトで有料のライブ呼び出しを行い、より簡潔な回答を求めた場合の出力削減率です。

コストは、caveman がリクエストのたびに再送する949トークンのシステムプロンプトです（右列）。llmtrim のコストは19トークンで、ほぼ同じ削減率を実現します。どちらもここでは総合的に節約できるため、caveman の削減幅がより大きいという利点を生かせるのは、削除する出力が、追加される949トークンを上回る価値を持つ場合だけです（vs-caveman の成果物）。

ツールは組み合わせて使えます。まず RTK が CLI 出力を縮小し、その上から llmtrim がツールスキーマを圧縮します。詳細な比較については、crates/llmtrim-cli/bench/README.mdをご覧ください。

既知の制限事項

節約効果を実証する同じ A/B テストで、次の制限事項も確認されています。

• Anthropic / Gemini のトークン数は概算です。 正確なトークナイザーが公開されていないため、BPE による近似値を使用し、status でその旨を示します。OpenAI では正確に計測されます。
• 出力の節約量はライブでは測定されません。 近似処理で圧縮するのは入力です。出力の節約量を測るには A/B の反実仮想が必要で、これはオフラインベンチマークでのみ実行されます。status の「saved」は入力側の値です。
• デフォルトは品質ゲート付きであり、情報を完全には保持しません。 情報損失を伴う段階が実行されるのは、評価で品質が維持されると確認された場合のみです。バイト単位で忠実な往復変換が必要な場合は、safe プリセットを使用してください。
• 「情報損失なし」とは入力側のことであり、応答の復元を意味しません。 情報損失のない段階では、モデルが読み取る情報を保持します（ログの連続部分をまとめる、配列を TOON 形式でエンコードする、モデルがプロンプト内で解釈する略語一覧を付けるなど）。また、トークンゲートにより、効果のない入力削減は元に戻されます。エンジンがモデルの応答を元の形式に変換し直すことはありません。

謝辞

各コンプレッサーは、公開された研究を忠実に実装したものです。アイデアは研究者のものであり、エンジニアリングとトークンゲートは私たちのものです。

問題を見つけましたか？

llmtrim doctor          # diagnose
llmtrim doctor --fix     # diagnose + apply repairs
llmtrim ensure          # same repair path

失敗した各チェックに、修正方法が示されます。リクエストが改変されてしまった場合は、LLMTRIM_CAPTURE_DIR を設定し、変更前と変更後のペアを添えて issue を作成してください。

llmtrim によって費用を節約できた場合は、⭐ を付けると、ほかの人にも見つけてもらいやすくなります。

スター履歴

_{MPL-2.0に基づきライセンスされています。商用利用を含め、llmtrimを自由にスタックでご利用いただけます。ご自身のコードを公開する義務はありません。ファイル単位のコピーレフトは、llmtrim自体のソースファイルに加えた変更にのみ適用されます。DCOによるサインオフを通じてコントリビューションできます。}