llmtrim

# Linux / macOS
curl -fsSL https://raw.githubusercontent.com/fkiene/llmtrim/main/install.sh | sh

# Windows (PowerShell)
irm https://raw.githubusercontent.com/fkiene/llmtrim/main/install.ps1 | iex

# Package managers
brew install fkiene/tap/llmtrim
cargo binstall llmtrim
scoop install llmtrim
docker run -d -p 43117:43117 -v llmtrim-state:/data ghcr.io/fkiene/llmtrim

完整选项：INSTALL.md。

菜单栏／系统托盘弹出窗口，显示相同的节省数据。已捆绑在 Homebrew、Scoop 和 npm 中；setup 可启用登录时启动。运行 llmtrim tray 打开。在 Linux 桌面上，交互式 ensure 可从最新版本获取托盘二进制文件（需要 libwebkit2gtk-4.1 和 libayatana-appindicator3）。

采用与 mitmproxy 相同的技术，但仅针对大模型 API 主机。setup 会更改三项设置；llmtrim uninstall 会还原这三项设置：

1. ~/.llmtrim/ 中的私有 CA（名称受限；无法拦截你的银行或电子邮件）
2. Shell 环境变量：HTTPS_PROXY + CA 信任
3. 登录服务：登录时启动守护进程

不会存储 API 密钥（会转发工具的身份验证信息）。提示词不会写入磁盘；仅记录匿名令牌计数。默认情况下，可恢复的工具结果会在有界的守护进程 RAM 中保留五小时，并在重启后消失。完整威胁模型：SECURITY.md。

llmtrim ca
openssl x509 -in ~/.llmtrim/ca.pem -noout -text | grep -A3 "Name Constraints"

各阶段按节省量排序运行。cache_control 标记之后的内容不会被改写。

默认情况下，auto 仅在各阶段能带来收益时启用。safe 仅启用无损功能。配置 →

通过 CLIProxyAPI 而非 Anthropic 运行 Claude Code，或在当前路径失败时将其用作备用跳转。通过 CLIProxyAPI 的 TUI 登录；请自行判断这是否符合提供商的服务条款。

llmtrim sub on                  # install + start CLIProxyAPI, enable redirect
llmtrim sub on grok             # write opus/sonnet/haiku/fable → that CLI's models
llmtrim sub auth                # CLIProxyAPI TUI — sign in
llmtrim sub models              # official + live sidecar models
llmtrim sub map on opus grok-4.6
llmtrim sub chain anthropic,codex
llmtrim sub mode fallback       # try hops in order when the current one fails
llmtrim sub status
llmtrim sub off

交互操作：llmtrim status → 选项卡 4 Sub — Off / Always / Fallback，然后按 e 编辑 输入→输出映射（输入内容以搜索 CLIProxyAPI 的目录； 按 s 保存，按 a 添加，按 d 删除）。按 [ ] 切换备用路径的首个跳转。 使用 CLIProxyAPI 时，llmtrim update 也会更新 CLIProxyAPI。将 LLMTRIM_CLIPROXY_URL 指向 现有实例即可跳过托管侧车。

仅路由委派的 Claude Code 子 Agent，同时保持父窗口不变：

llmtrim agents install          # also installed/refreshed by setup, update, and ensure

然后自然地提出请求：Implement it using a Grok subagent、use Terra，或 review this with GPT Terra。 仅指定提供商的 Agent 会通过配置的映射保留子请求的 Claude 层级；指定明确模型的 Agent 会固定使用该提供商模型。请求级 Agent 仅对自己的请求覆盖窗口 /sub 和全局策略。llmtrim agents uninstall 只会移除 llmtrim 所有的 Agent 文件，并记录退出选择，以便 ensure 不再恢复这些文件。

仅限此窗口（由 ensure 安装；包含子 Agent；/clear 后仍有效）：

/sub on [optional:cli-or-model]  # gemini, codex, claude, grok, kimi, vertex, qwen, copilot, or a model id
/sub off
/sub status

侧车：~/.llmtrim/cliproxy/（二进制文件和配置）。认证信息：如果存在 ~/.cli-proxy-api，则使用它；否则使用 ~/.llmtrim/cliproxy/auth。环境变量：LLMTRIM_SUB、LLMTRIM_SUB_MODE、LLMTRIM_CLIPROXY_URL、 LLMTRIM_CLIPROXY_KEY。

**Anthropic /login 与 claude.ai 连接器：**全局 sub 处于 always 模式时，llmtrim 默认会将一个虚拟的 ANTHROPIC_AUTH_TOKEN 写入 ~/.claude/settings.json（思路与 claude-code-proxy 的 ANTHROPIC_AUTH_TOKEN=unused 相同），这样 Claude Code 就不需要有效的 Anthropic OAuth 会话。 MITM 会剥离该虚拟令牌，并将 /v1/messages 请求发送到 CLIProxyAPI；非 messages 的 Anthropic 探测请求则在本地响应，因此不会返回 401 Invalid bearer token。

Claude Code 会将任何 API 密钥认证视为优先于 claude.ai 登录，因此设置虚拟令牌时claude.ai 连接器会被禁用。这是预期行为。若要保留连接器（并在会话过期时接受 Anthropic /login）：

llmtrim sub anthropic-login keep   # connectors OK; Anthropic login required
llmtrim sub anthropic-login skip   # default: no Anthropic /login; connectors off

执行 sub on / sub off / sub mode / sub anthropic-login 后，请重启 Claude Code，使设置更改生效。备用路径首个跳转为“当前使用的路径”时，仍需要有效的 Anthropic 登录。

echo '{"model":"gpt-4o","messages":[...]}' | llmtrim compress --provider openai > out.json
echo '{"model":"gpt-4o","messages":[...]}' | llmtrim send --provider openai

use llmtrim_core::{compress, ir::ProviderKind};
let out = compress(request_json, Some(ProviderKind::OpenAi))?;

import llmtrim
out = llmtrim.compress(request_json, llmtrim.Provider.OPEN_AI, "aggressive")

import { compress } from "@llmtrim/js";
const out = compress(requestJson, "openai", "aggressive");

绑定和 WASM 说明：crates/llmtrim-uniffi · crates/llmtrim-wasm。

llmtrim mcp install          # Claude Code
llmtrim mcp install --print  # paste into any client

{
  "mcpServers": {
    "llmtrim": { "command": "llmtrim", "args": ["mcp"] }
  }
}

工具：llmtrim_compress、llmtrim_compress_text、llmtrim_stats（与 status 使用相同的记录）。

auto 会根据每个请求的形态组合这些预设，因此大多数用户无需直接设置。了解自己的流量并希望跳过形态检测时，可选择其中一个：

每个阶段都可通过配置标志单独调整；preset 的优先级高于各项标志。完整表格较长；请参阅 config.rs 中的字段列表，或运行 llmtrim compress --help。最实用的选项：

环境变量：LLMTRIM_PRESET（预设）、LLMTRIM_CONFIG（配置文件路径）。

这些设置与压缩相互独立。每项设置都会优先读取环境变量，其次读取配置文件，因此可根据需要选择；两者同时存在时，以环境变量为准。

extra_hosts 条目必须是精确主机名（llm.acme.com，不能是单独的 acme.com）：每个条目都会扩大受名称约束的 MITM CA 的适用范围，CA 会在下次启动时自动重新生成以涵盖这些主机。

export LLMTRIM_UPSTREAM_PROXY=http://host:port
# or with auth: http://user:pass@host:port  (redacted in logs)

出站调用使用 CONNECT 和经过验证的 TLS；上游只能看到加密流量。 不允许将流量环回到 llmtrim 自身的监听地址。请将变量设置在守护进程的 启动环境中（launchd / systemd），而非仅设置在交互式 shell 中。配置文件中的密钥 以明文存储。

在其他端口上运行的配套工具（例如 headroom）可以正常使用。

在标准学术测试套件上使用保守的形状匹配预设（qwen3-next-80b，配对 95% CI）进行相同的 A/B 测试。质量分数对比原始请求与压缩请求。GSM8K 的数据来自上方的 frontier（n=12）；其余三个是读者常用来比较的指定基准（每个 n=20）：

三项在压缩时没有质量损失；GSM8K 是唯一有所下降的项目：

• BFCL 会移除查询用不到的工具架构（每次调用的候选项有 2 到 37 个）。
• SQuAD v2 对不可回答的问题仍能给出正确答案。
• TruthfulQA 的事实准确率完全不变：其约 75-token 的提示词几乎全是答案文本，因此安全预设找不到可削减的内容。
• GSM8K 以准确率降低 −8pp 换来成本降低 −71%，因此启用其推理预设前，应先针对具体工作负载进行测量。¹其输入量之所以变为负值，是因为该预设加入了一条 Chain-of-Draft 指令，其收益体现在输出侧（见 frontier 表）。

证据和一行复现命令（指定基准快照）：

make -C crates/llmtrim-cli/bench data
(cd crates/llmtrim-cli && cargo run -q --features live -- bench quality \
   --corpus bench/data/squad2.jsonl --preset rag \
   --model qwen/qwen3-next-80b-a3b-instruct --route "" --n 20)

各语料的测试方法、frontier 和置信区间：crates/llmtrim-cli/bench/README.md。复现方法：

make -C crates/llmtrim-cli/bench data   # pull real corpora (gsm8k, humaneval, dolly, hotpotqa, …)
(cd crates/llmtrim-cli && cargo run -q --features live -- bench suite)  # live A/B across all corpora (needs OPENROUTER_API_KEY)
(cd crates/llmtrim-cli/bench/scripts && PYTHONPATH=. python3 -m benchkit.tools.chart)  # regenerate the chart + table

对比

每种工具都会压缩请求中的一个部分。llmtrim 会压缩输入和输出，同时保留缓存前缀不变以维持提示词缓存稳定性；它评估的是答案能否经受压缩，而不是移除了多少 token。下方两项指标均使用 o200k_base 编码器，并可通过此仓库复现。

输入

通过实时 A/B 测试，将输入缩减率（确定性）与回答质量并列比较。质量是相对于 llmtrim 在各工具对比设置下的下降幅度（✅ 持平，具有统计意义的平手；❌ 显著更低），因此缩减率很高但标记为 ❌，意味着工具是以牺牲回答质量换取 token 的：

开销是每次调用压缩耗时的中位数（Python 墙钟时间，不是同等条件下的 CPU 时间）：此处 Headroom 和 leanctx 在 CPU 上运行 ML（在 GPU 上会更快），此外还需一次性加载模型（约 3 s 和 4 s）；llmtrim 使用 Rust，entroly 使用词法处理，因此两者都没有这项开销。

• auto 是带质量门控的默认选项；aggressive 会在质量门控通过时接受有损删减。
• 禁用 ML 后，Headroom 的缩减率会降至 0%（其路由器对文本不起作用）。
• leanctx 和 entroly 都是有损的，且没有质量门控；entroly 没有低缩减率模式。

在缩减率匹配的情况下，Headroom 的质量与 llmtrim 持平（24-25%，n=30，差异不显著），但它更长的回答会触及模型的输出 token 上限，并因此被截断 12 次，而 llmtrim 只有 2 次；这就是它输出膨胀、成本更高的原因。leanctx（测得缩减率为 26%）和 entroly（缩减率为 69%，这是其最温和的设置）的评分都显著低于 llmtrim（n=20），在其宣传的缩减率下差距会进一步扩大（与 leanctx 对比，与 entroly 对比）。

输出

在付费实时调用中，针对 9 个编码提示词，通过要求回答更简洁来缩减输出：

代价是 caveman 每次请求都会重新发送 949-token 的系统提示词（右栏）；llmtrim 只需 19 个 token，输出缩减率却几乎相同。两者在此处都能净节省，因此只有当 caveman 删除的输出价值超过它额外增加的 949 个 token 时，它更大幅度的缩减才更划算（与 caveman 对比的产物）。

这些工具可以叠加使用：RTK 先缩减命令行输出，然后 llmtrim 再压缩工具架构。完整的正面对比：crates/llmtrim-cli/bench/README.md。

已知限制

这些限制同样通过证明节省效果的 A/B 测试揭示：

• Anthropic / Gemini 的 token 数量是近似值。 由于没有公开的精确分词器，因此使用 BPE 代理进行估算，并在 status 中标记。OpenAI 的计数是精确的。
• 未通过实时测试测量输出节省量。 代理只压缩输入；要测量输出节省量，需要 A/B 反事实，而这只有离线基准测试会运行。status 中的“saved”指输入侧的节省。
• 默认设置带有质量门控，并非无损。 只有评估表明质量能够保持时，才会运行有损阶段。若需要逐字节忠实的往返处理，请使用 safe 预设。
• “无损”仅针对输入，不会还原回答。 无损阶段会保留模型读取的信息（折叠后的日志片段、TOON 编码的数组、模型可在提示词中解码的缩写对照表），token 门控会撤销所有得不偿失的输入删减。引擎不会将模型的回答转换回原始形式。

致谢

每种压缩器都是对已发表研究的确定性实现：创意归功于研究者，工程实现和令牌门控则由我们完成。

发现问题？

llmtrim doctor          # diagnose
llmtrim doctor --fix     # diagnose + apply repairs
llmtrim ensure          # same repair path

每项失败的检查都会说明如何修复。如果请求被篡改，请设置 LLMTRIM_CAPTURE_DIR，并提交 issue，附上修改前后的内容。

如果 llmtrim 帮你省了钱，点个 ⭐ 就能帮助其他人发现它。

Star History

_{根据 MPL-2.0 授权。可在你的技术栈中自由使用 llmtrim，包括商业用途；你自己的代码无需公开源代码。文件级 Copyleft 仅适用于你对 llmtrim 自身源文件所做的修改。通过 DCO 签署贡献。}