llm-cost-optimizer

LLM 成本优化器

类别： 工程 领域： AI 成本管理

概述

LLM 成本优化器技能提供用于统计 Token、估算不同 LLM 提供商的成本，以及优化提示词以减少 Token 用量而不牺牲质量的工具。对于需要大规模管理 LLM API 预算的团队来说，这是必不可少的工具。

先行确认

在估算或优化之前，请确认以下输入。如果有任何一项未知或含糊不清，请先询问，不要自行假设：

• 输入提示词/文本 — 要统计或优化的提示词文件或文本（通过 --file/--text/--stdin 输入）
• 目标模型 — 要估算成本的模型（用于设置 --models 并进行价格比较）
• 目标 — 估算成本还是优化提示词，以及任何目标缩减幅度（用于选择 token_counter.py 或 prompt_optimizer.py，并设置 --target-reduction）

停止规则：只询问最可能改变输出的 2-3 项。如果用户说“先起草就行”，则继续处理，并在成果开头列出假设。

快速开始

# Count tokens in a prompt file and estimate costs
python scripts/token_counter.py --file prompt.txt --models gpt-4o claude-sonnet

# Count tokens from stdin
echo "Hello world" | python scripts/token_counter.py --stdin --models all

# Analyze a prompt for optimization opportunities
python scripts/prompt_optimizer.py --file system_prompt.txt

# Optimize with target reduction
python scripts/prompt_optimizer.py --file prompt.txt --target-reduction 30

工具概览

工具	用途	主要标志
token_counter.py	统计 Token 并估算不同模型的成本	--file、--text、--stdin、--models
prompt_optimizer.py	分析提示词，寻找减少 Token 的机会	--file、--target-reduction、--format
cache_savings_calculator.py	评估提示词缓存的成本效益：朴素与缓存成本、达到收支平衡所需的复用次数、节省比例	--requests、--cached-tokens、--cache-write-multiplier、--cache-read-multiplier、--base-input-price、--json

工作流

新项目成本估算

1. 收集示例提示词（系统提示词 + 用户消息）
2. 使用目标模型运行 token_counter.py
3. 将单次请求成本乘以预期日请求量
4. 比较不同模型在成本与质量之间的权衡

提示词优化冲刺

1. 从使用日志中找出成本最高的提示词
2. 对每个提示词运行 prompt_optimizer.py
3. 应用建议的优化
4. 重新统计 Token，以验证缩减效果
5. 对优化版与原版进行 A/B 测试，比较质量

参考文档

• LLM 定价指南 - 主流 LLM 提供商的当前定价、Token 估算方法
• 缓存与批处理经济性 - 提示词/上下文缓存的收支平衡计算、批处理 API 的成本权衡、推理力度对成本的影响、结构化输出的 Token 开销（与模型无关，费率由用户提供）

常见模式

Token 缩减技巧

• 删除多余的指令和示例
• 在少样本示例中使用更短的变量名
• 压缩冗长的系统提示词
• 用引用替代重复的上下文
• 使用结构化输出格式（JSON）以减少响应 Token
• 尽可能将多个请求合并到单个提示词中

经济高效的模型选择

• 对分类/提取任务使用较小的模型
• 将大模型留给复杂推理任务
• 根据查询复杂度实施模型路由
• 对相同或相似查询缓存响应
• 缓存稳定的系统提示词/上下文/架构前缀（最稳定的内容放在前面，易变内容放在最后），并使用 cache_savings_calculator.py 检查复用是否达到收支平衡
• 将批量、非交互式任务路由到批处理 API（以延迟增加换取约一半成本）；按路由合理设置推理力度——仅在准确性要求较高时使用高力度