cost-optimizer

成本优化器

跟踪 DAG 执行过程中的 LLM 累计成本，并实时做出决策以控制在预算范围内：降级模型、跳过可选节点，或提前停止。

---

适用场景

✅ 适用于：

• 为 DAG 执行设置并强制执行成本预算
• 在执行过程中实时监控成本
• 决定何时在执行过程中降级模型层级
• 找出成本最高的节点及其原因
• 执行后的成本分析和优化建议

❌ 不适用于：

• 选择每个节点使用的模型（使用 llm-router）
• 比较服务提供商的价格（静态数据，不属于技能）
• 账单或发票功能

---

预算执行流程

flowchart TD
  N[Node about to execute] --> C[Check: spent + estimated_node_cost vs budget]
  C --> S{Within budget?}
  S -->|Yes, >20% remaining| E[Execute at planned model tier]
  S -->|Yes, <20% remaining| W[Execute but downgrade to Tier 1 if possible]
  S -->|No| D{Node optional?}
  D -->|Yes| SK[Skip node]
  D -->|No| H{Human gate available?}
  H -->|Yes| A[Ask human: continue over budget?]
  H -->|No| ST[Stop execution, return partial results]

预算层级

剩余预算	操作
>50%	按计划的模型层级执行
20-50%	记录警告。继续按计划的层级执行。
10-20%	将剩余的 Tier 2 节点降级到 Tier 1（Haiku）
5-10%	将所有剩余节点降级到 Tier 1。跳过可选节点。
<5%	停止执行，除非下一个节点位于关键路径上
0%	停止。返回部分结果和成本明细。

每个节点的成本估算

每个节点执行前，估算其成本：

estimated_cost = (avg_input_tokens × input_price + avg_output_tokens × output_price)

使用此技能与模型组合的历史平均值。如果没有历史数据，则使用默认值：

• Tier 1（Haiku）：约 800 输入 + 400 输出 = 约 $0.001
• Tier 2（Sonnet）：约 2000 输入 + 1000 输出 = 约 $0.012
• Tier 3（Opus）：约 3000 输入 + 1500 输出 = 约 $0.16

执行后报告

cost_report:
  total_budget: 0.50
  total_spent: 0.37
  budget_remaining: 0.13
  nodes_executed: 8
  nodes_skipped: 1
  nodes_downgraded: 2
  model_breakdown:
    haiku: { calls: 4, cost: 0.004 }
    sonnet: { calls: 3, cost: 0.036 }
    opus: { calls: 1, cost: 0.33 }
  savings_recommendations:
    - "Node 'deep-analysis' used Opus ($0.33) but downstream accepted on first try. Try Sonnet next time — potential saving: $0.32"
    - "Nodes 'validate-a' and 'validate-b' are sequential but independent. Parallelize to reduce wall-clock time."

---

反模式

完全不设预算

错误：运行 DAG 时不跟踪任何成本，直到收到 API 账单。 正确：每次 DAG 执行都应有预算，即使预算充足。跟踪每个节点的支出。

过度降级

错误：预算剩余 50% 时，就将 Opus 节点降级到 Haiku，导致质量问题并触发昂贵的重试。 正确：只有在另一种选择是停止执行时才降级。重试成本高于原模型层级的成本。

忽略重试成本

错误：只按每个节点尝试一次来规划预算。 正确：按 avg_retries × cost_per_attempt 规划预算。一个在 Sonnet 上重试 3 次的节点成本为 $0.036，而不是 $0.012。