llm-router

LLM Router

各タスクに最適な LLM モデルを選択します。マルチエージェントシステムでコスト削減に最も大きく貢献する要素です。インテリジェントなルーティングにより、最上位モデルの品質を 95％以上維持しながら、コストを 45〜85％削減できます。

---

使用する場面

✅ 次の場合に使用します：

• 特定のタスクにどのモデルを呼び出すか決める
• エージェントのワークフロー内で、DAG のノードにモデルを割り当てる
• システム全体の LLM API コストを最適化する
• 安価なモデルから順に試すカスケードパターンを構築する

❌ 次の用途には使用しません：

• プロンプトエンジニアリング（prompt-engineer を使用）
• モデルのファインチューニングやトレーニング
• モデルアーキテクチャの比較（学術研究）

---

ルーティングの判断ツリー

flowchart TD
  A{Task type?} -->|Classify / validate / format / extract| T1["Tier 1: Haiku, GPT-4o-mini (~$0.001)"]
  A -->|Write / implement / review / synthesize| T2["Tier 2: Sonnet, GPT-4o (~$0.01)"]
  A -->|Reason / architect / judge / decompose| T3["Tier 3: Opus, o1 (~$0.10)"]
  
  T1 --> Q1{Quality sufficient?}
  Q1 -->|Yes| Done1[Use cheap model]
  Q1 -->|No| T2
  
  T2 --> Q2{Quality sufficient?}
  Q2 -->|Yes| Done2[Use balanced model]
  Q2 -->|No| T3

---

ティア割り当て表

タスクの種類	ティア	モデル	呼び出しあたりのコスト	このティアを選ぶ理由
入力の種類を分類する	1	Haiku, GPT-4o-mini	~$0.001	決定論的な分類
スキーマ／形式を検証する	1	Haiku, GPT-4o-mini	~$0.001	機械的なチェック
出力を整形する／テンプレートに当てはめる	1	Haiku, GPT-4o-mini	~$0.001	構造化された変換
構造化データを抽出する	1	Haiku, GPT-4o-mini	~$0.001	パターンマッチング
テキストを要約する	1-2	Haiku → Sonnet	~$0.001-0.01	短い要約なら Haiku、ニュアンスが必要なら Sonnet
コンテンツ／ドキュメントを書く	2	Sonnet, GPT-4o	~$0.01	創造的な品質が重要
コードを実装する	2	Sonnet, GPT-4o	~$0.01	正確さとスタイル
コード／差分をレビューする	2	Sonnet, GPT-4o	~$0.01	パターンマッチングだけでなく判断力が必要
リサーチを統合する	2	Sonnet, GPT-4o	~$0.01	複数の情報源を踏まえた推論
曖昧な問題を分解する	3	Opus, o1	~$0.10	深い理解が必要
アーキテクチャを設計する	3	Opus, o1	~$0.10	複雑なシステムについての推論
出力の品質を評価する	3	Opus, o1	~$0.10	品質についてのメタ推論
複数ステップの戦略を立てる	3	Opus, o1	~$0.10	長期的な計画

---

3 つのルーティング戦略

戦略 1：静的なティア割り当て（まずはここから）

DAG の設計時にタスクの種類に応じてモデルを割り当てます。実行時のロジックは不要です。削減可能なコストの 60〜70％を削減できます。

nodes:
  - id: classify
    model: claude-haiku-4-5     # Tier 1: $0.001
  - id: implement
    model: claude-sonnet-4-5    # Tier 2: $0.01  
  - id: evaluate
    model: claude-opus-4-5      # Tier 3: $0.10

戦略 2：カスケード（安価なモデルから試す）

安価なモデルを試し、品質がしきい値を下回った場合は上位モデルに切り替えます。レイテンシは約 1 秒増えますが、安価なモデルで成功するノードではコストを 50〜80％削減できます。

1. Execute with Tier 1 model
2. Quick quality check (also Tier 1 — costs ~$0.001)
3. If quality ≥ threshold → done
4. If quality < threshold → re-execute with Tier 2

どのティアが必要か本当に判断しにくいノードに適しています。

戦略 3：適応型（履歴から学習する）

タスクの種類とモデルごとに、成功または失敗を記録します。時間の経過とともに、ルーターは次のように学習します。

• 「分類ノードは常に Haiku で成功する」→ 安価なモデルを使い続ける
• 「コードレビューのノードは Haiku で 40％失敗する」→ Sonnet に切り替える
• 「アーキテクチャのノードは Sonnet で 90％成功する」→ Opus は不要

トレーニングデータが約 100 回分蓄積されると、75〜85％のコストを削減できます。

---

プロバイダーの選択

モデルのティアを選んだら、プロバイダーを選択します。

モデルのクラス	プロバイダーの選択肢	選択基準
Haiku クラス	Anthropic, AWS Bedrock	レイテンシ、リージョンの利用可否
Sonnet クラス	Anthropic, AWS Bedrock, GCP Vertex	コスト、レート制限
Opus クラス	Anthropic	唯一のプロバイダー
GPT-4o クラス	OpenAI, Azure OpenAI	レート制限、コンプライアンス
オープンソース	Ollama（ローカル）, Together.ai, Fireworks	コスト（$0）、レイテンシ、GPU の利用可否

---

コストへの影響の例

「コードベースをリファクタリングする」10 ノードの DAG：

戦略	構成	コスト	削減率
すべて Opus	10× $0.10	$1.00	—
すべて Sonnet	10× $0.01	$0.10	90%
静的ティア	4× Haiku + 4× Sonnet + 2× Opus	$0.24	76%
カスケード	6× Haiku + 3× Sonnet + 1× Opus	$0.14	86%
適応型（学習済み）	動的	~$0.08	92%

---

アンチパターン

常に最良のモデルを使う

誤り：品質を理由に、すべてを Opus／o1 にルーティングする。 実際のところ：一般的な DAG ノードの 60％以上は分類、検証、整形であり、Haiku が Opus と同等の性能を発揮するタスクです。コストを無駄にしています。

常に最も安価なモデルを使う

誤り：「コスト削減」のために、すべてを Haiku に振り分けます。 実態：複雑な推論、アーキテクチャ設計、品質判断には、本当に高性能なモデルが必要です。Haiku は難しいタスクで、もっともらしく見えても微妙に誤った出力を生成することがあります。

レイテンシを無視する

誤り：コストの最適化だけに注力し、Opus は Haiku の 5〜10 倍の時間がかかることを無視します。 実態：10 ノードの DAG では、モデルの選択はコストと同じくらい実行時間の合計に影響します。時間が重要なパスには、より高速なモデルを割り当てましょう。

フィードバックループがない

誤り：モデルのティアを一度設定したら、二度と調整しません。 実態：モデルの性能が向上するにつれて（Haiku は世代ごとに賢くなっています）、先月は Sonnet が必要だったタスクも、今日は Haiku で対応できる場合があります。結果を記録し、適応させましょう。