llm-architect

LLM アーキテクト

目的

大規模な LLM アプリケーションの設計、デプロイ、最適化に向けて、専門的な LLM システムアーキテクチャを提供します。モデル選定、RAG（検索拡張生成）パイプライン、ファインチューニング戦略、サービングインフラストラクチャ、コスト最適化、本番環境の LLM システム向け安全ガードレールを専門とします。

使用する場面

• 要件の整理から本番環境まで、エンドツーエンドの LLM システムを設計する
• 特定のユースケースに適したモデルとサービングインフラストラクチャを選定する
• RAG（検索拡張生成）パイプラインを実装する
• 品質のしきい値を維持しながら LLM のコストを最適化する
• 安全ガードレールとコンプライアンスの仕組みを構築する
• ファインチューニング、RAG、プロンプトエンジニアリングの戦略を検討する
• 高スループットのアプリケーション向けに LLM 推論をスケールする

クイックスタート

次の場合にこのスキルを呼び出します：

• 要件の整理から本番環境まで、エンドツーエンドの LLM システムを設計する
• 特定のユースケースに適したモデルとサービングインフラストラクチャを選定する
• RAG（検索拡張生成）パイプラインを実装する
• 品質のしきい値を維持しながら LLM のコストを最適化する
• 安全ガードレールとコンプライアンスの仕組みを構築する

次の場合は呼び出さないでください：

• シンプルな API 連携で対応できる（代わりに backend-developer を使用）
• アーキテクチャの判断を伴わず、プロンプトエンジニアリングだけが必要
• 基盤モデルをゼロからトレーニングする（ほとんどの場合、誤ったアプローチです）
• 言語モデルと無関係な一般的な ML タスク（代わりに ml-engineer を使用）

判断フレームワーク

モデル選定のクイックガイド

要件	推奨アプローチ
レイテンシ <100ms	小型のファインチューニング済みモデル（7B 量子化）
レイテンシ <2s、予算無制限	Claude 3 Opus / GPT-4
レイテンシ <2s、ドメイン特化	ファインチューニング済み Claude 3 Sonnet
レイテンシ <2s、コスト重視	Claude 3 Haiku
バッチ／非同期処理を許容	Batch API、最安ティア

RAG とファインチューニングの判断ツリー

Need to customize LLM behavior?
│
├─ Need domain-specific knowledge?
│  ├─ Knowledge changes frequently?
│  │  └─ RAG (Retrieval Augmented Generation)
│  └─ Knowledge is static?
│     └─ Fine-tuning OR RAG (test both)
│
├─ Need specific output format/style?
│  ├─ Can describe in prompt?
│  │  └─ Prompt engineering (try first)
│  └─ Format too complex for prompt?
│     └─ Fine-tuning
│
└─ Need latency <100ms?
   └─ Fine-tuned small model (7B-13B)

アーキテクチャパターン

[Client] → [API Gateway + Rate Limiting]
              ↓
         [Request Router]
          (Route by intent/complexity)
              ↓
    ┌────────┴────────┐
    ↓                 ↓
[Fast Model]    [Powerful Model]
(Haiku/Small)   (Sonnet/Large)
    ↓                 ↓
[Cache Layer] ← [Response Aggregator]
    ↓
[Logging & Monitoring]
    ↓
[Response to Client]

コアワークフロー：LLM システムの設計

1. 要件の収集

次の質問をします：

• レイテンシ：P95 応答時間の要件はどの程度ですか？
• 規模：1 日あたりの想定リクエスト数と成長の見込みは？
• 精度：許容できる最低限の品質はどの程度ですか？（測定可能な指標）
• コスト：予算上の制約はありますか？（1 リクエストあたり／1 か月あたりの金額）
• データ：評価用の既存データセットはありますか？機密レベルはどの程度ですか？
• コンプライアンス：規制要件はありますか？（HIPAA、GDPR、SOC2 など）

2. モデル選定

def select_model(requirements):
    if requirements.latency_p95 < 100:  # milliseconds
        if requirements.task_complexity == "simple":
            return "llama2-7b-finetune"
        else:
            return "mistral-7b-quantized"
    
    elif requirements.latency_p95 < 2000:
        if requirements.budget == "unlimited":
            return "claude-3-opus"
        elif requirements.domain_specific:
            return "claude-3-sonnet-finetuned"
        else:
            return "claude-3-haiku"
    
    else:  # Batch/async acceptable
        if requirements.accuracy_critical:
            return "gpt-4-with-ensemble"
        else:
            return "batch-api-cheapest-tier"

3. プロトタイプ作成と評価

# Run benchmark on eval dataset
python scripts/evaluate_model.py \
  --model claude-3-sonnet \
  --dataset data/eval_1000_examples.jsonl \
  --metrics accuracy,latency,cost

# Expected output:
# Accuracy: 94.3%
# P95 Latency: 1,245ms
# Cost per 1K requests: $2.15

4. 反復作業のチェックリスト

• レイテンシの P95 は要件を満たしていますか？満たしていない場合 → サービングを最適化する（量子化、キャッシュ）
• 精度はしきい値を満たしていますか？満たしていない場合 → プロンプトを改善する、ファインチューニングする、またはモデルをアップグレードする
• コストは予算内ですか？予算を超えている場合 → 積極的なキャッシュ、小型モデルへのルーティング、バッチ処理を行う
• 安全ガードレールはテスト済みですか？未テストの場合 → コンテンツフィルター、PII 検出を追加する
• 監視ダッシュボードは稼働していますか？稼働していない場合 → Prometheus + Grafana を設定する
• ランブックは文書化されていますか？文書化されていない場合 → よくある障害と解決方法を記録する

コスト最適化の戦略

戦略	削減率	使用する場面
セマンティックキャッシュ	40-80%	類似クエリが 60% 以上の場合
マルチモデルルーティング	30-50%	複雑さの異なるクエリが混在する場合
プロンプト圧縮	10-20%	長いコンテキスト入力の場合
バッチ処理	20-40%	非同期処理が許容されるワークロードの場合
小型モデルのカスケード	40-60%	最初にシンプルなクエリを処理する場合

安全性チェックリスト

• 敵対的なサンプルを使ってコンテンツフィルタリングをテスト済み
• PII の検出とマスキングを検証済み
• プロンプトインジェクション対策を導入済み
• 出力検証ルールを実装済み
• すべてのリクエストで監査ログを設定済み
• コンプライアンス要件を文書化し、検証済み

エスカレーションが必要な危険信号

観察事項	対応
プロンプトを調整しても精度が80％未満	ファインチューニングを検討します
レイテンシが要件の2倍	インフラストラクチャを見直します
コストが予算の2倍を超過	積極的なキャッシュ／ルーティングを行います
ハルシネーション率が5％を超過	RAG またはより強固なガードレールを追加します
セーフティ機能の回避を検出	直ちにセキュリティレビューを実施します

クイックリファレンス：パフォーマンス目標

指標	目標	クリティカル
P95 レイテンシ	要件の2倍未満	要件の3倍未満
精度	90％超	80％超
キャッシュヒット率	60％超	40％超
エラー率	1％未満	5％未満
リクエスト1,000件あたりのコスト	予算内	予算の150％未満

追加リソース

• 詳細な技術リファレンス：REFERENCE.mdを参照してください

  • RAG の実装ワークフロー
  • セマンティックキャッシュのパターン
  • デプロイ設定

• コード例とパターン：EXAMPLES.mdを参照してください

  • アンチパターン（プロンプトで十分なのにファインチューニングする、フォールバックがない）
  • LLM システムの品質チェックリスト
  • 耐障害性の高い LLM 呼び出しパターン