llm-architect

LLM 架构师

用途

为大规模设计、部署和优化 LLM 应用提供专业的 LLM 系统架构支持。专长包括模型选择、RAG（检索增强生成）管道、微调策略、服务基础设施、成本优化，以及面向生产环境 LLM 系统的安全护栏。

适用场景

• 从需求到生产环境，设计端到端 LLM 系统
• 为特定用例选择模型和服务基础设施
• 实施 RAG（检索增强生成）管道
• 在维持质量阈值的同时优化 LLM 成本
• 构建安全护栏和合规机制
• 规划微调、RAG 与提示词工程策略
• 为高吞吐量应用扩展 LLM 推理能力

快速开始

在以下情况下调用此技能：

• 从需求到生产环境，设计端到端 LLM 系统
• 为特定用例选择模型和服务基础设施
• 实施 RAG（检索增强生成）管道
• 在维持质量阈值的同时优化 LLM 成本
• 构建安全护栏和合规机制

请勿在以下情况下调用：

• 已有简单的 API 集成方案（请改用 backend-developer）
• 只需要提示词工程，无需做架构决策
• 从头开始训练基础模型（几乎总是错误的做法）
• 与语言模型无关的通用 ML 任务（请改用 ml-engineer）

决策框架

模型选择快速指南

需求	推荐方案
延迟 <100ms	小型微调模型（7B 量化）
延迟 <2s，预算不限	Claude 3 Opus / GPT-4
延迟 <2s，特定领域	微调后的 Claude 3 Sonnet
延迟 <2s，对成本敏感	Claude 3 Haiku
可接受批处理/异步	Batch API，最便宜的套餐

RAG 与微调决策树

Need to customize LLM behavior?
│
├─ Need domain-specific knowledge?
│  ├─ Knowledge changes frequently?
│  │  └─ RAG (Retrieval Augmented Generation)
│  └─ Knowledge is static?
│     └─ Fine-tuning OR RAG (test both)
│
├─ Need specific output format/style?
│  ├─ Can describe in prompt?
│  │  └─ Prompt engineering (try first)
│  └─ Format too complex for prompt?
│     └─ Fine-tuning
│
└─ Need latency <100ms?
   └─ Fine-tuned small model (7B-13B)

架构模式

[Client] → [API Gateway + Rate Limiting]
              ↓
         [Request Router]
          (Route by intent/complexity)
              ↓
    ┌────────┴────────┐
    ↓                 ↓
[Fast Model]    [Powerful Model]
(Haiku/Small)   (Sonnet/Large)
    ↓                 ↓
[Cache Layer] ← [Response Aggregator]
    ↓
[Logging & Monitoring]
    ↓
[Response to Client]

核心工作流：设计 LLM 系统

1. 收集需求

提出以下问题：

• 延迟：P95 响应时间要求是多少？
• 规模：预计每天有多少请求？增长趋势如何？
• 准确性：可接受的最低质量是什么？（可衡量的指标）
• 成本：预算限制是什么？（每次请求或每月的费用）
• 数据：是否有现成的数据集用于评估？敏感级别如何？
• 合规性：有哪些监管要求？（HIPAA、GDPR、SOC2 等）

2. 模型选择

def select_model(requirements):
    if requirements.latency_p95 < 100:  # milliseconds
        if requirements.task_complexity == "simple":
            return "llama2-7b-finetune"
        else:
            return "mistral-7b-quantized"
    
    elif requirements.latency_p95 < 2000:
        if requirements.budget == "unlimited":
            return "claude-3-opus"
        elif requirements.domain_specific:
            return "claude-3-sonnet-finetuned"
        else:
            return "claude-3-haiku"
    
    else:  # Batch/async acceptable
        if requirements.accuracy_critical:
            return "gpt-4-with-ensemble"
        else:
            return "batch-api-cheapest-tier"

3. 原型开发与评估

# Run benchmark on eval dataset
python scripts/evaluate_model.py \
  --model claude-3-sonnet \
  --dataset data/eval_1000_examples.jsonl \
  --metrics accuracy,latency,cost

# Expected output:
# Accuracy: 94.3%
# P95 Latency: 1,245ms
# Cost per 1K requests: $2.15

4. 迭代检查清单

• P95 延迟是否满足要求？如果否 → 优化服务（量化、缓存）
• 准确性是否达到阈值？如果否 → 改进提示词、微调或升级模型
• 成本是否在预算内？如果否 → 积极使用缓存、路由至较小模型、批处理
• 是否已测试安全护栏？如果否 → 添加内容过滤器和 PII 检测
• 监控仪表板是否已启用？如果否 → 设置 Prometheus + Grafana
• 是否已编写运行手册？如果否 → 记录常见故障及其修复方法

成本优化策略

策略	节省幅度	适用场景
语义缓存	40-80%	60% 以上的查询相似
多模型路由	30-50%	查询复杂度不一
提示词压缩	10-20%	输入上下文较长
批处理	20-40%	可接受异步处理的工作负载
较小模型级联	40-60%	先处理简单查询

安全检查清单

• 已针对对抗性示例测试内容过滤
• 已验证 PII 检测和脱敏
• 已部署提示词注入防护
• 已实施输出验证规则
• 已为所有请求配置审计日志
• 已记录并验证合规要求

升级处理的警示信号

观察结果	采取的行动
经过提示词迭代后，准确率仍 <80%	考虑微调
延迟达到要求的 2 倍	检查基础设施
成本超过预算的 2 倍	大力使用缓存／路由
幻觉率 >5%	添加 RAG 或更严格的防护措施
检测到安全绕过	立即进行安全审查

快速参考：性能目标

指标	目标	严重阈值
P95 延迟	<要求的 2 倍	<要求的 3 倍
准确率	>90%	>80%
缓存命中率	>60%	>40%
错误率	<1%	<5%
每 1K 次请求的成本	在预算范围内	<预算的 150%

更多资源

• 详细技术参考：参阅 REFERENCE.md

  • RAG 实施工作流
  • 语义缓存模式
  • 部署配置

• 代码示例与模式：参阅 EXAMPLES.md

  • 反模式（在提示词足够时仍进行微调、没有回退方案）
  • 大模型系统质量检查清单
  • 弹性大模型调用模式