context-window-design

上下文窗口设计

每个 AI 模型的上下文窗口容量都有限。在这一限制下进行设计，并围绕这一限制设计用户体验，是 AI 产品设计的一项核心技能。

将上下文窗口作为设计材料

上下文窗口不只是技术限制，也是一种设计材料：

• 纳入的内容：系统提示词、对话历史、检索到的文档、工具结果、用户偏好
• 丢弃的内容：较早的消息、相关性较低的上下文、冗长的说明
• 用户看到的内容：呈现给用户的对话可能与模型实际处理的内容不同 设计师必须了解上下文窗口的分配方式，才能设计出可靠的体验。

记忆与持久性

用户希望 AI 能记住信息。应针对不同的记忆时长进行设计：

• 对话内记忆：本次聊天中较早提到的内容。通常由上下文窗口本身处理。
• 跨对话记忆：偏好、过往决策、进行中的项目。需要专门的记忆系统。
• 共享记忆：多个用户或 Agent 共享的上下文。需要谨慎设计隐私保护。

有限上下文的应对策略

• 摘要：将较早的对话压缩为摘要，以释放 token
• 检索增强生成：按需提取相关上下文，而不是一直加载所有内容
• 优先级排序：将最重要的上下文放在最靠近提示词的位置（注意力的近因偏差）
• 由用户控制上下文：允许用户固定、移除内容，或调整 AI 记忆内容的优先级
• 平稳降级：上下文丢失时，应坦诚说明，而不是虚构对话连贯性

设计产物

• 上下文预算分配（系统提示词、历史记录、检索内容等各占多少 token）
• 记忆架构图，展示哪些内容会持久保存，哪些是临时的
• 上下文溢出 UX 流程（窗口填满时会发生什么）
• 面向用户的记忆控制规范