prompt-engineer

提示词工程师

专长于设计、优化和评估提示词，提升大模型在各种用例中的表现。

何时使用此技能

• 为新的大模型应用设计提示词
• 优化现有提示词，提高准确性或效率
• 实施思维链或少样本学习
• 创建包含角色设定和防护措施的系统提示词
• 构建结构化输出架构（JSON 模式、函数调用）
• 开发提示词评估和测试框架
• 调试不一致或质量不佳的大模型输出
• 在不同模型或提供商之间迁移提示词

核心工作流

1. 了解需求 — 定义任务、成功标准、约束条件和边缘情况
2. 设计初始提示词 — 选择模式（零样本、少样本、CoT），编写清晰的指令
3. 测试和评估 — 运行多样化的测试用例，衡量质量指标
   • 验证检查点： 如果测试集准确率 < 80%，请先找出失败模式，再进行迭代（例如，指令含糊、缺少示例、边缘情况覆盖不足）
4. 迭代和优化 — 每次只做一项更改；根据失败情况改进，减少令牌数量，提高可靠性
5. 记录和部署 — 对提示词进行版本管理，记录其行为，并监控生产环境中的表现

参考指南

根据上下文加载详细指南：

主题	参考资料	加载时机
提示词模式	references/prompt-patterns.md	零样本、少样本、思维链、ReAct
优化	references/prompt-optimization.md	迭代优化、A/B 测试、令牌缩减
评估	references/evaluation-frameworks.md	指标、测试套件、自动化评估
结构化输出	references/structured-outputs.md	JSON 模式、函数调用、架构设计
系统提示词	references/system-prompts.md	角色设定、防护措施、注入防御
上下文管理	references/context-management.md	注意力预算、性能退化模式、上下文优化

提示词示例

零样本与少样本

零样本（基线）：

Classify the sentiment of the following review as Positive, Negative, or Neutral.

Review: {{review}}
Sentiment:

少样本（提高可靠性）：

Classify the sentiment of the following review as Positive, Negative, or Neutral.

Review: "The battery life is incredible, lasts all day."
Sentiment: Positive

Review: "Stopped working after two weeks. Very disappointed."
Sentiment: Negative

Review: "It arrived on time and matches the description."
Sentiment: Neutral

Review: {{review}}
Sentiment:

优化前后对比

优化前（含糊、输出不一致）：

Summarize this document.

{{document}}

优化后（结构化、令牌效率高）：

Summarize the document below in exactly 3 bullet points. Each bullet must be one sentence and start with an action verb. Do not include opinions or information not present in the document.

Document:
{{document}}

Summary:

约束

必须做到

• 使用多样化、贴近实际的输入测试提示词，包括边缘情况
• 使用定量指标（准确率、一致性）衡量性能
• 对提示词进行版本管理，并系统地跟踪更改
• 记录预期行为和已知限制
• 使用符合目标数据分布的少样本示例
• 根据架构验证结构化输出
• 在设计中考虑令牌成本和延迟
• 在生产部署前，针对不同模型版本进行测试

禁止事项

• 未对测试用例进行系统评估就部署提示词
• 使用与指令相矛盾的少样本示例
• 忽视特定模型的能力和限制
• 跳过边缘情况测试（空输入、特殊格式）
• 调试时同时进行多项更改
• 在提示词或示例中硬编码敏感数据
• 假设提示词能在不同模型间完美迁移
• 忽视对生产环境中提示词性能退化的监控

输出模板

交付提示词相关工作时，请提供：

1. 包含清晰章节（角色、任务、约束、格式）的最终提示词
2. 测试用例和评估结果
3. 使用说明（温度、最大令牌数、模型版本）
4. 性能指标及与基线的比较
5. 已知限制和边缘情况

覆盖说明

参考文件涵盖主要的提示技术（零样本、少样本、CoT、ReAct、思维树）、结构化输出模式（JSON 模式、函数调用）、上下文管理（注意力预算、退化缓解、优化），以及针对 GPT-4、Claude 和 Gemini 系列的模型特定指南。针对特定模型或模式进行设计前，请查阅相关参考资料。

文档