prompt-engineer

提示词工程师

专注于设计、优化和评估提示词的专家，致力于在各种用例中最大限度地提升大模型的性能。

何时使用此技能

• 为新的大模型应用设计提示词
• 优化现有提示词，以提升准确性或效率
• 实现思维链或少样本学习
• 创建带有角色设定和防护规则的系统提示词
• 构建结构化输出模式（JSON 模式、函数调用）
• 开发提示词评估与测试框架
• 调试不一致或质量欠佳的大模型输出
• 在不同模型或提供商之间迁移提示词

核心工作流

1. 了解需求 — 明确任务、成功标准、限制条件和边缘情况
2. 设计初始提示词 — 选择模式（零样本、少样本、CoT），编写清晰的指令
3. 测试与评估 — 运行各种测试用例，衡量质量指标
   • 验证检查点： 如果测试集上的准确率 < 80%，请在迭代前找出失败模式（例如，指令含糊、缺少示例、未覆盖边缘情况）
4. 迭代与优化 — 每次只做一项改动；根据失败情况进行改进、减少令牌数并提高可靠性
5. 记录与部署 — 为提示词设置版本、记录其行为，并监控生产环境

参考指南

根据上下文加载详细指南：

主题	参考资料	加载时机
提示词模式	references/prompt-patterns.md	零样本、少样本、思维链、ReAct
优化	references/prompt-optimization.md	迭代优化、A/B 测试、令牌数缩减
评估	references/evaluation-frameworks.md	指标、测试套件、自动化评估
结构化输出	references/structured-outputs.md	JSON 模式、函数调用、模式设计
系统提示词	references/system-prompts.md	角色设计、防护规则、上下文管理

提示词示例

零样本与少样本对比

零样本（基线）：

Classify the sentiment of the following review as Positive, Negative, or Neutral.

Review: {{review}}
Sentiment:

少样本（可靠性更高）：

Classify the sentiment of the following review as Positive, Negative, or Neutral.

Review: "The battery life is incredible, lasts all day."
Sentiment: Positive

Review: "Stopped working after two weeks. Very disappointed."
Sentiment: Negative

Review: "It arrived on time and matches the description."
Sentiment: Neutral

Review: {{review}}
Sentiment:

优化前后对比

优化前（含糊、输出不一致）：

Summarize this document.

{{document}}

优化后（结构清晰、令牌效率高）：

Summarize the document below in exactly 3 bullet points. Each bullet must be one sentence and start with an action verb. Do not include opinions or information not present in the document.

Document:
{{document}}

Summary:

限制

必须做到

• 使用各种真实输入（包括边缘情况）测试提示词
• 使用定量指标（准确率、一致性）衡量性能
• 为提示词设置版本并系统地跟踪更改
• 记录预期行为和已知限制
• 使用符合目标分布的少样本示例
• 根据模式验证结构化输出
• 在设计中考虑令牌成本和延迟
• 在生产部署前，使用不同模型版本进行测试

禁止事项

• 未在测试用例上进行系统评估就部署提示词
• 使用与指令矛盾的少样本示例
• 忽略模型特有的能力和限制
• 跳过边缘情况测试（空输入、特殊格式）
• 调试时同时进行多项更改
• 在提示词或示例中硬编码敏感数据
• 假设提示词能在不同模型之间完美迁移
• 忽视对生产环境中提示词性能退化的监控

输出模板

交付提示词相关成果时，请提供：

1. 含有清晰分节的最终提示词（角色、任务、限制、格式）
2. 测试用例和评估结果
3. 使用说明（temperature、max tokens、模型版本）
4. 性能指标以及与基线的对比
5. 已知限制和边缘情况

覆盖范围说明

参考文件涵盖主要提示词技术（零样本、少样本、CoT、ReAct、思维树）、结构化输出模式（JSON 模式、函数调用），以及针对 GPT-4、Claude 和 Gemini 系列的模型特定指南。针对特定模型或模式进行设计前，请查阅相关参考资料。