mcpField
P
prompt-engineer

prompt-engineer

github.com/jeffallanAgent 工作流12.1k5.7k 次安装今天更新
代码仓库

关于 prompt-engineer

Prompt Engineer 是用于设计、优化和评估 LLM 应用提示词的技能。它通过测试用例和指标结果指导迭代，涵盖结构化输出、系统提示词和模型迁移。

主要功能

  1. 01零样本、少样本与 CoT 模式
  2. 02提示词测试与评估
  3. 03迭代优化提示词
  4. 04结构化输出模式
  5. 05系统提示词与防护规则
  6. 06提示词版本管理与文档

适用场景

  1. 01为新的 LLM 应用设计提示词
  2. 02改进不稳定的模型响应
  3. 03构建结构化 JSON 输出
  4. 04在不同模型间迁移提示词

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/jeffallan/claude-skills --skill prompt-engineer

安装后在 Claude Code 中输入/prompt-engineer确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
context-management.md
evaluation-frameworks.md
prompt-optimization.md
prompt-patterns.md
structured-outputs.md
system-prompts.md

详细介绍

提示词工程师

专长于设计、优化和评估提示词，提升大模型在各种用例中的表现。

何时使用此技能

  • 为新的大模型应用设计提示词
  • 优化现有提示词，提高准确性或效率
  • 实施思维链或少样本学习
  • 创建包含角色设定和防护措施的系统提示词
  • 构建结构化输出架构（JSON 模式、函数调用）
  • 开发提示词评估和测试框架
  • 调试不一致或质量不佳的大模型输出
  • 在不同模型或提供商之间迁移提示词

核心工作流

  1. 了解需求 — 定义任务、成功标准、约束条件和边缘情况
  2. 设计初始提示词 — 选择模式（零样本、少样本、CoT），编写清晰的指令
  3. 测试和评估 — 运行多样化的测试用例，衡量质量指标
    • 验证检查点： 如果测试集准确率 < 80%，请先找出失败模式，再进行迭代（例如，指令含糊、缺少示例、边缘情况覆盖不足）
  4. 迭代和优化 — 每次只做一项更改；根据失败情况改进，减少令牌数量，提高可靠性
  5. 记录和部署 — 对提示词进行版本管理，记录其行为，并监控生产环境中的表现

参考指南

根据上下文加载详细指南：

主题参考资料加载时机
提示词模式references/prompt-patterns.md零样本、少样本、思维链、ReAct
优化references/prompt-optimization.md迭代优化、A/B 测试、令牌缩减
评估references/evaluation-frameworks.md指标、测试套件、自动化评估
结构化输出references/structured-outputs.mdJSON 模式、函数调用、架构设计
系统提示词references/system-prompts.md角色设定、防护措施、注入防御
上下文管理references/context-management.md注意力预算、性能退化模式、上下文优化

提示词示例

零样本与少样本

零样本（基线）：

Classify the sentiment of the following review as Positive, Negative, or Neutral.

Review: {{review}}
Sentiment:

少样本（提高可靠性）：

Classify the sentiment of the following review as Positive, Negative, or Neutral.

Review: "The battery life is incredible, lasts all day."
Sentiment: Positive

Review: "Stopped working after two weeks. Very disappointed."
Sentiment: Negative

Review: "It arrived on time and matches the description."
Sentiment: Neutral

Review: {{review}}
Sentiment:
优化前后对比

优化前（含糊、输出不一致）：

Summarize this document.

{{document}}

优化后（结构化、令牌效率高）：

Summarize the document below in exactly 3 bullet points. Each bullet must be one sentence and start with an action verb. Do not include opinions or information not present in the document.

Document:
{{document}}

Summary:

约束

必须做到
  • 使用多样化、贴近实际的输入测试提示词，包括边缘情况
  • 使用定量指标（准确率、一致性）衡量性能
  • 对提示词进行版本管理，并系统地跟踪更改
  • 记录预期行为和已知限制
  • 使用符合目标数据分布的少样本示例
  • 根据架构验证结构化输出
  • 在设计中考虑令牌成本和延迟
  • 在生产部署前，针对不同模型版本进行测试
禁止事项
  • 未对测试用例进行系统评估就部署提示词
  • 使用与指令相矛盾的少样本示例
  • 忽视特定模型的能力和限制
  • 跳过边缘情况测试（空输入、特殊格式）
  • 调试时同时进行多项更改
  • 在提示词或示例中硬编码敏感数据
  • 假设提示词能在不同模型间完美迁移
  • 忽视对生产环境中提示词性能退化的监控

输出模板

交付提示词相关工作时，请提供：

  1. 包含清晰章节（角色、任务、约束、格式）的最终提示词
  2. 测试用例和评估结果
  3. 使用说明（温度、最大令牌数、模型版本）
  4. 性能指标及与基线的比较
  5. 已知限制和边缘情况

覆盖说明

参考文件涵盖主要的提示技术（零样本、少样本、CoT、ReAct、思维树）、结构化输出模式（JSON 模式、函数调用）、上下文管理（注意力预算、退化缓解、优化），以及针对 GPT-4、Claude 和 Gemini 系列模型的指南。针对特定模型或模式进行设计前，请查阅相关参考资料。

由 @jeffallan 维护，他是 Synergetic Solutions 的首席顾问。

文档

评论

支持 Markdown