关于 prompt-engineer
prompt-engineer 是用于设计、优化和测试大模型提示词的技能。它通过结构化流程和测试方法,帮助聊天机器人与 Agent 构建者处理歧义、输出不一致及提示词相关问题。
主要功能
- 01设计系统提示词和用户提示词
- 02优化上下文与多轮对话结构
- 03运用少样本示例和约束技巧
- 04进行对抗性测试与回归检测
- 05通过 A/B 对比迭代优化
适用场景
- 01提升聊天机器人回答政策问题的一致性
- 02为 Agent 编写系统提示词
- 03排查幻觉或格式错误
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ curiositech/ some_claude_skills --skill prompt-engineer安装后在 Claude Code 中输入/prompt-engineer确认已加载。
附带文件.claude-plugin/plugin.json
详细介绍
提示词工程师
擅长为大语言模型构思、优化和调试提示词。将模糊需求转化为精准、有效的提示词,从而生成稳定且高质量的输出。
快速开始
User: "My chatbot gives inconsistent answers about our refund policy"
Prompt Engineer:
1. Analyze current prompt structure
2. Identify ambiguity and edge cases
3. Apply constraint engineering
4. Add few-shot examples
5. Test with adversarial inputs
6. Measure improvement
结果:响应一致性提升 40-60%
核心能力
1. 提示词架构
- 设计用于设定角色和约束的系统提示词
- 组织清晰的用户提示词
- 优化上下文窗口
- 设计多轮对话
2. 优化技巧
| 技巧 | 适用场景 | 预期提升 |
|---|---|---|
| 思维链 | 复杂推理 | 准确率提升 20-40% |
| 少样本示例 | 格式一致性 | 可靠性提升 30-50% |
| 约束工程 | 处理边界情况 | 一致性提升 50% 以上 |
| 角色提示 | 领域专业知识 | 质量提升 15-25% |
| 自一致性 | 关键决策 | 准确率提升 10-20% |
3. 调试与测试
- 提示词消融研究
- 对抗性输入测试
- A/B 测试框架
- 回归检测
提示词模式
CLEAR 框架
C - Context: What background does the model need?
L - Limits: What constraints apply?
E - Examples: What does good output look like?
A - Action: What specific task to perform?
R - Review: How to verify correctness?
系统提示词模板
You are [ROLE] with expertise in [DOMAIN].
## Your Task
[CLEAR, SPECIFIC INSTRUCTION]
## Constraints
- [CONSTRAINT 1]
- [CONSTRAINT 2]
## Output Format
[EXACT FORMAT SPECIFICATION]
## Examples
Input: [EXAMPLE INPUT]
Output: [EXAMPLE OUTPUT]
思维链模式
Think through this step-by-step:
1. First, identify [ASPECT 1]
2. Then, analyze [ASPECT 2]
3. Consider [EDGE CASES]
4. Finally, synthesize into [OUTPUT]
Show your reasoning before the final answer.
优化工作流
| 阶段 | 活动 | 工具 |
|---|---|---|
| 分析 | 审查现有提示词并找出问题 | Read、模式分析 |
| 提出假设 | 制定改进假设 | Sequential thinking |
| 实施 | 应用提示词工程技巧 | Write、Edit |
| 测试 | 使用多样化输入进行验证 | 手动测试 |
| 衡量 | 量化改进效果 | A/B 对比 |
| 迭代 | 根据结果进行优化 | 重复循环 |
常见问题与修复方法
问题:幻觉
Problem: Model fabricates information
Fix: Add "Only use information provided. Say 'I don't know' if uncertain."
问题:输出冗长
Problem: Model produces too much text
Fix: Add "Be concise. Maximum 3 sentences." + format constraints
问题:格式不合规
Problem: Output doesn't match required format
Fix: Add explicit examples + "Follow this exact format:"
问题:上下文混淆
Problem: Model loses track in long conversations
Fix: Add periodic context summaries + clear role reminders
反模式
反模式:堆砌提示词
表现:将所有可能的指令都塞进一个提示词 错误原因:稀释重要指令,使模型困惑 改进方法:优先选择 3-5 个关键约束,逐步披露信息
反模式:指令含糊
表现:“写一些关于我们产品的好内容” 错误原因:没有可衡量的标准,输出不一致 改进方法:提出具体要求并提供示例
反模式:约束过多
表现:要求模型遵循 50 条以上规则 错误原因:模型无法确定优先级,还会出现矛盾 改进方法:仅保留必要约束,并测试其必要性
反模式:没有示例
表现:复杂格式却没有具体示例 错误原因:模型对指令的理解不一致 改进方法:始终提供 2-3 个有代表性的示例
质量指标
| 指标 | 衡量方法 | 目标 |
|---|---|---|
| 一致性 | 相同输入下的输出质量 | >90% |
| 准确性 | 信息正确 | >95% |
| 格式合规性 | 遵循指定格式 | >98% |
| 延迟 | 首个 Token 的生成时间 | <2s |
| Token 效率 | 每项任务的输出 Token 数 | 减少 20% 浪费 |
适用场景
适用于:
- 为聊天机器人设计系统提示词
- 优化 Agent 指令
- 减少幻觉
- 提高输出一致性
- 创建提示词模板
不适用于:
- 构建大模型应用(使用 ai-engineer)
- 自动化优化(使用 automatic-stateful-prompt-improver)
- 通用编码任务(使用特定语言的技能)
- 基础设施配置(使用部署技能)
核心见解:优秀的提示词就像优秀的规范——足够具体,能消除歧义;足够灵活,能应对变化;并经过对抗性输入测试。
配合使用:ai-engineer(生产应用)| automatic-stateful-prompt-improver(自动化)| agent-creator(创建新 Agent)
评论
支持 Markdown