prompt-engineer-toolkit

提示词工程工具包 — 生产级提示词工程

生产级提示词的完整生命周期：行之有效的设计模式、可捕获回归问题的测试框架、可跟踪变更的版本控制系统，以及用可衡量的质量取代主观「看起来不错」的评估标准。将提示词视为生产代码，以同样的严谨态度对待，而非依赖巧妙技巧。

**标签：**提示词工程、思维链、少样本、评估、测试、提示词版本控制

核心能力

• 提示词模式 — 6 层系统提示词架构、思维链（标准、草稿纸、自洽性）、少样本设计与动态选择、JSON／分节输出结构、分解流水线、校准（温度 + 置信度等级）。
• 测试框架 — 测试用例结构、测试套件组成（40/30/15/15）、包含加权公式的 5 维自动评分标准，以及回归测试协议。
• 版本控制 — 版本控制目录结构、包含理由／基线／回滚信息的变更日志格式，以及提示词差异风险检查清单。
• 故障模式目录 — 指令覆盖、格式漂移、谄媚、冗长、幻觉、锚定、中间信息丢失，并为每种模式提供修复方法。
• 生命周期工作流 — 设计提示词、调试效果退化的提示词、将提示词迁移到新模型。

适用场景

• 设计生产级提示词或构建提示词库。
• 对提示词变体进行 A/B 测试或回归测试。
• 对提示词进行版本控制，并依据测试分数决定是否接受变更。
• 调试效果退化的提示词，或在不同模型间迁移提示词。

先行确认

设计或测试提示词前，请确认以下信息。如果有任何信息未知或含糊不清，请提问，不要自行假设：

• 任务与「优质」的定义 — 提示词必须生成什么，以及如何判断是否成功（决定 5 维评估标准）
• 目标模型 — 不同模型的校准方式（温度、少样本数量）和迁移路径各不相同
• 生命周期阶段 — 设计新提示词／调试效果退化的提示词／迁移到新模型（据此选择工作流）

停止规则：只询问最可能显著影响结果的 2-3 项。如果用户说「直接起草」，则继续，并在产物开头列出你的假设。

工具

工具	用途	命令
eval_scorer.py	对 JSON 测试用例的评估结果进行评分（精确匹配／包含匹配／正则表达式）	python scripts/eval_scorer.py suite.json --fail-under 0.80 --json
prompt_analyzer.py	分析提示词文件的清晰度、指令密度、少样本覆盖率和 token 数	python scripts/prompt_analyzer.py my_prompt.txt --json
prompt_diff.py	比较两个提示词版本的结构变更、指令差异和风险	python scripts/prompt_diff.py v2.txt v3.txt --show-diff --json

参考资料

按任务加载相应参考资料 — 保持此文件精简，按需查阅详细内容：

• references/prompt-patterns-catalog.md — 提示词技术完整目录及示例：系统提示词架构、思维链、少样本、输出结构、分解和校准。设计或组织提示词时阅读。
• references/testing-and-versioning.md — 测试用例设计、测试套件组成、评估标准与评分公式、回归协议、版本控制策略、变更日志格式和差异分析。构建测试套件或管理版本时阅读。
• references/failure-modes-and-workflows.md — 常见故障模式、三个生命周期工作流、快速查阅集成表、故障排查矩阵和成功标准。调试提示词或执行工作流时阅读。

范围与限制

此技能涵盖：

• 为生产级 AI 应用设计、组织和分层系统提示词
• 构建并运行测试套件、评估标准和提示词质量回归测试
• 使用变更日志、基线和回滚计划对提示词进行版本管理
• 校准技术，包括温度调优、置信度等级和少样本示例选择

此技能不涵盖：

• 微调或训练模型——训练工作流请参阅 engineering/model-training-pipeline
• 检索增强生成（RAG）管线设计——上下文检索架构请参阅 engineering/context-engine
• Agent 编排和多步工具调用——Agent 系统设计请参阅 engineering/agent-designer
• 大模型基础设施、托管或成本优化——推理基础设施模式请参阅 engineering/llm-gateway-design

集成点

技能	集成方式	数据流
agent-designer	Agent 系统提示词风险最高；使用此工具包对其进行测试和版本管理	Agent 规范 → 提示词层 → 经过测试的系统提示词
self-improving-agent	提示词退化信号会反馈到自我改进循环中，以便自动纠正	测试套件结果 → 回归警报 → 提示词迭代
context-engine	检索到的上下文质量会直接影响提示词效果；应协调检索调优与提示词测试	检索到的文本块 → 提示词上下文层 → 评估分数
ab-test-setup	在全面发布前，以严谨的统计方法在生产环境中对提示词变体进行 A/B 测试	提示词候选版本 → 流量拆分 → 评分比较 → 推广优胜版本
llm-gateway-design	网关在基础设施层处理提示词路由、版本管理和模型回退	已版本化的提示词 → 网关配置 → 模型路由 → 响应日志
code-review-automation	代码审查提示词是高频生产提示词，可受益于此工具包的测试框架	审查标准 → 提示词设计 → 测试套件 → 已部署的审查提示词