关于 meta-prompt
一组用于评估 AI 回答和分析问答轨迹的元提示方法,包含评分标准、结构化反思字段,以及用于复核和分析的提示模式。
主要功能
- 01回答质量评分
- 02结构化回答反思
- 03解决轨迹分析
- 04提示工程模式
- 05质量与轨迹评分标准
适用场景
- 01复核 AI 生成的回答
- 02评估任务是否已解决
- 03分析问答过程中的步骤
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ mindrally/ skills --skill meta-prompt安装后在 Claude Code 中输入/meta-prompt确认已加载。
详细介绍
元提示词
用于评估和分析 AI 响应及解决路径的一系列元提示技术。
响应质量评估器
一种用于批评和反思响应质量的框架,可提供评分,并指出响应是否已完整解决问题或任务。
评估字段
反思:对响应的充分性、冗余程度和整体质量进行批评与反思。
评分:对候选响应质量的 0-10 分评分。
已找到解决方案:响应是否已完整解决问题或任务。
评估标准
评估响应时,请考虑以下方面:
- 准确性:响应是否正确地处理了问题或任务?
- 完整性:响应是否涵盖了问题或任务的所有方面?
- 清晰度:响应是否清晰易懂?
- 简洁性:响应是否足够简洁,同时未牺牲重要细节?
- 相关性:响应是否始终围绕当前问题或任务?
请围绕这些方面及其他相关因素提供深入的反思。使用评分表示整体质量,并且仅当响应完整处理了问题或完成了任务时,才将 found_solution 设为 true。
使用示例
reflections: "The response was clear and concise, addressing the main question effectively. However, it could have provided more context on edge cases."
score: 8
found_solution: true
问答轨迹分析器
用于分析问答任务解决路径的指南。
轨迹组成部分
观察:有关当前情况的环境信息,为决策提供背景。
思考:针对当前情况进行推理,分析已观察到的信息并规划后续步骤。
行动:为推进任务解决而采取的步骤。
行动类型
Search[entity]:搜索确切实体,并在该实体存在时返回相关信息;如果不存在,则返回相似实体的建议。
Lookup[keyword]:返回包含该关键词的下一段相关内容。用于查找检索内容中的具体信息。
Finish[answer]:返回答案并结束任务。当已收集到足够信息、能够给出明确答复时使用。
分析指南
分析轨迹时:
- 评估每项观察是否提供了有用信息
- 判断思考是否展现了合乎逻辑的推理
- 根据当前状态判断行动是否恰当
- 对轨迹的正确性进行 1-10 分评分
- 即使轨迹不完整,也要评估推理是否有效
- 不要生成额外步骤;只分析已提供的内容
提示工程模式
思维链
引导模型逐步推理:
Let's approach this step by step:
1. First, identify the key components
2. Then, analyze each component
3. Finally, synthesize the findings
少样本学习
提供示例以确立模式:
Example 1: [input] -> [output]
Example 2: [input] -> [output]
Now apply this pattern to: [new input]
自一致性
生成多条推理路径,并选择最一致的答案。
反思提示词
鼓励自我批评:
Review your response and identify:
- Any potential errors or oversights
- Areas that could be explained more clearly
- Missing information that would strengthen the answer
质量指标
响应评分标准
- 10:完美的响应,以出色的清晰度完整涵盖所有方面
- 8-9:优秀的响应,仅有少量改进空间
- 6-7:良好的响应,涵盖了要点,但深度不足
- 4-5:尚可的响应,但存在明显缺漏或解释不清
- 2-3:较差的响应,遗漏关键方面或包含错误
- 0-1:响应未能处理问题,或完全错误
轨迹评分
- 10:路径最优,步骤高效且合乎逻辑
- 7-9:路径良好,仅有少量低效之处
- 4-6:路径尚可,但包含不必要的步骤或错失机会
- 1-3:路径较差,存在根本性的推理错误
评论
支持 Markdown