mcpField
M
meta-prompt

meta-prompt

github.com/mindrallyAgent 工作流287696 次安装3 周前更新
代码仓库

关于 meta-prompt

一组用于评估 AI 回答和分析问答轨迹的元提示方法,包含评分标准、结构化反思字段,以及用于复核和分析的提示模式。

主要功能

  1. 01回答质量评分
  2. 02结构化回答反思
  3. 03解决轨迹分析
  4. 04提示工程模式
  5. 05质量与轨迹评分标准

适用场景

  1. 01复核 AI 生成的回答
  2. 02评估任务是否已解决
  3. 03分析问答过程中的步骤

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/mindrally/skills --skill meta-prompt

安装后在 Claude Code 中输入/meta-prompt确认已加载。

详细介绍

元提示词

用于评估和分析 AI 响应及解决路径的一系列元提示技术。

响应质量评估器

一种用于批评和反思响应质量的框架,可提供评分,并指出响应是否已完整解决问题或任务。

评估字段

反思:对响应的充分性、冗余程度和整体质量进行批评与反思。

评分:对候选响应质量的 0-10 分评分。

已找到解决方案:响应是否已完整解决问题或任务。

评估标准

评估响应时,请考虑以下方面:

  1. 准确性:响应是否正确地处理了问题或任务?
  2. 完整性:响应是否涵盖了问题或任务的所有方面?
  3. 清晰度:响应是否清晰易懂?
  4. 简洁性:响应是否足够简洁,同时未牺牲重要细节?
  5. 相关性:响应是否始终围绕当前问题或任务?

请围绕这些方面及其他相关因素提供深入的反思。使用评分表示整体质量,并且仅当响应完整处理了问题或完成了任务时,才将 found_solution 设为 true。

使用示例
reflections: "The response was clear and concise, addressing the main question effectively. However, it could have provided more context on edge cases."
score: 8
found_solution: true

问答轨迹分析器

用于分析问答任务解决路径的指南。

轨迹组成部分

观察:有关当前情况的环境信息,为决策提供背景。

思考:针对当前情况进行推理,分析已观察到的信息并规划后续步骤。

行动:为推进任务解决而采取的步骤。

行动类型

Search[entity]:搜索确切实体,并在该实体存在时返回相关信息;如果不存在,则返回相似实体的建议。

Lookup[keyword]:返回包含该关键词的下一段相关内容。用于查找检索内容中的具体信息。

Finish[answer]:返回答案并结束任务。当已收集到足够信息、能够给出明确答复时使用。

分析指南

分析轨迹时:

  1. 评估每项观察是否提供了有用信息
  2. 判断思考是否展现了合乎逻辑的推理
  3. 根据当前状态判断行动是否恰当
  4. 对轨迹的正确性进行 1-10 分评分
  5. 即使轨迹不完整,也要评估推理是否有效
  6. 不要生成额外步骤;只分析已提供的内容

提示工程模式

思维链

引导模型逐步推理:

Let's approach this step by step:
1. First, identify the key components
2. Then, analyze each component
3. Finally, synthesize the findings
少样本学习

提供示例以确立模式:

Example 1: [input] -> [output]
Example 2: [input] -> [output]
Now apply this pattern to: [new input]
自一致性

生成多条推理路径,并选择最一致的答案。

反思提示词

鼓励自我批评:

Review your response and identify:
- Any potential errors or oversights
- Areas that could be explained more clearly
- Missing information that would strengthen the answer

质量指标

响应评分标准
  • 10:完美的响应,以出色的清晰度完整涵盖所有方面
  • 8-9:优秀的响应,仅有少量改进空间
  • 6-7:良好的响应,涵盖了要点,但深度不足
  • 4-5:尚可的响应,但存在明显缺漏或解释不清
  • 2-3:较差的响应,遗漏关键方面或包含错误
  • 0-1:响应未能处理问题,或完全错误
轨迹评分
  • 10:路径最优,步骤高效且合乎逻辑
  • 7-9:路径良好,仅有少量低效之处
  • 4-6:路径尚可,但包含不必要的步骤或错失机会
  • 1-3:路径较差,存在根本性的推理错误

评论

支持 Markdown