关于 llm-tuning-patterns
llm-tuning-patterns 是按任务选择 LLM 参数的技能,依据 APOLLO 和 Godel-Prover 研究,提供定理证明、代码生成和创意探索的参数与提示模式。
主要功能
- 01按任务提供 LLM 参数建议
- 02定理证明设置与证明计划提示词
- 03难题的并行采样方法
- 04代码生成参数建议
- 05创意任务设置与反模式
适用场景
- 01为定理证明配置 LLM
- 02根据证明计划生成 Lean 4 策略
- 03调整代码生成参数
- 04为创意探索选择参数
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ parcadei/ continuous-claude-v3 --skill llm-tuning-patterns安装后在 Claude Code 中输入/llm-tuning-patterns确认已加载。
详细介绍
LLM 调优模式
基于 APOLLO 和 Godel-Prover 研究的证据型模式,用于配置 LLM 参数。
模式
不同任务需要不同的 LLM 配置。请使用这些基于证据的设置。
定理证明/形式推理
基于 APOLLO 奇偶性分析:
| 参数 | 值 | 原因 |
|---|---|---|
| max_tokens | 4096 | 证明需要足够空间来进行思维链推理 |
| temperature | 0.6 | 提高创造性,以探索策略 |
| top_p | 0.95 | 允许多样化的证明路径 |
证明计划提示词
在尝试策略之前,始终先要求提供证明计划:
Given the theorem to prove:
[theorem statement]
First, write a high-level proof plan explaining your approach.
Then, suggest Lean 4 tactics to implement each step.
证明计划(思维链)能显著提升策略质量。
并行采样
对于困难的证明,使用并行采样:
- 生成 N=8-32 个候选证明尝试
- 使用 best-of-N 选择
- 每个样本的 temperature 为 0.6-0.8
代码生成
| 参数 | 值 | 原因 |
|---|---|---|
| max_tokens | 2048 | 足以应对大多数函数 |
| temperature | 0.2-0.4 | 优先选择确定性输出 |
创意/探索任务
| 参数 | 值 | 原因 |
|---|---|---|
| max_tokens | 4096 | 为探索留出空间 |
| temperature | 0.8-1.0 | 最大限度激发创造力 |
反模式
- 证明时 token 数过少:512 个 token 会截断思维链
- 证明时温度过低:0.2 会错过富有创造性的策略路径
- 没有证明计划:不做规划就直接尝试策略会降低成功率
来源会话
- 本会话:APOLLO 奇偶性分析——将 max_tokens 从 512 提高到 4096,将 temp 从 0.2 提高到 0.6
- 本会话:添加证明计划提示词,在尝试策略之前引导思维链
评论
支持 Markdown