mcpField
L
llm-tuning-patterns

llm-tuning-patterns

github.com/parcadeiAgent 工作流3.9k480 次安装39 周前更新
代码仓库

关于 llm-tuning-patterns

llm-tuning-patterns 是按任务选择 LLM 参数的技能,依据 APOLLO 和 Godel-Prover 研究,提供定理证明、代码生成和创意探索的参数与提示模式。

主要功能

  1. 01按任务提供 LLM 参数建议
  2. 02定理证明设置与证明计划提示词
  3. 03难题的并行采样方法
  4. 04代码生成参数建议
  5. 05创意任务设置与反模式

适用场景

  1. 01为定理证明配置 LLM
  2. 02根据证明计划生成 Lean 4 策略
  3. 03调整代码生成参数
  4. 04为创意探索选择参数

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/parcadei/continuous-claude-v3 --skill llm-tuning-patterns

安装后在 Claude Code 中输入/llm-tuning-patterns确认已加载。

详细介绍

LLM 调优模式

基于 APOLLO 和 Godel-Prover 研究的证据型模式,用于配置 LLM 参数。

模式

不同任务需要不同的 LLM 配置。请使用这些基于证据的设置。

定理证明/形式推理

基于 APOLLO 奇偶性分析:

参数值原因
max_tokens4096证明需要足够空间来进行思维链推理
temperature0.6提高创造性,以探索策略
top_p0.95允许多样化的证明路径
证明计划提示词

在尝试策略之前,始终先要求提供证明计划:

Given the theorem to prove:
[theorem statement]

First, write a high-level proof plan explaining your approach.
Then, suggest Lean 4 tactics to implement each step.

证明计划(思维链)能显著提升策略质量。

并行采样

对于困难的证明,使用并行采样:

  • 生成 N=8-32 个候选证明尝试
  • 使用 best-of-N 选择
  • 每个样本的 temperature 为 0.6-0.8

代码生成

参数值原因
max_tokens2048足以应对大多数函数
temperature0.2-0.4优先选择确定性输出

创意/探索任务

参数值原因
max_tokens4096为探索留出空间
temperature0.8-1.0最大限度激发创造力

反模式

  • 证明时 token 数过少:512 个 token 会截断思维链
  • 证明时温度过低:0.2 会错过富有创造性的策略路径
  • 没有证明计划:不做规划就直接尝试策略会降低成功率

来源会话

  • 本会话:APOLLO 奇偶性分析——将 max_tokens 从 512 提高到 4096,将 temp 从 0.2 提高到 0.6
  • 本会话:添加证明计划提示词,在尝试策略之前引导思维链

评论

支持 Markdown