mcpField
I
idea-tournament

idea-tournament

github.com/evoscientist生产力481131 次安装1 天前更新
代码仓库

关于 idea-tournament

idea-tournament 是面向研究者的研究构思技能,用于生成并排序具体研究方向。它结合树状扩展与 Elo 两两比较,再将领先方案发展为研究提案。

主要功能

  1. 01树状扩展研究构想
  2. 02剪除明显不可行的分支
  3. 03按四项标准进行 Elo 两两排名
  4. 04综合排名前三的方向
  5. 05研究提案结构

适用场景

  1. 01探索研究方向的不同方案
  2. 02在确定方向前比较候选构想
  3. 03将排名靠前的构想扩展为提案

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/evoscientist/evoskills --skill idea-tournament

安装后在 Claude Code 中输入/idea-tournament确认已加载。

包含的文件

除 SKILL.md 外,安装时一起下载的参考资料和脚本。

assets/
direction-summary-template.md
idea-candidate-template.md
ranking-scorecard-template.md
references/
elo-ranking-guide.md
proposal-extension.md
tree-search-protocol.md

详细介绍

创意锦标赛

一个结构化框架,通过基于树的扩展生成多样化的研究创意,然后在四个质量维度上通过 Elo 评分的两两锦标赛选出最有潜力的候选项。

何时使用此技能

  • 用户通过 research-ideation 获得了研究方向,需要具体且经过排序的创意
  • 用户想在确定方向前系统地比较多个研究创意
  • 用户询问创意排名、竞争式筛选或提案生成
  • 用户想探索某个研究概念的不同变体,并选出最佳方案
  • 用户提到“创意锦标赛”“对创意排名”“比较方案”“研究提案”“哪个创意最好”

从方向到提案

从“我有一个研究方向”到“我有一个具体提案”之间的差距,是大多数研究人员停滞不前的地方。他们要么直接采用第一个创意(错过更好的替代方案),要么无休止地头脑风暴,却始终无法收敛(分析瘫痪)。

锦标赛能同时解决这两个问题。阶段 1 强制拓展思路——通过系统地改变技术、领域和问题表述,最多生成 N_I=21 个候选项(论文设定的上限)。阶段 2 强制收敛——通过两两 Elo 比较找出最有潜力的创意,无需同时在脑中记住所有候选项。

开始之前:

  1. 从创意记忆(M_I)中加载先前的知识:
    • 参阅 evo-memory 技能 → 在 /memory/ideation-memory.md 中读取 M_I
    • 通过比较每条记录的 Summary 和 Retrieval Tags 与用户当前目标的匹配程度,选出最相关的前 2 条记录(k_I=2)
    • 可行方向将作为树的种子——在阶段 1 中将其纳入第 1 层分支
    • 不成功的方向(仅限根本性失败)将在剪枝时使用——剪除任何符合根本性失败模式的树分支
    • 如果 M_I 尚不存在(首次循环),则跳过此步骤
  2. 检索与用户目标 G 相关的文献 L。论文将创意树搜索定义为 IdeaTreeSearch(G, L, K_I)——文献与用户目标和检索到的记忆一样,都是正式输入。使用网络搜索或用户提供的论文,确保创意基于现有研究。

阶段 1:树结构创意生成

通过每层改变一个维度,将种子创意扩展为候选项树。树结构可确保多样性——每个分支都探索根本不同的变体,而不是对同一概念做细微调整。

三个维度
层级维度变化内容示例
0种子起始研究方向“高效的大模型推理”
1技术核心技术方案剪枝、量化、蒸馏
2领域应用场景边缘设备、多模态、长上下文
3问题表述问题的界定方式受延迟限制、受内存限制、保持准确率
扩展流程

第 0 层——种子(1 个节点):从 research-ideation 中的研究方向开始。这是根节点。

第 1 层——技术变体(3 个节点):针对种子方向生成 3 种根本不同的技术方案。这些方案应属于不同范式,而不是同一种技术的不同变体。仔细思考并确认每种方案确实各不相同。

第 2 层——领域适配(6–9 个节点):针对每个第 1 层节点,生成 2–3 种特定领域的适配方案。这种技术在不同场景下如何应用?哪些领域特有的限制会带来新的挑战?

第 3 层——问题表述变体(总计最多 N_I=21 个叶节点):针对每个第 2 层节点,细化出 1–3 种具体的问题表述。问题表述应明确界定问题本身——输入、输出、限制条件和评估标准。论文将 N_I=21 设为候选创意数量的上限。如果树生成的叶节点少于 15 个,则进一步扩展第 2 层或第 3 层。如果超过 21 个,则进行剪枝,使数量保持在 N_I 上限内。

每个节点的循环:提出 → 评审 → 完善

对于每个新节点:

  1. 提出:用 2-3 句话描述这个想法
  2. 评审:批判性地评估——它真的与同级节点不同吗?它至少有一定的可行性吗?
  3. 完善:根据评审结果打磨描述。删除含糊的表述。明确说明创新点。
剪枝

扩展每个层级后,剪去明显不可行的分支。如果某个分支:

  • 需要根本无法获取的资源(例如,你无法访问的专有数据集)
  • 与公认的理论成果相矛盾
  • 与已有成熟方案重复,且没有实质性变化
  • 出现在 evo-memory 的失败方向中,且属于根本性失败(而非实现失败)

则该分支属于“明显不可行”。

重要:剪枝只移除明显行不通的想法。不要剪掉有风险、非传统或超出你当前专业知识范围的想法——竞赛正是为了公平地评估这些想法而设计的。

将完整的树保存到 /idea-tree.md。

详细的扩展规则和多样性指标请参阅 references/tree-search-protocol.md。

阶段 2:Elo 竞赛排名

通过四个质量维度的两两比较,对所有叶节点候选方案进行排名。瑞士制配对可以控制比较次数,同时仍能得出可靠的排名。

四个维度
维度权重衡量内容
新颖性25%与现有已发表成果相比,这个想法有多大不同?
可行性25%能否在合理的时间和资源范围内实现并验证?
相关性25%这个想法是否针对该领域的重要开放问题?
清晰度25%这个想法的定义是否足够清晰,可以立即着手研究?

所有维度的权重相同。研究人员往往过度看重新颖性,而低估可行性——采用相同权重可以纠正这种偏差。

竞赛机制

初始 Elo:所有候选方案均为 1500。

K 因子:32(新选手的标准值;足以让几场比赛显著改变评分)。

瑞士制配对(4-5 轮):

  1. 第 1 轮:随机配对
  2. 后续轮次:为当前 Elo 评分相近的候选方案配对,并避免重复对决
  3. 对于 15-21 个候选方案,4-5 轮足以得出稳定的排名

每场比赛的流程:

  1. 并排展示两个候选方案及其完整描述
  2. 按全部 4 个维度分别评分(1-10 分制)
  3. 计算综合得分(4 个维度的平均分)
  4. 确定比赛胜者(综合得分较高者)
  5. 使用标准公式更新 Elo 评分(公式、计算示例和收敛标准请参阅 elo-ranking-guide.md)

将排名保存到 /idea-rankings.md。

详细的评分标准和收敛标准请参阅 references/elo-ranking-guide.md。

阶段 3:方向总结

将排名前三的想法综合为一份“有前景的方向”摘要。这样做有两个目的:保留选择空间(最佳想法可能结合多个候选方案的要素),并将其提供给 evo-memory,用于后续周期。

总结流程

对于排名前 3 的每个想法:

  1. 提炼核心研究方向(概括掉具体实现细节)
  2. 找出让该方向前景看好的关键洞见
  3. 指出主要风险或不确定性
  4. 对照 evo-memory——该方向以前探索过吗?有哪些经验教训?

然后综合排名前 3 的想法:

  • 它们有哪些共同之处?这些共同点可能指向一个更有力的综合方向。
  • 排名靠前的想法在哪些维度上表现出色?是否存在某些规律(例如,所有排名靠前的想法可行性得分都很高,但新颖性得分一般)?
  • 有什么遗漏?原始种子中是否有重要方面没有被任何排名靠前的想法涉及?

保存到 /direction-summary.md。

完成后,触发 evo-memory IDE(想法方向演进),使用已确定的有前景方向更新 Ideation Memory。

第四阶段:扩展提案

将锦标赛获胜方案(排名第 1)扩展为完整的研究提案,提供足够的细节以便开始实施。

提案结构

论文将提案 P 定义为包含 5 个部分:背景、相关工作、方法、实验计划和预期结果。我们将其扩展为第 6 个实践部分(风险与缓解措施)。

1. 背景:明确界定问题——输入、输出、约束,以及现有解决方案为何不足。具体说明:“在内存不足 2GB 的边缘设备上进行大模型推理,同时保持超过完整模型准确率 90%”是背景陈述;“让大模型更快”则不是。包含背景信息和研究动机。

2. 相关工作:说明该想法在现有文献中的定位。已有过哪些尝试?存在哪些空白?本部分应参考 L 在第一阶段生成树时检索到的文献。

3. 拟议方法:详细描述技术方案,使其足以支持实施。说明使该方案区别于以往工作的关键洞见。明确列出假设。列出 3 项可检验的贡献。

4. 实验计划:数据集、基线、指标和消融设计。本部分应与 experiment-pipeline 第四阶段的需求保持一致。适当加入定量指标和定性评估。

5. 预期结果:定量目标(例如,“延迟降低 15-20%,准确率损失低于 2%”)和定性预期。具体说明预期结果有助于判断该想法是否切实可行。

6. 风险与缓解措施(实践扩展):可能妨碍成功的技术风险,以及针对每项风险的备用方案。提案中没有风险分析,要么不够坦诚,要么分析不足。本部分不在论文中,但对制定实际研究计划很有价值。

保存到 /research-proposal.md。

有关各部分的详细指南,请参阅 references/proposal-extension.md。

反直觉的锦标赛规则

在构思和排名时优先遵循以下规则:

  1. 数量优先于质量:先生成大量候选想法,再进行评估。过早筛选会扼杀多样性。在看过其他选项之前,你无法知道哪个想法最强——而最好的想法往往来自树中意想不到的分支。

  2. 每个层级只改变一个维度:同时改变多个维度,得到的想法虽然不同,却未必真正多样。树的每个层级都应探索一个变化维度,这样你才能确切了解每个分支的独特之处。

  3. 可行性不可或缺:出色却不可行的想法会浪费整个研究周期。在约束条件内无法验证的新颖想法并非贡献,而只是思想实验。应将可行性与新颖性同等看待。

  4. 锦标赛会带来意外发现:结构化的两两比较往往会发现,你最初看好的想法其实并非最强。相信排名,而不是直觉。如果结果出乎意料,说明锦标赛正在发挥作用——它揭示了仅凭直觉无法发现的信息。

  5. 剪枝不等于选择:只剪掉明显不可行的分支。质量排名交由锦标赛处理。如果你在锦标赛开始前就大幅剪枝,便是在用最初的直觉取代系统化比较——而这正是锦标赛旨在纠正的偏见。

  6. 选前 3,而非只选第 1:总结排名前 3 的方向(而不只是赢家)可以保留选择空间。最终最好的方案可能会结合多个顶尖候选的要素。过早地只认定一个想法,会丢弃有价值的信息。

移交给规划阶段

锦标赛结束并完成提案后,将以下材料交给 paper-planning:

材料来源阶段用途
研究提案(5+1 个部分)阶段 4故事设计、实验规划
想法树(完整结构)阶段 1相关工作定位
Elo 排名及分数阶段 2论证所选方向的依据
方向摘要(前 3 名)阶段 3主要方向失败时的备选方向
锦标赛评分卡阶段 2了解想法的优势与劣势

还要将结果交给 evo-memory,用于演进更新:

  • 使用阶段 3 的前 3 个方向触发 IDE(想法方向演进)

技能集成

开始前(加载记忆)

参考 evo-memory 技能以读取构思记忆: → 读取 M_I,路径为 /memory/ideation-memory.md

阶段 3 之后(更新记忆)

参考 evo-memory 技能并触发 IDE: → 使用 /direction-summary.md 运行 IDE 协议

阶段 4 之后(移交给规划阶段)

参考 paper-planning 技能: → 传递 /research-proposal.md

参考资料导航

主题参考文件使用时机
树扩展规则与多样性tree-search-protocol.md生成多样化的想法候选
Elo 公式、评分标准与配对elo-ranking-guide.md进行锦标赛
提案各部分的撰写指南proposal-extension.md撰写研究提案
想法候选模板idea-candidate-template.md描述单个想法
排名评分卡模板ranking-scorecard-template.md记录两两比较结果
方向摘要模板direction-summary-template.md综合排名前 3 的方向

评论

支持 Markdown