关于 idea-tournament
idea-tournament 是面向研究者的研究构思技能,用于生成并排序具体研究方向。它结合树状扩展与 Elo 两两比较,再将领先方案发展为研究提案。
主要功能
- 01树状扩展研究构想
- 02剪除明显不可行的分支
- 03按四项标准进行 Elo 两两排名
- 04综合排名前三的方向
- 05研究提案结构
适用场景
- 01探索研究方向的不同方案
- 02在确定方向前比较候选构想
- 03将排名靠前的构想扩展为提案
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ evoscientist/ evoskills --skill idea-tournament安装后在 Claude Code 中输入/idea-tournament确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
assets/direction-summary-template.mdidea-candidate-template.mdranking-scorecard-template.mdreferences/elo-ranking-guide.mdproposal-extension.mdtree-search-protocol.md详细介绍
创意锦标赛
一个结构化框架,通过基于树的扩展生成多样化的研究创意,然后在四个质量维度上通过 Elo 评分的两两锦标赛选出最有潜力的候选项。
何时使用此技能
- 用户通过
research-ideation获得了研究方向,需要具体且经过排序的创意 - 用户想在确定方向前系统地比较多个研究创意
- 用户询问创意排名、竞争式筛选或提案生成
- 用户想探索某个研究概念的不同变体,并选出最佳方案
- 用户提到“创意锦标赛”“对创意排名”“比较方案”“研究提案”“哪个创意最好”
从方向到提案
从“我有一个研究方向”到“我有一个具体提案”之间的差距,是大多数研究人员停滞不前的地方。他们要么直接采用第一个创意(错过更好的替代方案),要么无休止地头脑风暴,却始终无法收敛(分析瘫痪)。
锦标赛能同时解决这两个问题。阶段 1 强制拓展思路——通过系统地改变技术、领域和问题表述,最多生成 N_I=21 个候选项(论文设定的上限)。阶段 2 强制收敛——通过两两 Elo 比较找出最有潜力的创意,无需同时在脑中记住所有候选项。
开始之前:
- 从创意记忆(M_I)中加载先前的知识:
- 参阅 evo-memory 技能 → 在
/memory/ideation-memory.md中读取 M_I - 通过比较每条记录的 Summary 和 Retrieval Tags 与用户当前目标的匹配程度,选出最相关的前 2 条记录(k_I=2)
- 可行方向将作为树的种子——在阶段 1 中将其纳入第 1 层分支
- 不成功的方向(仅限根本性失败)将在剪枝时使用——剪除任何符合根本性失败模式的树分支
- 如果 M_I 尚不存在(首次循环),则跳过此步骤
- 参阅 evo-memory 技能 → 在
- 检索与用户目标 G 相关的文献 L。论文将创意树搜索定义为 IdeaTreeSearch(G, L, K_I)——文献与用户目标和检索到的记忆一样,都是正式输入。使用网络搜索或用户提供的论文,确保创意基于现有研究。
阶段 1:树结构创意生成
通过每层改变一个维度,将种子创意扩展为候选项树。树结构可确保多样性——每个分支都探索根本不同的变体,而不是对同一概念做细微调整。
三个维度
| 层级 | 维度 | 变化内容 | 示例 |
|---|---|---|---|
| 0 | 种子 | 起始研究方向 | “高效的大模型推理” |
| 1 | 技术 | 核心技术方案 | 剪枝、量化、蒸馏 |
| 2 | 领域 | 应用场景 | 边缘设备、多模态、长上下文 |
| 3 | 问题表述 | 问题的界定方式 | 受延迟限制、受内存限制、保持准确率 |
扩展流程
第 0 层——种子(1 个节点):从 research-ideation 中的研究方向开始。这是根节点。
第 1 层——技术变体(3 个节点):针对种子方向生成 3 种根本不同的技术方案。这些方案应属于不同范式,而不是同一种技术的不同变体。仔细思考并确认每种方案确实各不相同。
第 2 层——领域适配(6–9 个节点):针对每个第 1 层节点,生成 2–3 种特定领域的适配方案。这种技术在不同场景下如何应用?哪些领域特有的限制会带来新的挑战?
第 3 层——问题表述变体(总计最多 N_I=21 个叶节点):针对每个第 2 层节点,细化出 1–3 种具体的问题表述。问题表述应明确界定问题本身——输入、输出、限制条件和评估标准。论文将 N_I=21 设为候选创意数量的上限。如果树生成的叶节点少于 15 个,则进一步扩展第 2 层或第 3 层。如果超过 21 个,则进行剪枝,使数量保持在 N_I 上限内。
每个节点的循环:提出 → 评审 → 完善
对于每个新节点:
- 提出:用 2-3 句话描述这个想法
- 评审:批判性地评估——它真的与同级节点不同吗?它至少有一定的可行性吗?
- 完善:根据评审结果打磨描述。删除含糊的表述。明确说明创新点。
剪枝
扩展每个层级后,剪去明显不可行的分支。如果某个分支:
- 需要根本无法获取的资源(例如,你无法访问的专有数据集)
- 与公认的理论成果相矛盾
- 与已有成熟方案重复,且没有实质性变化
- 出现在
evo-memory的失败方向中,且属于根本性失败(而非实现失败)
则该分支属于“明显不可行”。
重要:剪枝只移除明显行不通的想法。不要剪掉有风险、非传统或超出你当前专业知识范围的想法——竞赛正是为了公平地评估这些想法而设计的。
将完整的树保存到 /idea-tree.md。
详细的扩展规则和多样性指标请参阅 references/tree-search-protocol.md。
阶段 2:Elo 竞赛排名
通过四个质量维度的两两比较,对所有叶节点候选方案进行排名。瑞士制配对可以控制比较次数,同时仍能得出可靠的排名。
四个维度
| 维度 | 权重 | 衡量内容 |
|---|---|---|
| 新颖性 | 25% | 与现有已发表成果相比,这个想法有多大不同? |
| 可行性 | 25% | 能否在合理的时间和资源范围内实现并验证? |
| 相关性 | 25% | 这个想法是否针对该领域的重要开放问题? |
| 清晰度 | 25% | 这个想法的定义是否足够清晰,可以立即着手研究? |
所有维度的权重相同。研究人员往往过度看重新颖性,而低估可行性——采用相同权重可以纠正这种偏差。
竞赛机制
初始 Elo:所有候选方案均为 1500。
K 因子:32(新选手的标准值;足以让几场比赛显著改变评分)。
瑞士制配对(4-5 轮):
- 第 1 轮:随机配对
- 后续轮次:为当前 Elo 评分相近的候选方案配对,并避免重复对决
- 对于 15-21 个候选方案,4-5 轮足以得出稳定的排名
每场比赛的流程:
- 并排展示两个候选方案及其完整描述
- 按全部 4 个维度分别评分(1-10 分制)
- 计算综合得分(4 个维度的平均分)
- 确定比赛胜者(综合得分较高者)
- 使用标准公式更新 Elo 评分(公式、计算示例和收敛标准请参阅 elo-ranking-guide.md)
将排名保存到 /idea-rankings.md。
详细的评分标准和收敛标准请参阅 references/elo-ranking-guide.md。
阶段 3:方向总结
将排名前三的想法综合为一份“有前景的方向”摘要。这样做有两个目的:保留选择空间(最佳想法可能结合多个候选方案的要素),并将其提供给 evo-memory,用于后续周期。
总结流程
对于排名前 3 的每个想法:
- 提炼核心研究方向(概括掉具体实现细节)
- 找出让该方向前景看好的关键洞见
- 指出主要风险或不确定性
- 对照
evo-memory——该方向以前探索过吗?有哪些经验教训?
然后综合排名前 3 的想法:
- 它们有哪些共同之处?这些共同点可能指向一个更有力的综合方向。
- 排名靠前的想法在哪些维度上表现出色?是否存在某些规律(例如,所有排名靠前的想法可行性得分都很高,但新颖性得分一般)?
- 有什么遗漏?原始种子中是否有重要方面没有被任何排名靠前的想法涉及?
保存到 /direction-summary.md。
完成后,触发 evo-memory IDE(想法方向演进),使用已确定的有前景方向更新 Ideation Memory。
第四阶段:扩展提案
将锦标赛获胜方案(排名第 1)扩展为完整的研究提案,提供足够的细节以便开始实施。
提案结构
论文将提案 P 定义为包含 5 个部分:背景、相关工作、方法、实验计划和预期结果。我们将其扩展为第 6 个实践部分(风险与缓解措施)。
1. 背景:明确界定问题——输入、输出、约束,以及现有解决方案为何不足。具体说明:“在内存不足 2GB 的边缘设备上进行大模型推理,同时保持超过完整模型准确率 90%”是背景陈述;“让大模型更快”则不是。包含背景信息和研究动机。
2. 相关工作:说明该想法在现有文献中的定位。已有过哪些尝试?存在哪些空白?本部分应参考 L 在第一阶段生成树时检索到的文献。
3. 拟议方法:详细描述技术方案,使其足以支持实施。说明使该方案区别于以往工作的关键洞见。明确列出假设。列出 3 项可检验的贡献。
4. 实验计划:数据集、基线、指标和消融设计。本部分应与 experiment-pipeline 第四阶段的需求保持一致。适当加入定量指标和定性评估。
5. 预期结果:定量目标(例如,“延迟降低 15-20%,准确率损失低于 2%”)和定性预期。具体说明预期结果有助于判断该想法是否切实可行。
6. 风险与缓解措施(实践扩展):可能妨碍成功的技术风险,以及针对每项风险的备用方案。提案中没有风险分析,要么不够坦诚,要么分析不足。本部分不在论文中,但对制定实际研究计划很有价值。
保存到 /research-proposal.md。
有关各部分的详细指南,请参阅 references/proposal-extension.md。
反直觉的锦标赛规则
在构思和排名时优先遵循以下规则:
-
数量优先于质量:先生成大量候选想法,再进行评估。过早筛选会扼杀多样性。在看过其他选项之前,你无法知道哪个想法最强——而最好的想法往往来自树中意想不到的分支。
-
每个层级只改变一个维度:同时改变多个维度,得到的想法虽然不同,却未必真正多样。树的每个层级都应探索一个变化维度,这样你才能确切了解每个分支的独特之处。
-
可行性不可或缺:出色却不可行的想法会浪费整个研究周期。在约束条件内无法验证的新颖想法并非贡献,而只是思想实验。应将可行性与新颖性同等看待。
-
锦标赛会带来意外发现:结构化的两两比较往往会发现,你最初看好的想法其实并非最强。相信排名,而不是直觉。如果结果出乎意料,说明锦标赛正在发挥作用——它揭示了仅凭直觉无法发现的信息。
-
剪枝不等于选择:只剪掉明显不可行的分支。质量排名交由锦标赛处理。如果你在锦标赛开始前就大幅剪枝,便是在用最初的直觉取代系统化比较——而这正是锦标赛旨在纠正的偏见。
-
选前 3,而非只选第 1:总结排名前 3 的方向(而不只是赢家)可以保留选择空间。最终最好的方案可能会结合多个顶尖候选的要素。过早地只认定一个想法,会丢弃有价值的信息。
移交给规划阶段
锦标赛结束并完成提案后,将以下材料交给 paper-planning:
| 材料 | 来源阶段 | 用途 |
|---|---|---|
| 研究提案(5+1 个部分) | 阶段 4 | 故事设计、实验规划 |
| 想法树(完整结构) | 阶段 1 | 相关工作定位 |
| Elo 排名及分数 | 阶段 2 | 论证所选方向的依据 |
| 方向摘要(前 3 名) | 阶段 3 | 主要方向失败时的备选方向 |
| 锦标赛评分卡 | 阶段 2 | 了解想法的优势与劣势 |
还要将结果交给 evo-memory,用于演进更新:
- 使用阶段 3 的前 3 个方向触发 IDE(想法方向演进)
技能集成
开始前(加载记忆)
参考 evo-memory 技能以读取构思记忆:
→ 读取 M_I,路径为 /memory/ideation-memory.md
阶段 3 之后(更新记忆)
参考 evo-memory 技能并触发 IDE:
→ 使用 /direction-summary.md 运行 IDE 协议
阶段 4 之后(移交给规划阶段)
参考 paper-planning 技能:
→ 传递 /research-proposal.md
参考资料导航
| 主题 | 参考文件 | 使用时机 |
|---|---|---|
| 树扩展规则与多样性 | tree-search-protocol.md | 生成多样化的想法候选 |
| Elo 公式、评分标准与配对 | elo-ranking-guide.md | 进行锦标赛 |
| 提案各部分的撰写指南 | proposal-extension.md | 撰写研究提案 |
| 想法候选模板 | idea-candidate-template.md | 描述单个想法 |
| 排名评分卡模板 | ranking-scorecard-template.md | 记录两两比较结果 |
| 方向摘要模板 | direction-summary-template.md | 综合排名前 3 的方向 |