council-review

Council Review

让 5 位采用不同推理方法的独立顾问审议任何问题、计划或代码；他们协作完善答案，匿名互相评审，并综合得出值得信赖的结论。

这项技能实现了**多元多 Agent 辩论（DMAD）**模式。它强调协作，而非对抗：Agent 通过多样化推理寻求真相，而不是争论对立立场。

为什么有效（研究依据）

• 方法多样性胜过单一方法辩论。 DMAD（ICLR 2025）表明，采用不同推理方法的 Agent，其表现始终优于同质化顾问团；当每个 Agent 都采用不同的推理方法时，多样化的中等能力模型在 GSM-8K 上可以胜过 GPT-4（91% 对 82%）。
• 协作式辩论胜过对抗式辩论。 M3MADBench（2026）表明，在所有模态中，协作式 DMAD 的表现都“显著优于”对抗式 Div-MAD。对抗范式会引入分歧噪声；对于开放式问题、计划和决策，协作式审议才是合适的工具。
• 匿名评审可避免服务提供商偏见。 这是文献中的普遍结论：如果角色名称可见，评审者就会倾向于采纳这些角色的意见，因此必须打乱同行评审回复的顺序。
• 置信度校准能突破鞅上限。 普通 MAD 的表现往往不如简单多数投票；置信度调节更新（《Demystifying MAD》，2026）会系统性地推动顾问团得出正确答案。
• 自适应停止可降低成本。 基于 KS 统计量的收敛检测（llmcouncil 中的 S2 MAD）报告称，对于能够收敛的问题，成本最多可降低 94.5%。
• 真正的唱反调者是唯一可靠的分歧诱发方式（V2）。 在让多 Agent 大模型团队打破共识的各种方法中，只有专门设置的唱反调者攻击逐渐形成的答案，才能产生真正的分歧；软性角色设定和“请提出异议”这类指令，其统计表现与基线无法区分。会质疑建议的大模型唱反调者能显著提高团队决策准确率（OpenReview 2026；IUI 2024）。V2 将此设为针对共识的强制环节：由一位唱反调者挑战收敛后的答案，而不是始终将顾问分成支持者和怀疑者两派。
• 谄媚会让顾问团过早达成共识（V2）。 大模型会顺从彼此，也会顺从提问框架暗示的答案，这可能导致顾问团的表现低于单个 Agent（Peacemaker-or-Troublemaker 2026；CONSENSAGENT）。V2 在顾问和同行评审提示词中加入防谄媚护栏，并加入结构化的独立评估环节（Kahneman 的中介评估协议，2019），让主席在作出整体判断之前，分别评判关键属性。

若要对已知产物（PR、草稿、规范）进行压力测试，请改用单独的 /adversarial-review 技能——针对这类任务，单一批评者的对抗式探查才是合适的工具。

何时使用

顾问团适用于犯错代价高昂的问题。

适用： 架构决策、实施计划、PR 评审、产品决策、迁移策略、API 设计、命名、定价、范围决策 不适用： 事实查询、写作任务、简单的是非题，以及任何只有一个显而易见正确答案的问题 改用其他工具： 对现有产物进行单一批评者压力测试 → /adversarial-review

标志

标志	效果
--quick	轻量模式：3 位顾问 + 主席，不进行同行评审（调用 4 次，而非 11 次）
--adaptive	KS 统计量自适应停止。运行多轮辩论；当响应分布连续两轮收敛至 epsilon 以下时停止。对于收敛的问题，最多可降低 94.5% 的成本。
--confidence	置信度调节综合。每位顾问评估自己的置信度（1–10），并评估每位同行的置信度。主席的综合结果按置信度加权，而非按多数票决定。若共识的置信度较低，则会以黄色标记提示。
--measure-diversity	顾问作答后，评估各响应之间推理特征的重叠程度。当委员会采用不同推理方法却达成一致时，报告这一情况——这表明共识可能只是表面上的。
--jury	（V2） 用由 3 名评审组成的陪审团取代单一主席，最好来自不同的模型系列。每位评审独立综合，然后通过简短的协调步骤整合结果。适用于意见难分高下且裁决影响重大的情况，此时单一评审的可靠性不足（评审团 / PoLL）。

标志可以组合使用：/council-review --adaptive --confidence "Should we adopt GraphQL?" 会进行置信度加权的审议，并在收敛时停止。

五位顾问

#	顾问	思考角度	推理方法	能发现的问题
1	唱反调者	什么会失败？	反向思考 — 假设方案已上线并且失败了，反向追溯原因	兴奋时容易忽略的“听起来不错，但是……”类漏洞
2	第一性原理思考者	我们究竟在解决什么问题？	拆解 — 将问题分解为原子级主张，并逐一质疑	“你在优化错误的变量”
3	拓展者	我们忽略了哪些潜在收益？	类比 — 相邻领域是如何用不同方式解决这个问题的？	“你的思路太狭窄了”
4	局外人	毫无背景，只凭新视角思考	朴素提问 — 像刚加入团队一样要求解释；标出所有依赖内部知识才能理解的内容	知识诅咒造成的盲点
5	执行者	周一早上你会怎么做？	依赖关系图 — 什么会阻碍什么？关键路径是什么？	缺少可执行第一步的精彩计划

**自然张力：**唱反调者与拓展者（关注下行风险与上行空间），第一性原理思考者与执行者（重新思考与立即交付），局外人则让所有人保持诚实。

这五种推理方法并非可互换的思考角度——每一种都是不同的认知操作。这就是 DMAD 的杠杆：同一个模型，不同的推理方式。

---

执行流程

步骤 0：预检

<pre_flight>

从 $ARGUMENTS 中解析标志：

• 如果包含 --quick：使用轻量模式（见下文）
• 如果包含 --adaptive：启用 KS 统计量自适应停止（步骤 3.5）
• 如果包含 --confidence：启用置信度调节综合（步骤 2 和 4）
• 如果包含 --measure-diversity：启用多样性验证（步骤 2.5）
• 如果包含 --jury：在综合时使用由 3 名评审组成的陪审团（步骤 4）
• 分类前从输入中移除这些标志

**范围验证：**召集委员会前，判断输入是否确实需要委员会。如果问题纯属事实性问题、存在一个显而易见的正确答案，或没有有意义的权衡，请直接说明：“这个问题不需要委员会——[直接回答]。对于确实涉及利害关系和权衡的决策，请使用 /council-review。”不要为琐碎问题启动 Agent。

对剩余输入进行分类：

1. PR — 数值，或包含 /pull/ 的 URL。通过 gh pr view 获取 PR 差异和说明。
2. 文件路径 — 以文件扩展名结尾的字符串，或指向现有文件的字符串。读取文件内容。
3. 计划 / 决策 / 问题 — 其他所有输入。按原样使用。

对于 PR 和文件，读取实际内容并将其纳入整理后的问题中。不要只传入 URL——顾问需要了解实质内容。

</pre_flight>

步骤 1：收集背景信息并明确问题

自动收集背景信息——明确问题前，先阅读以下项目文件（不存在的文件可跳过）：

• README.md——项目的功能
• CLAUDE.md 或 AGENTS.md——规范、架构、模式
• 最近的 Git 日志（git log --oneline -10）——近期进展
• 用户提及的任何文件，或与主题相关的文件
• 审查 PR 时，查看 PR 差异和说明

将原始输入重新表述为清晰、中立的提示词：

QUESTION:
[Core decision, plan, or code being reviewed]

CONTEXT:
[Key context from project files: what the project does, constraints, recent changes, stakes]

WHAT'S AT STAKE:
[Why this matters — cost of getting it wrong]

不要加入自己的观点，也不要引导答案。如果问题过于模糊，先提出一个澄清问题再继续。

步骤 2：召集顾问团（5 个 Agent 并行工作）

使用 Agent 工具同时启动全部 5 位顾问。每位顾问并行运行。顾问使用轻量级模型（haiku）——他们要做的是有针对性的分析，而非复杂推理。

关键：在一条消息中通过 5 次 Agent 工具调用启动全部 5 位顾问。 顺序执行会导致较早的回复影响较晚的回复，违背了这样做的目的。

为每位顾问提供以下提示词：

You are [ADVISOR NAME] on an LLM Council reviewing a decision.

Your angle: [ADVISOR ANGLE]
Your reasoning method: [ADVISOR REASONING METHOD — see table above]

A user has brought this to the council:
---
[framed question from Step 1]
---

Apply your assigned reasoning method rigorously. Don't just state opinions — show your work using your method.

Rules:
- 150-300 words. No preamble. Straight into your analysis.
- Name specific risks, opportunities, or issues — not vague concerns.
- If reviewing code: cite specific files, functions, or patterns.
- If reviewing a plan: point to specific steps, gaps, or sequencing issues.
- **Do not defer to any answer the framing seems to expect.** Reason from your method to wherever it actually leads; if that's against the apparent expected answer, say so plainly. Hedging toward the obvious answer is the failure this council exists to prevent.
- End with your single strongest recommendation.

（V2）防谄媚护栏。 上述加粗规则至关重要：有记录的多 Agent 失败案例表明，顾问会因相互迁就而趋同，而非基于推理得出结论。每位顾问的提示词都必须包含这条规则。

各顾问的专属指令（须包含推理方法）：

• 唱反调者：“你的方法是反向推演。假设此方案原样发布并以失败告终。倒推失败原因：看似安全的做法中，哪些在压力下出了问题？有哪些失败模式无人讨论？展示你的反向推演链。”
• 第一性原理者：“你的方法是分解。将问题拆解为基本主张和假设，并列出它们。逐一质疑：这些真的成立吗？有必要吗？如果假设不成立，会有什么变化？指出哪些假设是关键的。”
• 拓展者：“你的方法是类比。有哪些相邻领域、产品或技术以不同方式解决了类似问题？有 10 倍雄心的人会怎么做？这种思路有哪些局限？指出具体的类比案例及其启示。”
• 局外人：“你的方法是天真提问。你对这个项目一无所知。仅根据你看到的内容，列出所有需要内部知识才能理解的地方。有什么令人困惑？有哪些术语没有解释？如果你刚加入团队，会问什么？如果你无法理解其中的推理，请直说。”
• 执行者：“你的方法是依赖关系图谱 + 外部视角。绘制依赖关系：什么会阻碍什么？关键路径是什么？必须先做什么？哪些事情必须等它完成后才能开始？有什么只需 5 分钟却会被所有人忘记的事？然后采用外部视角（V2）：说出基准率——类似的工作实际上进展如何，而不是计划如何？对照参照类别，指出计划估算中可能存在的乐观偏差。展示执行顺序。”

如果启用了 --confidence，请将以下内容追加到每位顾问的提示词中：

After your analysis, end with:
CONFIDENCE: [1-10]
RATIONALE: [one sentence — what would change your confidence up or down?]

这会生成经过校准的自我评估，供主席在综合结论时加权参考。

步骤 2.5：多样性验证（仅限 --measure-diversity）

收集完所有 5 位顾问的回复后、同侪评审前，对推理特征重合度进行评分：

1. 提取每份回复中的关键主张（每位顾问选取前 3–5 条）。
2. 计算两两重合度：有多少主张在 2 份或更多回复中以相同结论出现？
3. 给出单一的多样性评分：
   • 多样性高（重合度 < 30%）——顾问的思路确实不同。可以信赖共识。
   • 多样性中等（重合度 30–60%）——部分一致。在结论中指出共同假设。
   • 多样性低（重合度 > 60%）——尽管采用不同方法，顾问仍得出了相同推理。标记为表演性共识——主席应将其视为单一顾问的观点。

这可以避免出现“五位顾问都说是”的情况，而实际上是同一种提示词诱导模式主导了结论。

第 3 步：匿名同行评审（5 个 Agent 并行）

收集全部 5 个顾问的回复。随机打乱映射关系——顾问 1 不应总是对应回复 A。然后并行启动 5 个评审 Agent（使用 haiku）。

每位评审都能看到全部 5 份匿名回复：

You are reviewing the outputs of an LLM Council. Five advisors independently answered:

---
[framed question]
---

**Response A:** [randomized advisor response]
**Response B:** [randomized advisor response]
**Response C:** [randomized advisor response]
**Response D:** [randomized advisor response]
**Response E:** [randomized advisor response]

Answer these three questions. Be specific. Reference responses by letter.

1. Which response is strongest? Why? (one sentence)
2. Which has the biggest blind spot? What is it missing? (one sentence)
3. What did ALL five responses miss that the council should consider? (This is the most valuable question — think hard.)
4. **(V2)** Where these responses agree, is the agreement genuine — or could it be conformity to a shared framing? Flag any consensus that looks like deference rather than independent reasoning.

Keep under 150 words. Be direct. No preamble.

如果启用了 --confidence，则追加第四个问题：

4. Rate your confidence in your answers above (1-10). What would change it?

第 3.5 步：自适应停止（仅限 --adaptive）

如果启用了 --adaptive，委员会将运行多轮，而不是单轮的顾问 → 评审 → 主席流程。每轮结束后：

1. 收集该轮所有顾问的回复（5 份回复）。
2. 计算 Kolmogorov-Smirnov 统计量，比较回复分布与上一轮回复的差异。使用粗略指纹——从每份回复中提取不同主张的集合，然后计算各轮之间的 Jaccard 风格距离。
3. 如果分布变化连续两轮低于 epsilon（默认值：0.1），则停止并进行主席综合。
4. 否则，再进行一轮顾问评议，并向每位顾问提供上一轮的回复，请他们据此更新意见。
5. 最多 5 轮——设置硬性上限，以防成本失控。

当 --adaptive 触发提前停止时，主席会收到最后一轮的回复，以及一行说明：“委员会在 N 轮后达成一致（KS 变化低于 epsilon）。”

使用固定模式时（未启用 --adaptive），完成一轮顾问评议后，直接进入第 3 步同行评审。

第 3.7 步：对共识答案进行魔鬼代言人评议（V2——必需）

这是 V2 中杠杆效应最高的一项新增功能。证据明确无误：在开始时采用温和的反方表述（反方顾问），在引发实质性分歧方面与基线在统计上没有区别；只有安排专门的魔鬼代言人攻击正在形成的答案才有效，而且能显著提高决策准确性。

1. 根据顾问回复和同行评审，用一句话确定正在形成的共识答案（委员会倾向于建议什么？）。如果确实还没有形成答案，请注明这一点，并跳到第 4 步。

2. 启动一位魔鬼代言人 Agent。使用强模型（不能使用 haiku）——该 Agent 必须犀利。其提示词：

   The council is converging on this answer:
   ---
   [emerging consensus answer, stated plainly]
   ---
   To this question:
   ---
   [framed question]
   ---
   
   Your job is to make the strongest possible case that this answer is WRONG.
   Not "here are some risks" — argue that following it is a mistake.
   - What does the consensus overlook that, if true, flips the decision?
   - Construct the concrete scenario in which this answer fails badly.
   - What evidence would the council need to see to abandon this answer — and is it actually present, or assumed?
   Steelman the opposite of the consensus. 200 words max. End with: the ONE thing that, if the council can't rebut it, should change the verdict.
   

3. 将魔鬼代言人的输出与其他所有内容一并提供给主席。这并非一开始就采用 2 对 2 的拥护者／质疑者结构，而是由一位犀利的质疑者攻击已经收敛的答案；研究特别指出，这种配置效果最佳。

--quick 模式：仍需运行魔鬼代言人（这是成本最低、价值最高的新增功能——1 次调用）。这是 --quick 绝不能跳过的步骤。

第 4 步：主席综合

一位 Agent 会获得所有内容：原始问题、全部 5 份顾问回复（包含经过去匿名化处理的姓名和推理方法）、全部 5 份同行评审、魔鬼代言人对共识（V2）的攻击、多样性评分（如果使用 --measure-diversity）以及信心评级（如果使用 --confidence）。此处应使用当前可用的最佳模型（默认即可，不要指定轻量模型）。

（V2）先进行中介评估。 在撰写建议之前，主席先列出 3–5 个影响决策的独立关键属性（例如，架构决策中的可逆性、影响范围、实现首个价值所需的时间、团队熟悉度），并根据证据分别对每项评分——此时还不形成总体结论。只有完成独立评估后，主席才综合形成整体判断。这有助于避免连贯性偏差（过早认定一个答案，然后调整各项属性以符合该答案）。Kahneman/Lovallo/Sibony，《中介评估协议》（2019）。

**（V2）--jury：**不使用一位主席，而是安排 3 位主席——最好来自不同的模型系列——各自独立完成完整综合（包括中介评估）。随后进行简短的协调环节，指出三位评审一致之处（高信心结论）以及意见分歧之处（标记为真正难以定夺的情况）。适用于高风险决策或难以定夺的决策，尤其是单个评审的可靠性不足以满足要求时。

**默认综合（考虑多数意见）：**主席权衡顾问间的共识程度和同行评审信号，并且必须明确反驳或承认魔鬼代言人提出的最有力论点。

**信心调节综合（--confidence）：**主席按每位顾问自评信心 × 同行评定信心，对其贡献进行加权。结论中会标出低信心的多数意见；高信心的少数意见则会得到额外权重并予以保留。

**考虑多样性的综合（--measure-diversity）：**如果多样性评分为“低”，主席会在结论中明确注明“委员会基于共同假设达成共识，而非通过独立推理得出共识”，并下调对建议的信心。

主席必须严格按照以下结构输出：

## Council Verdict: [Topic — 5 words max]

### Where the Council Agrees
[Points where multiple advisors converged independently — these are high-confidence signals]

### Where the Council Clashes

For each disagreement, classify it:

**[Value Tension]** — Both sides are valid; the right choice depends on priorities.
[Present both sides clearly. Name the tradeoff.]

**[Error Catch]** — One advisor found a real flaw the others missed.
[Name the flaw, who caught it, and why it matters.]

### Blind Spots Revealed
[Things only the peer review caught — the "what did ALL five miss?" answers]

### Mediating Assessments  *(V2)*
[The 3–5 independent attributes the decision turns on, each scored separately against the evidence — stated BEFORE the recommendation so the reader sees the inputs to the judgment, not just the conclusion.]

### Devil's Advocate — and the Council's Answer  *(V2)*
[The strongest case that the emerging answer is wrong (from Step 3.7), and the chairman's explicit rebuttal or concession. If the Devil's Advocate's one key point can't be rebutted, the verdict must change to reflect it.]

### Confidence Profile  *(only with --confidence)*
[Which advisors were confident vs hedging? Where did peer-rated confidence diverge from self-rated? What does the confidence pattern tell us?]

### Diversity Check  *(only with --measure-diversity)*
[Diversity score and what it means for the verdict's reliability.]

### Recommendation
[Clear, actionable recommendation. Not "it depends." Not "consider both options." A real answer with reasoning. The chairman CAN disagree with the majority if the dissenter's reasoning is strongest, OR if confidence/diversity signals undermine the apparent consensus.]

### What You Lose
[If you follow this recommendation, what does the strongest dissenting voice say you're giving up? Name the specific risk or missed opportunity. This is NOT a hedge — it's informed consent.]

### Do This First
[Single concrete next step. Not a list. Not three options. One thing to do right now.]

**How to verify:** [2-3 concrete checks to confirm the recommendation was right. What should you measure? What should you look for after N days/weeks? **(V2)** Include the outside-view check: what's the base rate for efforts like this, and what early signal would tell you you're tracking worse than the reference class?]

第 5 步：呈现结果

直接在聊天中展示主席的结论。然后，如果用户需要，提供可折叠部分或单独文件中的完整对话记录。

---

精简模式（--quick）

使用 --quick 时，运行精简版委员会：

1. **仅 3 位顾问：**唱反调者、执行者、局外人（最注重行动的三种视角）
2. 不进行同行评审——完全跳过第 3 步
3. 仍会运行魔鬼代言人（V2）——第 3.7 步是 --quick 绝不能跳过的低成本步骤
4. 主席综合 3 份回复和魔鬼代言人的攻击
5. 输出格式相同，但速度更快（调用 Agent 5 次，而非 12 次）
6. 兼容 --confidence 和 --measure-diversity，但不兼容 --adaptive（多轮运行的成本高于节省的成本）。

适用于常规决策、快速直觉检验，或时间比全面分析更重要的情况。

成本预算

模式	Agent 调用次数	适用场景
Full（默认）	12（5 位顾问 + 5 位评审 + 1 位唱反调者 + 1 位主席）	重大决策
Quick (--quick)	5（3 位顾问 + 1 位唱反调者 + 1 位主席）	常规决策、快速检验直觉
Adaptive (--adaptive)	7 到 27（5 位顾问 × N 轮 + 5 位评审 + 唱反调者 + 主席，N ≤ 5，且可提前停止）	需要权衡达成共识成本的开放式问题
Confidence (--confidence)	12（与 Full 相同，但提示词稍长）	需要校准确定性的决策
Measure-diversity (--measure-diversity)	12（增加一个同步的意见重叠评分步骤，不增加 Agent 调用次数）	验证共识是真实的，而非表面功夫
Jury (--jury)	+2（使用 3 位主席而非 1 位，最好采用不同模型）	势均力敌的情况 / 提高重大决策结论的可靠性

标志可组合使用：同时使用 --adaptive --confidence --measure-diversity = 最多 26 次调用 + 多样性评分 + 信心度加权。

批量处理时使用快速模型，综合分析时使用优质模型。主席的推理质量最为重要。

注意事项

• 始终并行启动顾问。 顺序启动会让较早的回复影响后续回复。
• 同行评审时始终匿名。 评审者如果看到标签，可能会更认同“唱反调者”或“第一性原理”。将字母顺序打乱。
• 主席可以推翻多数意见。 推理质量 > 票数。如果唱反调者发现了其他人都没注意到的真实缺陷，主席就应当支持他们。
• 不要对琐碎问题进行议事。 预检步骤应该能识别这类问题。如果只有一个正确答案，就直接回答。
• 上下文至关重要。 输入笼统，输出也会笼统。自动上下文步骤会读取项目文件，让顾问不至于盲目判断。
• 同一模型的局限性。 此技能使用角色 / 方法多样性（在同一模型上使用不同推理方法），而非模型多样性（Karpathy 的原版使用了不同的大模型）。对于最重大的决策，可以考虑征询不同模型系列的第二意见，或者使用 --measure-diversity 确认议事团没有过早达成共识。
• 开放式问题中，协作优于对抗。 M3MADBench 2026 表明，在所有模态中，对抗式辩论的表现都不如协作式辩论。要对已知产物（PR、草稿、规范）进行压力测试，请使用单独的 /adversarial-review 技能——这是不同的操作，输入也不同。
• 信心度校准的效果取决于模型本身的校准能力。 即使少数派的信心度较低，只要其推理具体，而多数派的推理含糊，仍应认真对待。
• （V2）唱反调者并非魔鬼代言人。 唱反调者在开始时提出相反立场（温和的框架——测试其引发真实分歧的能力是否与基线相当）。第 3.7 步的魔鬼代言人则会攻击已经达成共识的答案——证据表明，这才是应采用的配置。不要为了减少一次调用而省略第 3.7 步；它是此技能中杠杆效应最高的步骤。
• （V2）调解评估必须先于建议。 如果主席先写结论，再补填各项属性评分，就会重现此协议旨在防止的连贯性偏差。应先独立评估各项属性，再综合得出结论。
• （V2）只有评审者有所不同时，--jury 才有帮助。 同一模型运行三次，大多只是表面功夫。应使用不同模型系列，或至少使用彼此独立的上下文；将 3 人一致视为真正的信号，而任何分歧都应视为确实难以定夺。

更新日志

V2.1 (2026-05-27)

彻底移除了已弃用的 --adversarial 模式（标志、模式章节、成本行、解析步骤）。它与 M3MADBench 的证据相矛盾，已被 V2 强制要求的魔鬼代言人与共识对比步骤取代，还造成了“这和 /adversarial-review 不一样吗？”的实际困惑。这两项技能仍明确区分：council-review = 开放式决策（内置魔鬼代言人）；/adversarial-review = 对已完成的产物进行压力测试。关于“协作优于对抗”的证据，以及指向 /adversarial-review 的交叉链接均予以保留。

V2 (2026-05-26)

通过 skillforge optimize 进行优化。成果研究简报：V2 成果研究简报。每项更改都与证据相关，并针对决策结果而非打包方式：

• 强制魔鬼代言人（步骤 3.7），质疑正在形成的共识——这是唯一已证明能可靠引发真正分歧并提高准确率的配置（OpenReview 2026；IUI 2024）。反方在辩论开始时提出相反观点，只是软性引导，测试效果与基线相当。
• 在顾问和同行提示词中加入谄媚防护措施；新增同行评审问题，用于区分真正的认同与从众（Peacemaker-or-Troublemaker 2026；CONSENSAGENT）。
• 在主席综合环节中加入中介评估——先评估 3–5 项独立属性，再做整体判断，以对抗连贯性偏差（Kahneman/Lovallo/Sibony 2019）。
• 在执行者和“如何验证”部分加入外部视角／基准发生率检查（参考类别预测；Kahneman/Tversky、Flyvbjerg）。
• --jury——针对难以判断的情况，由 3 位不同模型的主席进行评议（评审团／PoLL）。

验证。 两轮验证。（1）针对“单体架构 → 微服务？”的结构化单模型评估：V1 3.2 → V2 4.6。（2）独立 A/B 测试（2026-05-27）：使用真实的独立进程 Agent（claude -p）评估“初创公司 → 采用 Kubernetes？”，顾问在两组中保持不变，以隔离主席层的变化；由一位盲测评审打分（不知道哪个结论对应哪组；先展示 V1 以避免顺序偏差）：V1 3.8 → V2 4.8（果断性、洞察力、校准度、可操作性、风险揭示）。提升最大的是风险揭示，从 3 提升到 5；其次是校准度，从 3 提升到 4。评审说明 V2 胜出的理由时，准确指出了 V2 的机制——基准发生率／外部视角、魔鬼代言人的反驳，以及独立属性评分。本次 A/B 测试中，顾问层的更改（谄媚防护措施、外部视角提示词）保持不变，目前仍仅通过推理得到验证。

致谢

• 原始构想：Andrej Karpathy（LLM Council）
• Claude Code 适配：Ole Lehmann（@itsolelehmann）
• 推理方法多样性：DMAD（ICLR 2025）
• 协作优于对抗的实证证据：M3MADBench（arXiv 2601.02854，2026）
• 置信度调节的辩论协议：Demystifying MAD（arXiv 2601.19921，2026）
• KS 统计量自适应停止：rachittshah/llmcouncil（S2 MAD 实现）
• 多样性足迹验证方法：Counsel（同一模型，相同盲点）
• （V2）魔鬼代言人是唯一可靠的分歧诱发方式：在多 Agent LLM 高管团队中诱发分歧（OpenReview 2026）；LLM 驱动的魔鬼代言人（IUI 2024）
• （V2）谄媚 / 过早达成共识：和事佬还是捣乱者（2026）；CONSENSAGENT（ACL 2025）
• **（V2）评估调解协议：**Kahneman、Lovallo 和 Sibony，战略决策的结构化方法（MIT SMR，2019）
• **（V2）外部视角 / 参考类别预测：**Kahneman 和 Tversky；Flyvbjerg
• （V2）评审团：LLM-as-Judge 最佳实践 2026（PoLL 风格评审团）
• V2 优化阶段 + 结果研究：V2 结果研究简报
• 技能作者：Neal Meyer