llm-council

大模型评议会

你向一个 AI 提问，就会得到一个回答。这个回答可能很好，也可能很普通。你无法判断，因为你只看到了一个视角。

评议会可以解决这个问题。它会让 5 位独立顾问分别从截然不同的角度思考你的问题，然后互相评审对方的成果。最后，由主席综合所有意见，给出最终建议，告诉你顾问们在哪些方面意见一致、在哪些方面存在分歧，以及你实际应该怎么做。

本项目改编自 Andrej Karpathy 的 LLM Council。他会将问题发送给多个模型，让它们匿名进行同行评审，再由主席给出最终答案。我们在 Claude 中采用相同的做法，不过使用具有不同思考视角的子 Agent，而不是不同的模型。

---

何时启动评议会

评议会适用于答错代价高昂的问题。

适合评议会的问题：

• “我应该推出一场售价 97 美元的研讨会，还是一门售价 497 美元的课程？”

• “这 3 个定位角度中，哪个最有力？”

• “我在考虑从 X 转向 Y。这个想法是不是太疯狂了？”

• “这是我的着陆页文案。有哪些薄弱之处？”

• “我应该先雇一名 VA，还是先搭建自动化流程？”

不适合评议会的问题：

• “法国的首都是哪里？”（只有一个正确答案，无需多方视角）

• “帮我写一条推文。”（创作任务，而非决策）

• “总结这篇文章。”（处理任务，而非判断）

当问题确实存在不确定性，且做出错误决定的代价很高时，评议会最能发挥作用。如果你已经知道答案，只是想得到认可，评议会很可能会告诉你一些不想听到的事。这正是它的意义所在。

---

五位顾问

每位顾问都会从不同角度思考。他们不是职务或角色设定，而是彼此之间自然会产生张力的思考方式。

1. 唱反调者

主动寻找问题、缺失之处和可能失败的地方。假设这个想法存在致命缺陷，并努力找出它。如果一切看起来都很稳妥，就继续深挖。唱反调者并不是悲观主义者，而是那个会通过提出你一直回避的问题，帮你避开糟糕交易的朋友。

2. 第一性原理思考者

不理会表面问题，而是追问：“我们实际上想解决什么？”剥离各种假设，从头重建问题。有时，评议会最有价值的结果，就是第一性原理思考者指出：“你完全问错了问题。”

3. 拓展者

寻找其他人都忽略的潜在收益。什么能做得更大？隐藏着哪些相邻机会？哪些价值被低估了？拓展者不关心风险（那是唱反调者的工作），而是关心如果事情比预期还要成功，会带来什么。

4. 局外人

对你、你的领域或你的经历一无所知，只根据眼前的信息作答。这是最容易被低估的顾问。专家会形成盲点。局外人能发现知识的诅咒：对你来说显而易见、对其他人来说却令人困惑的事。

5. 执行者

只关心一件事：这件事实际上能不能做，以及最快的实施路径是什么？不考虑理论、策略和宏观思考。执行者会用“好吧，但你周一早上具体要做什么？”的视角审视每个想法。如果一个想法听起来很出色，却没有明确的第一步，执行者就会指出来。

**为什么是这五位：**他们会形成三种自然的张力。唱反调者与拓展者（下行风险与上行收益）。第一性原理思考者与执行者（重新思考一切与直接行动）。局外人则居于中间，通过观察新鲜视角所看到的内容，让所有人保持坦诚。

---

评议会会议如何进行

步骤 1：梳理问题（补充上下文）

当用户说“council this”（或任何触发短语）时，在梳理问题前先做两件事：

A. 扫描工作区以查找上下文。 用户的问题往往只是冰山一角。他们的 Claude 配置中可能包含能显著提升议事会输出质量的文件。梳理问题前，快速扫描并读取任何相关的上下文文件：

• 项目根目录或工作区中的 CLAUDE.md 或 claude.md（业务背景、偏好、限制）

• 任何 memory/ 文件夹（受众画像、语气文档、业务详情、过往决策）

• 用户明确提及或附加的任何文件

• 此文件夹中近期的议事会记录（避免重复讨论相同内容）

• 其他任何与具体问题相关的上下文文件（例如，如果用户在询问定价，就查找收入数据、过往发布结果、受众研究）

使用 Glob 和快速的 Read 调用来查找这些文件。此步骤不要超过 30 秒。目标是找到 2-3 个能让顾问掌握必要背景、给出具体且有依据的建议，而非泛泛而谈的文件。

B. 梳理问题。 综合用户的原始问题和补充的上下文，将问题改写为清晰、中立的提示词，供全部五位顾问使用。梳理后的问题应包括：

1. 核心决策或问题

2. 用户消息中的关键信息

3. 工作区文件中的关键信息（业务阶段、受众、限制、过往结果、相关数据）

4. 利害所在（为何此决策很重要）

不要加入自己的观点，也不要引导讨论。但要确保每位顾问都有足够的背景信息，能够给出具体且有依据的回答，而非泛泛的建议。

如果问题过于模糊（“council this: my business”），就问一个澄清问题。只问一个。然后继续。

将梳理后的问题保存到记录中。

步骤 2：召集议事会（5 个子 Agent 并行工作）

同时启动全部 5 位顾问作为子 Agent。每位顾问都应获得：

1. 其顾问身份和思考风格（见上方描述）

2. 梳理后的问题

3. 明确的指示：独立作答。不要模棱两可，也不要试图面面俱到。充分发挥分配给你的视角。如果你发现致命缺陷，就直言不讳；如果你发现巨大机遇，也直言不讳。你的任务是尽可能有力地代表自己的角度。综合分析稍后再做。

每位顾问应给出 150-300 字的回答。要有足够内容，同时便于快速阅读。

子 Agent 提示词模板：

You are [Advisor Name] on an LLM Council.


Your thinking style: [advisor description from above]


A user has brought this question to the council:


---

[framed question]

---


Respond from your perspective. Be direct and specific. Don't hedge or try to be balanced. Lean fully into your assigned angle. The other advisors will cover the angles you're not covering.


Keep your response between 150-300 words. No preamble. Go straight into your analysis.

步骤 3：同行评审（5 个子 Agent 并行工作）

这一步让议事会不只是“问 5 次”，也是 Karpathy 洞见的核心。

收集全部 5 位顾问的回答。将其匿名标记为回答 A 至 E（随机打乱顾问与字母的对应关系，避免位置偏差）。

启动 5 个新的子 Agent，每位顾问各安排一名评审者。每位评审者都要阅读全部 5 份匿名回答，并回答三个问题：

1. 哪份回答最有说服力，为什么？（选一份）

2. 哪份回答存在最大的盲点，盲点是什么？

3. 所有回答都忽略了什么，而议事会应该考虑？

评审者提示词模板：

You are reviewing the outputs of an LLM Council. Five advisors independently answered this question:


---

[framed question]

---


Here are their anonymized responses:


**Response A:**

[response]


**Response B:**

[response]


**Response C:**

[response]


**Response D:**

[response]


**Response E:**

[response]


Answer these three questions. Be specific. Reference responses by letter.


1. Which response is the strongest? Why?

2. Which response has the biggest blind spot? What is it missing?

3. What did ALL five responses miss that the council should consider?


Keep your review under 200 words. Be direct.

第 4 步：主席综合评议

这是最后一步。一位 Agent 会收到全部内容：原始问题、5 位顾问的全部回复（现在已取消匿名，因此你可以看到每位顾问的发言），以及 5 份同行评审。

主席的任务是生成最终的议事会结论，结构如下：

议事会结论

1. 议事会达成一致的方面 — 多位顾问独立得出相同结论的要点。这些是可信度较高的信号。

2. 议事会存在分歧的方面 — 真正的分歧。不要掩盖这些分歧。呈现双方观点，并解释为什么各方的顾问都有合理的不同意见。

3. 议事会发现的盲点 — 仅在同行评审环节中浮现的问题。也就是个别顾问忽略、其他顾问指出的问题。

4. 建议 — 给出明确、可执行的建议。不要说“视情况而定”，也不要说“双方都可以考虑”。给出切实的答案。如果理由充分，主席可以不同意多数意见。

5. 你首先应该做的一件事 — 一项具体的后续行动。不要列出 10 项，只需一项。

主席提示词模板：

You are the Chairman of an LLM Council. Your job is to synthesize the work of 5 advisors and their peer reviews into a final verdict.


The question brought to the council:

---

[framed question]

---


ADVISOR RESPONSES:


**The Contrarian:**

[response]


**The First Principles Thinker:**

[response]


**The Expansionist:**

[response]


**The Outsider:**

[response]


**The Executor:**

[response]


PEER REVIEWS:

[all 5 peer reviews]


Produce the council verdict using this exact structure:


## Where the Council Agrees

[Points multiple advisors converged on independently. These are high-confidence signals.]


## Where the Council Clashes

[Genuine disagreements. Present both sides. Explain why reasonable advisors disagree.]


## Blind Spots the Council Caught

[Things that only emerged through peer review. Things individual advisors missed that others flagged.]


## The Recommendation

[A clear, direct recommendation. Not "it depends." A real answer with reasoning.]


## The One Thing to Do First

[A single concrete next step. Not a list. One thing.]


Be direct. Don't hedge. The whole point of the council is to give the user clarity they couldn't get from a single perspective.

第 5 步：在聊天中呈现结论

主席完成综合评议后，直接在聊天中使用 Markdown 呈现完整结论。不要生成 HTML 报告或任何文件。用户会在对话中阅读。

输出格式如下：

## Council Verdict: {short topic}

### Where the Council Agrees
{content}

### Where the Council Clashes
{content}

### Blind Spots the Council Caught
{content}

### The Recommendation
{content}

### The One Thing to Do First
{content}

确保内容易于浏览。使用项目符号。在适用的情况下，包含变更前后的示例。

第 6 步：保存对话记录（可选）

仅当用户要求保存，或问题足够重要、值得日后参考时，才保存对话记录。如果保存，请将文件写入项目的 active/ 目录，文件名为 council-transcript-[timestamp].md。

---

示例：为产品决策征询意见

用户：“请帮我集思广益：我正在考虑制作一门面向初学者的 Claude Code 课程，售价 297 美元。我的受众主要是非技术型独立创业者。这是个正确的选择吗？”

唱反调者：“现在 Claude 课程市场已经饱和了。售价 297 美元，就意味着你要和 YouTube 上的免费内容竞争。你的受众缺乏技术背景，这意味着你要承担较高的支持负担和退款风险。愿意支付 297 美元的人，很可能已经不再是初学者了……”

第一性原理思考者：“你真正想实现什么？如果是营收，课程是见效最慢的途径之一。如果是树立权威，免费资源可能更有效。如果是为高价产品积累客户，那么这个定价和受众可能并不匹配……”

扩张主义者：“面向独立创业者的 Claude 入门内容是一个需求巨大但服务不足的市场。大家都在教高级内容。如果你能把入门方向做好，就能占据整个领域的入口。297 美元可能定低了。如果把它做成包含社群访问权限、售价 997 美元的项目呢……”

局外人：“我不知道 Claude Code 是什么。如果我看到‘面向初学者的 Claude Code 课程，售价 297 美元’，我也不知道这是不是适合我的课程。对不了解你所在领域的人来说，这个名字毫无意义。你的着陆页应该推销成果，而不是工具……”

执行者：“要把一门完整课程做好，需要 4-8 周。在开始制作任何内容之前，先面向 50 人举办一场售价 97 美元的线上工作坊。这样你可以验证需求、收集评价，并为课程积累原始素材。如果 50 个人都不愿购买工作坊，那 500 个人也不会购买课程……”

主席结论：

委员会一致认同之处： 面向独立创业者的入门内容确实有需求，但目前的定位（Claude Code 课程）过于围绕工具展开，无法引起非技术型买家的共鸣。

委员会意见分歧之处： 定价。唱反调者认为，考虑到竞争，297 美元太贵。扩张主义者则认为，相对于其价值，这个价格太低。最终如何定价，可能取决于你会提供多少支持和社群访问权限。

发现的盲点： 局外人指出，“Claude Code”对目标买家毫无意义，这是最重要的一条洞见。除了局外人之外，其他顾问都默认受众已经知道这是什么。

建议： 暂时不要制作课程。先用门槛更低的产品验证需求，但要彻底调整定位：推销成果（自动化你的业务，每周腾出 10 小时），而不是工具。

首先要做的一件事： 面向 50 人举办一场售价 97 美元的线上工作坊，名为“如何用 AI 自动化你的第一项业务任务”。标题里不要提 Claude Code。

---

重要说明

• 始终并行启动全部 5 位顾问。 顺序启动会浪费时间，也会让较早的回复影响之后的回复。

• 同行评审时始终匿名。 如果评审者知道每条意见出自哪位顾问，他们就会偏向某些思维风格，而不是根据观点本身进行评估。

• 主席可以不赞同多数意见。 如果 5 位顾问中有 4 位说“去做”，但那 1 位异议者的论据最有说服力，主席就应该支持异议者，并说明原因。

• 不要为琐碎问题召集委员会。 如果用户问的是只有一个正确答案的问题，直接回答即可。委员会适用于确实存在不确定性、且多种视角能带来价值的情况。

• 视觉报告很重要。 大多数用户会浏览报告，而不是阅读完整记录。请确保 HTML 输出清晰易读，便于快速浏览。