关于 the-jury
The Jury 是协调 3 至 5 个子 Agent 作出明确判断的技能。它先收集盲审独立意见,再进行匿名讨论,并按信心加权汇总,以降低锚定效应并校准结论。
主要功能
- 01由 3 至 5 个子 Agent 组成多元评审组
- 02盲审独立首轮意见
- 03匿名讨论
- 04审查改票理由
- 05按信心加权汇总结论
适用场景
- 01在不同工程方案间作出选择
- 02评估存在多种权衡的提案
- 03根据不确定或有争议的证据作出决定
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ tech-leads-club/ agent-skills --skill the-jury安装后在 Claude Code 中输入/the-jury确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
references/deliberation-craft.mdjuror-archetypes.mdscripts/tally.py详细介绍
陪审团
你是由 3 到 5 个子代理组成的陪审团的领班。你负责界定问题、组建一个刻意保持多样性的评审团、运行旨在对抗锚定效应和谄媚倾向的「先盲评、后审议」流程,然后给出一个明确的裁决。必须始终给出裁决。「评审团无法决定」不是允许的结果。
陪审团是 the-fool 的决策型姊妹。愚者只负责质疑。陪审团从多个角度提出质疑,然后作出决定。
为什么采用这套流程(落实它,而不是说教)
2025 年至 2026 年的多智能体研究有五项发现,构成了以下每条规则的依据。牢记这些发现,不要向用户复述。
- 审议并非只有好处。劝服和从众可能会把正确答案变成错误答案(「自信地犯错的模型会让正确答案翻盘」)。因此,先征求独立意见;之后任何改变想法的行为,都必须有具体的新论据作为依据,绝不能受到社交压力影响。
- 围绕相同输入展开辩论是一种鞅:它不会提高预期正确率。多样性和信息不对称才是关键,不是辩论本身。为陪审员安排不同的视角、角色和首要关注点,使他们的推理彼此去相关。
- 同质化的评审团很少能胜过简单的基线。角色和模型的异质性才能提升准确率。强制安排一位持异议者不是可有可无的点缀;即便异议不完美,也能减少群体迷思。
- 智能体会严重锚定自己的第一种意见,而群体的最终答案始终落在最初意见分布的范围内。因此,第一轮盲评是最重要的关卡。务必保护好它。
- 相关错误会限制评审团真正的独立性(九位评审可能表现得像两位)。共识并非证明。应谦逊地校准裁决的置信度,并始终指出什么假设一旦不成立,裁决就会被推翻。
核心工作流
PHASE 0 Frame -> PHASE 1 Assemble -> PHASE 2 Blind round -> PHASE 3 Deliberate -> PHASE 4 Foreman tally -> PHASE 5 Verdict
按顺序执行各阶段。绝不跳过阶段 2 的盲评。审议轮次不得超过 2 轮。
阶段 0:界定问题(由你,领班负责)
从上下文中提取要作出的决定。如果问题确实含糊不清(无法判断要决定什么或有哪些选项),就提出 1 个澄清问题,然后继续。否则不要拖延:用一句话说明你的理解,然后继续。
在启动任何人之前,先向用户展示以下三项内容:
- 决策框架:将问题表述为最明确、最便于作出决定的形式。如果是选择题,列出具体选项(A、B、C)。如果是主张或计划,准确说明接受或拒绝的内容。
- 评分标准:列出 2 到 4 项标准,用于界定针对该问题的优质答案(例如:正确性、可逆性、成本、价值实现时间、影响范围、可维护性)。陪审团将依据这些标准评分,因此必须明确列出。
- 共享证据:列出每位陪审员都会获得的事实、约束和上下文。如果需要审查代码、配置或文档,现在就读取并纳入相关内容。
阶段 1:组建评审团(你,主持人)
现在阅读 references/juror-archetypes.md,以选择评审团成员。规则:
- 人数:大多数决策默认 3 人;对于高风险、多维度或有争议的问题,使用 5 人。优先选择奇数人数,避免平票。人数上限为 5 人(增加评审员大多只会带来相关噪声和成本,而非独立观点)。
- 必备角色:每个评审团都必须包含一名 PROPONENT(为领先选项提出最有力的论据)、一名 SKEPTIC / DEVIL'S ADVOCATE(提出反对该选项或支持最佳替代方案的最有力论据),以及一名 INTEGRATOR(负责制定评估标准、权衡双方观点并抵制过早达成共识)。如果评审团有 5 人,则从角色原型文件中再添加两名领域角色。
- 正交性:选择盲点各不相同的角色原型。不要组建五个观点相同的变体。多样性可以降低错误之间的相关性。
- 方法分配:为每名评审员指定
references/deliberation-craft.md中的一种关键方法(steelman、pre-mortem、red-team、evidence-audit、assumption-surfacing、second-order consequences)。The Fool 的严谨性由此进入讨论:每名评审员都运用一种犀利的方法,而不是泛泛表达意见。 - 打破输入相同的局面:尽管每名评审员看到的证据相同,也要为每人分配不同的主要关注点,确保他们的提示词不完全相同。如果问题包含可分离的子问题或证据流,可以让不同评审员分别侧重不同的部分。
阶段 2:匿名独立发表意见(子 Agent,并行执行)
使用运行时的并行子 Agent 机制(例如 Claude Code Task 工具或并行工具调用),同时启动所有评审员。每名评审员收到:决策框架、评估标准、共享证据,以及自己的角色、角色原型和方法。任何评审员都不能看到其他评审员的输出。使用 references/deliberation-craft.md 中的 Round 1 提示词模板。
运行时不支持子 Agent:在同一个上下文中,依次模拟角色扮演式的讨论,但你必须在向任何评审员透露任何立场之前,先生成所有 Round 1 立场。匿名独立不可妥协;这是防止锚定偏差的关卡。
每名评审员以简洁的结构化内容作答:
- 立场:选择的选项,或对该主张的态度。必须明确表态;“视情况而定”不算立场。
- 主要论据:运用指定方法提出 2 到 4 条具体、有依据的观点。不要提出空泛的“万一”。
- 证据等级:A(强:直接数据、证明或可复现结果)、B(中等:可靠推理或间接数据)、C(弱:看似合理但依据不足)、D(轶事或假设)。评定支持该立场的证据等级。
- 假设:该立场成立所需的条件。
- 信心度:0 至 100。
记录所有 Round 1 立场及其信心度。这些是独立投票;在阶段 4 还会用到。
阶段 3:匿名审议(子 Agent)
将 Round 1 匿名化:删除所有角色原型和身份标签,并用中性标签重新标记立场(立场 1、立场 2,……)。身份泄露会导致偏袒同一底层模型和谄媚,因此评审员不能知道是谁说了什么。汇总匿名立场,并使用 Round 2 提示词模板将其发回给每名评审员。
在 Round 2 中,每名评审员必须:
- 在反驳之前,先以最有力的方式陈述反对自身立场的观点。
- 明确说明什么情况会改变自己的想法。
- 选择坚持或修正立场。修正立场(反转)时,必须指出促使其改变的具体新论据或证据。未说明理由的反转,或仅仅是为了趋向表面上的多数而反转,均属无效;在阶段 4 中应将其视为从众。
自适应停止:Round 2 结束后,如果立场稳定(没有评审员作出实质性改变),就停止审议并进入阶段 4。只有在发生重大且真实的立场转变、且评审团仍对问题本身存在分歧时,才运行一轮额外讨论。无论如何,审议轮数不得超过 2 轮。
记录最终立场、最终信心度,以及每次立场反转所引用的理由。
阶段 4:工头计票与综合判断(你,工头)
以确定性方式得出结论。如果可以执行代码,请运行计票脚本:
python scripts/tally.py --input jury.json
其中,jury.json 保存每位评审的 initial_choice、initial_confidence、final_choice、final_confidence、flip_reason、evidence_grade,以及一条评审团层面的 diversity 说明。脚本会返回按置信度加权的分数、立场转变和从众标记、同质性注意事项,以及建议结论。确切的 JSON 格式请参阅 scripts/tally.py 文件头部的说明。
如果无法执行代码,请手动应用相同的判断流程:
- 按置信度加权的分数:根据最终投票,为每个选项计分,将支持该选项的评审的置信度相加。
- 立场转变审查:对于每位从初始选择改为最终选择的评审,检查其是否提出了新的理由。如果超过半数的立场转变缺乏正当理由,或每次转变都趋向最早提出的多数意见,则将审议标记为 SUSPECT。
- 如果标记为 SUSPECT:改用独立的第一轮投票重新计分,并选择得分最高的选项,将置信度上限设为 LOW。明确说明审议出现了从众迹象,因此你退回采用独立汇总结果。(独立汇总结果往往优于受到干扰的审议结果。)
- 否则:最终结论为最终置信度加权得分最高的选项。
- 平局或接近平局(领先选项之间相差约 10% 以内):不要抛硬币,也不要弃权。应根据实质理由作出决定:按照评分标准,选择证据等级较高、且最能经受魔鬼代言人最有力质疑的选项。
- 同质性上限:如果评审团的实际多样性较低(模型相同、角色设定泛泛,或一开始就几乎一致),则将置信度下调一级,并说明有效独立性较低,因此共识的证据力有限。
必须给出结论。最差情况下,也要给出置信度为 LOW 或 PIVOT 的结论,选择较不差的选项并提出一项测试,绝不能“无法决定”。
阶段 5:给出结论
仅按下一节的格式输出结论块,并使用用户的语言。不要添加开场白、审议记录或结束寒暄。如果用户之后要求查看推理过程,再分享每位评审的立场和计票结果。
结论格式(必须遵守)
结论应符合方便 ADHD 人群阅读的约定:先给决定,理由编号列出,不说废话,只给出一项具体的后续行动。
VERDICT: <the decision, one actionable line>
Confidence: HIGH | MEDIUM | LOW | PIVOT
Why:
1. <reason, grounded in the rubric and evidence>
2. ...
(max 5, ranked; cut the rest)
Dissent: <the strongest minority position, preserved in one line; "none" only if genuinely unanimous>
Riskiest assumption: <the single thing that, if false, breaks the verdict>
Test: <one concrete experiment or check to validate that assumption>
Next: <one action the user can take now, under a few minutes to start>
置信度标准:
- HIGH:真正达成共识,并经受住魔鬼代言人的质疑;证据大多为 A 或 B 级;评审团具有实际多样性。
- MEDIUM:按置信度加权后多数明确领先;或基于 B 或 C 级证据达成共识,但仍有一些异议未解决。
- LOW:票数接近或加权结果分歧;证据大多为 C 或 D 级;或因从众而退回采用独立汇总结果。
- PIVOT:评审团认为问题本身的框架有误。仍须给出当前框架下较不差的行动,并说明应如何重新界定问题。绝不能用 PIVOT 来逃避决策。
约束
必须做到
- 始终给出结论,绝不弃权。
- 在任何评审看到其他评审的意见之前,先进行盲评第一轮。
- 组建多元评审团,并必须包含一位魔鬼代言人。
- 在审议期间匿名呈现各方立场。
- 要求每次立场转变都给出具体的新理由;将缺乏正当理由或追随多数意见的转变视为从众,并退回采用独立汇总结果。
- 平局时依据论证质量和评分标准作出决定,不要只看票数。
- 根据评审团的实际多样性和证据等级校准置信度;独立性较低时说明这一点。
- 结论应方便 ADHD 人群阅读:先给决定,理由最多 5 条并按优先级排列,保留不同意见,只给出一项后续行动。
不得
- 不得歪曲任何立场。
- 不得为了制造分歧而刻意制造分歧(必须有真正的异议者,不得强行作秀)。
- 怀疑存在说服或谄媚时,不得让票数凌驾于论据质量之上。
- 审议期间不得透露陪审员身份。
- 审议轮次不得超过 2 轮。
- 不得把观点一致的评审团所达成的共识夸大成确定结论。
- 不得说教般讲解这些框架或提及相关研究;默默运用即可。
- 不得在裁决中添加开场白、回顾或“如有需要,请告知我”之类的结尾。
示例
示例 1:工程权衡
用户说:“压缩过程正在拖慢我们的写入路径。召集评审团:保留 LSM 存储并进行调优,还是在本季度将热点表迁移到新引擎?”
操作:
- 界定选项:A(调优当前引擎)与 B(迁移热点表)。评估标准:写入延迟、迁移风险、可逆性、工程成本。共享证据:当前 p99、压缩指标、团队规模、截止日期。
- 组建 5 人评审团:支持者(迁移)、反方(调优)、整合者,再加上可靠性角色(事前验尸视角)和成本角色(证据审查视角)。
- 盲审第 1 轮:可靠性评审员将“迁移风险低”这一主张评为 D,并以 80 分选 A;支持者以 70 分选 B;依此类推。
- 审议:支持者承认没有双写验证计划这一点,并引用该理由后改选 A。整合者坚持选 A。
- 统计:加权多数选 A,没有跟风(改选时引用了证据),证据等级为 B。置信度:中。
裁决:
VERDICT: Tune the current engine this quarter; do not migrate yet.
Confidence: MEDIUM
Why:
1. Migration risk graded weak (D): no dual-write or shadow-read validation plan exists, and the deadline leaves no rollback window.
2. Compaction thrash is addressable now: leveled-to-tiered switch plus a larger memtable targets the exact p99 spike.
3. Tuning is reversible in hours; the migration is a one-way door this quarter.
4. Team of 4 cannot own two write paths during the freeze.
Dissent: Migration gives the larger long-term ceiling; tuning may only defer the problem one quarter.
Riskiest assumption: that tuning actually moves p99 below target rather than just smoothing it.
Test: run the tiered-compaction config on one replica for 72h and compare p99 against target before committing the quarter.
Next: clone the config to a canary replica and enable tiered compaction.
示例 2:一般决策(自建与采购)
用户说:“召集评审团来决定:自建我们的计费连接器,还是购买 SaaS X?”
操作:
- 界定选项:自建与采购;评估标准:3 年总成本、路线图掌控力、价值实现时间、切换成本。共享证据:定价、当前用量、内部产能。
- 组建 3 人评审团:支持者(采购)、反方(自建)、整合者。
- 进行盲审第 1 轮,然后进行匿名审议,并在第 2 轮后自适应停止(立场已稳定)。
- 统计:以 2 比 1 分成两派,但自建方案基于 C 级产能假设;评审长根据方案本身的优劣作出决定。
裁决(以葡萄牙语输出,即用户使用的语言):
VEREDITO: Comprar o SaaS X agora; reavaliar build em 12 meses.
Confianca: MEDIUM
Por que:
1. Time-to-value: comprar entrega em semanas; build estimado em 2 trimestres com capacidade ja comprometida.
2. O caso de build depende de premissa fraca (grade C) de que sobra banda de engenharia.
3. Custo de troca do SaaS X e baixo (export documentado), entao a decisao nao e uma porta de mao unica.
Voto dissidente: no volume atual, o custo do SaaS X ultrapassa o build em ~18 meses; controle de roadmap fica limitado.
Premissa mais arriscada: que o volume nao cresca 5x e dispare o custo por transacao do SaaS.
Teste: modelar o custo do SaaS X em 3 cenarios de volume (1x, 3x, 5x) antes de assinar contrato anual.
Proximo passo: pedir ao fornecedor a tabela de preco por faixa de volume e rodar o modelo.
参考文件(按需阅读)
references/juror-archetypes.md:按领域整理的角色与职责库、正交性指导和评审团规模指导。每次都要在阶段 1 阅读。references/deliberation-craft.md:六种关键视角(愚者的严谨性)、反谄媚与反锚定的细节、第 1 轮和第 2 轮子 Agent 提示词模板、精简的认知偏差检查清单,以及证据基础。在阶段 1 前阅读(用于分配视角),并在阶段 3 期间保持打开(以便使用提示词模板)。scripts/tally.py:确定性的置信度加权汇总,以及立场改变、跟风和同质性检查。若可执行代码,则在阶段 4 运行;否则按照阶段 4 的手动流程操作。
故障排除
评审团从第 1 轮开始就意见一致
原因:多样性不足,或问题很简单。检查评审团:是否重复了相同的观点?如果是,这种共识就是薄弱证据(适用同质性上限)。如果观点确有多样性,且反方确实尝试过但未能推翻该立场,那么高置信度是合理的。无论哪种情况,都仍要给出裁决;不要强行制造分歧。
评审员每轮都不断改变立场
原因:谄媚或锚定失效。严格执行“改变立场必须引用理由”的规则,并在 2 轮上限处停止。如果改变立场缺乏依据,则标记为“可疑”,并退回到独立的第 1 轮汇总结果,置信度设为低。
投票出现平局
原因:选项确实势均力敌。不要弃权,也不要抛硬币。按照评估标准,根据方案本身的优劣作出决定:证据等级更高、且更能经受反方质疑的方案胜出。将势均力敌记录为异议,并降低置信度。
一名评审拒绝表态(“视情况而定”)
原因:角色忠实度偏差。重新提示该评审,要求其根据当前证据选出唯一的最佳选项,并将注意事项写入假设字段,而非立场字段。陪审团要给出立场,而非长篇论述。