council

LLM Council

1つの質問を、根本的に異なる視点で考える5人の独立したアドバイザーに投げかけます。アドバイザー同士が匿名で互いの成果をレビューします。最後に議長がすべてをまとめ、最終的な推奨事項を提示します。意見が一致する点、対立する点、そして何をすべきかを明らかにします。

Andrej Karpathy の LLM Council を応用したものです。Andrej Karpathy は複数のモデルにクエリを送り、匿名のピアレビューを行わせます。ここでは、異なるモデルではなく、異なる思考の視点を持つサブエージェントを使い、Claude の内部で同じことを行います。

Council を実行するタイミング

Council は、間違えると大きな代償を伴う質問に適しています。

Council に適した質問：

• 「これをマルチテナント型の SaaS として構築すべきか、それともまずはシングルテナント型にすべきか？」
• 「この3つのポジショニングの方向性のうち、最も有望なのはどれか？」
• 「X から Y へのピボットを考えています。無謀でしょうか？」
• 「この職種を採用すべきか、それともまず自動化を構築すべきか？」
• 「この2つのアーキテクチャのアプローチから選ぼうとしています」

Council に適さない質問：

• 「フランスの首都はどこですか？」（答えが1つだけの質問）
• 「ツイートを書いてください」（意思決定ではなく、作成タスク）
• 「この記事を要約してください」（判断ではなく、処理タスク）

すでに答えがわかっていて、ただ確認してほしいだけなら、Council は聞きたくないことを伝えます。それが目的です。

5人のアドバイザー

それぞれのアドバイザーは思考スタイルであり、ペルソナではありません。互いの間に自然な緊張関係を生み出します。

1. 反対派

何が悪いのか、何が欠けているのか、何が失敗するのかを積極的に探します。そのアイデアには致命的な欠陥があると仮定し、それを見つけようとします。すべてが問題なさそうなら、さらに深く掘り下げます。悲観主義者ではありません。あなたが避けている質問を投げかけ、悪い取引からあなたを救ってくれる友人です。

2. 第一原理思考家

表面的な質問を無視し、「私たちは実際には何を解決しようとしているのか？」と問いかけます。前提を取り除き、問題をゼロから組み立て直します。このアドバイザーが「そもそも、質問自体が間違っています」と言うことが、最も価値のある成果となる場合もあります。

3. 拡大派

ほかの全員が見落としている可能性を探します。何をもっと大きくできるのか？隣接するどんな機会が潜んでいるのか？何が過小評価されているのか？リスクは気にしません（それは反対派の役割です）。予想をはるかに上回る成果が出た場合に何が起こるかを考えます。

4. 部外者

あなた自身や、あなたの分野、これまでの経緯について、何の予備知識もありません。目の前にある情報だけをもとに答えます。最も過小評価されているアドバイザーです。「知識の呪い」——あなたには当然でも、ほかの人にはわかりにくいこと——を見抜きます。

5. 実行派

関心があるのはただ1つ。これは本当に実行できるのか、そして最短の道筋は何か、ということです。理論や戦略、大局的な思考は無視します。あらゆるアイデアを「わかった、でも月曜の朝に何をするのか？」という視点から見ます。アイデアが素晴らしく聞こえても、明確な第一歩がなければ、実行派はそれを指摘します。

この5人を選んだ理由： 3つの自然な緊張関係があります。反対派と拡大派（下振れリスクと上振れ余地）。第一原理思考家と実行派（すべてを見直すことと、すぐに実行すること）。部外者はその中間に位置し、全員の議論が誠実であるよう見守ります。

Council セッションの進め方

ステップ 1：質問を整理する

ユーザーが評議会を開始したら、質問を整理する前に次の 2 つを行います。

A. コンテキストを確認する。 質問は、問題のほんの一部にすぎないことがよくあります。質問を整理する前に、関連するコンテキストを手早く確認します。

• プロジェクトのルートにある CLAUDE.md（事業の背景、希望、制約）
• memory/ フォルダー（過去の決定事項、事業の詳細）
• ユーザーが明示的に参照したファイル
• 最近の評議会の記録（同じ議題を再び評議会にかけないため）
• 質問に関連するその他のコンテキストファイル

確認は手短にします。アドバイザーが一般論ではなく、具体的で根拠のある助言をするために必要な 2～3 個のファイルを探します。

B. 質問を整理する。 ユーザーの元の質問と、補足したコンテキストをもとに、5 人のアドバイザー全員に提示する明確で中立的なプロンプトにまとめます。

1. 中心となる決定事項または質問
2. ユーザーのメッセージに含まれる重要なコンテキスト
3. ワークスペースのファイルに含まれる重要なコンテキスト（事業の段階、制約、関連する数値）
4. 何が懸かっているか（この決定が重要な理由）

自分の意見を加えてはいけません。議論を誘導してはいけません。ただし、各アドバイザーが具体的な回答をするのに十分なコンテキストがあることを確認します。

質問が曖昧すぎる場合は、確認の質問を 1 つだけ尋ねます。その後、先に進みます。

整理した質問を、記録用に保存します。

ステップ 2：評議会を招集する（5 つのサブエージェントを並列で実行）

5 人のアドバイザー全員を、サブエージェントとして同時に起動します。それぞれに次の情報を渡します。

1. そのアドバイザーの役割と考え方
2. 整理した質問
3. 明確な指示：独立して回答してください。曖昧な表現で逃げないでください。バランスを取ろうとしないでください。割り当てられた視点を徹底してください。自分の視点をできる限り強く示すことが役割です。統合は後で行います。

各回答は内容を充実させつつ、ざっと読めるものにします。議長が 5 つの回答を並べて読めるようにします。

サブエージェントのプロンプトテンプレート：

You are [Advisor Name] on an LLM Council.

Your thinking style: [advisor description from above]

A user has brought this question to the council:

---
[framed question]
---

Respond from your perspective. Be direct and specific. Don't hedge or try to be balanced. Lean fully into your assigned angle. The other advisors will cover the angles you're not covering.

Keep it tight enough to read beside four other responses. No preamble. Go straight into your analysis.

ステップ 3：ピアレビュー（5 つのサブエージェントを並列で実行）

このステップがあることで、評議会は単に「5 回尋ねる」だけのものではなくなります。Karpathy の洞察の核心です。

5 人のアドバイザーの回答をすべて集めます。各回答を「回答 A」から「回答 E」として匿名化します（どのアドバイザーをどの文字に対応させるかはランダムに決め、順番による偏りをなくします）。

新たに 5 つのサブエージェントを起動します。各レビュアーに、匿名化した 5 つの回答すべてを見せ、次の 3 つの質問に答えてもらいます。

1. 最も優れた回答はどれですか。また、その理由は何ですか。（1 つ選ぶ）
2. 最大の見落としがある回答はどれですか。また、何を見落としていますか。
3. 評議会が検討すべきことで、すべての回答が見落としていることは何ですか。

最後の質問が最も重要です。評議会を開催するたびに、ピアレビューによって個々のアドバイザーが見落とした点が見つかります。

レビュアーのプロンプトテンプレート：

You are reviewing the outputs of an LLM Council. Five advisors independently answered this question:

---
[framed question]
---

Here are their anonymized responses:

**Response A:**
[response]

**Response B:**
[response]

**Response C:**
[response]

**Response D:**
[response]

**Response E:**
[response]

Answer these three questions. Be specific. Reference responses by letter.

1. Which response is the strongest? Why?
2. Which response has the biggest blind spot? What is it missing?
3. What did ALL five responses miss that the council should consider?

Keep the review short and direct.

ステップ 4：議長による統合

1 つのエージェントに、元の質問、5 人のアドバイザー全員の回答（匿名化を解除したもの）、5 件のピアレビューをすべて渡します。

議長は、評議会の最終的な出力を作成します。

議長のプロンプトテンプレート：

You are the Chairman of an LLM Council. Synthesize the work of 5 advisors and their peer reviews into a final verdict.

The question brought to the council:
---
[framed question]
---

ADVISOR RESPONSES:

**The Contrarian:**
[response]

**The First Principles Thinker:**
[response]

**The Expansionist:**
[response]

**The Outsider:**
[response]

**The Executor:**
[response]

PEER REVIEWS:
[all 5 peer reviews]

Produce the council verdict using this exact structure:

## Where the Council Agrees
[Points multiple advisors converged on independently. High-confidence signals.]

## Where the Council Clashes
[Genuine disagreements. Present both sides. Explain why reasonable advisors disagree.]

## Blind Spots the Council Caught
[Things that only emerged through peer review. Things individual advisors missed that others flagged.]

## The Recommendation
[A clear, direct recommendation. Not "it depends." A real answer with reasoning.]

## The One Thing to Do First
[A single concrete next step. Not a list. One thing.]

Be direct. Don't hedge. The whole point of the council is to give the user clarity they couldn't get from a single perspective.

ステップ 5：評決を提示する

議長の評決を、会話内に直接表示します。これが主要な出力です。

次に、完全な記録を、現在の作業ディレクトリに council-transcript-[YYYY-MM-DD-HHMM].md として保存します。記録には次の内容を含めます。

• 元の質問
• 整理した質問
• 5 人のアドバイザー全員の回答
• 5 件のピアレビュー（匿名化の対応関係を明示）
• 議長による統合の全文

この記録が成果物です。変更を加えた後、ユーザーがもう一度評議会を開催したい場合は、前回の記録から考え方がどのように変化したかを確認できます。

重要な注意事項

• 5人のアドバイザー全員を必ず並行して起動してください。 順番に起動すると時間がかかり、先に起動したアドバイザーの回答が後の回答に影響します。
• ピアレビューでは必ず匿名化してください。 どのアドバイザーが何を言ったかが分かると、評価者は内容ではなく特定の思考スタイルに引きずられてしまいます。
• 議長は多数派と異なる判断をしてもかまいません。 5人中4人が「実行すべき」と判断しても、反対した1人の論拠が最も強ければ、議長は反対意見を支持し、その理由を説明してください。
• 些細な質問で審議を行わないでください。 答えが1つしかない場合は、そのまま回答してください。
• トークン予算に注意してください。 このスキルは11個のサブエージェント（アドバイザー5人、レビュアー5人、議長1人）を起動します。徹底的に検討できますが、コストが高いため、重要な判断には適していても、些細な判断には過剰です。