term-check

名前がふさわしいのは、ドキュメントを見たことがない読者でも正しく推測できるときです。このプローブではそれを測定します。1つのシナリオに3つの候補語を入れ替え、3つのモデルでそれぞれ2回実行します。候補はデフォルトで3つです。候補が2つしかない場合は、3つ目の同義語を提案し、3つすべてを実行します。

手順

1. シナリオを書く：ドメインを2文で説明し、その語の周辺の形を示し、候補語を入れる場所に{TERM}を記述したファイルを用意します。見知らぬ人がその語を位置づけるのに必要なことだけを書いてください。テスト対象の意味を明示するシナリオでは、それ自体が答えになってしまいます。最後に、回答形式を「1文とconfidence: high|medium|low」に固定し、実行結果を比較できるようにします。

2. プローブを実行する：

   bash .agents/skills/term-check/probe.sh <scenario-file> <term-a> <term-b> <term-c>
   

   1つの用語につき6回、並列で実行します。所要時間は約1分です。

3. 各実行結果を採点する：その語が伝えるべき意味に照らして、正解、一部正解、不正解のいずれかを付けます。各モデルが示した信頼度の行は、スコアの横にそのまま残します。

4. シナリオ、次に表の順で報告する。モデルに提示したシナリオを正確に引用し、表の上にコードフェンスで囲んで示します。こうすることで、読者は回答を見る前に問いを判断できます。

   モデルと実行ごとに1行、用語ごとに1列を設けます。各セルは<icon> (<confidence>) -> <guess>の形式にします。スコアは✅正解、⚠️一部正解、❌不正解のいずれかとし、モデル自身の信頼度を示す語と、モデルが理解した内容が分かるよう数語で推測を記します。まず正解数で判断し、次に信頼度を見ます。

   モデル	term-a	term-b	term-c
   Opus、実行1	✅ (medium) -> 翌日の予定に回す	❌ (low) -> 封印時に削除する	⚠️ (low) -> 名前のない場所に残しておく

5. 勝者が弱い場合は、次のラウンドを提案する。highの信頼度を一度も得ていない場合、または他の候補が崩れたことでのみ勝っている場合、その勝者は弱いと判断します。その旨を伝え、新しい同義語を3つか4つ挙げて、実行するかユーザーに尋ねます。同時にシナリオもより明確にしてください。シナリオが曖昧だと、どの候補も信頼度が低くなるためです。

すべての用語について6回の実行結果にアイコン、信頼度、推測が付いており、表の上にシナリオが示され、表で勝者、引き分け、または新しい同義語を提示した弱い勝者が示されていれば完了です。

結果の読み方

結果	意味
すべての候補のスコアが同じ	まず用語ではなくシナリオを疑います。このように結果が似ている場合は、通常シナリオがヒントを与えすぎており、それ自体が答えになっています。シナリオを読み直し、答えが漏れている表現を特定して、シナリオを変更して再度プローブするかユーザーに尋ねます。シナリオに問題がない場合に限り、引き分けはその語が役割を果たしていないことを意味します。その場合は、簡潔さ、関連する語との整合性、用語集など、ほかの観点から選びます
1つの候補が勝つ	その語が意味を伝えています。それを採用します
すべての候補のスコアが低い	用語ではなく、形が適切ではありません。形を修正してから、再度プローブします

制限事項

各実行は、ニュートラルなディレクトリで会話履歴を空にした状態から始まるため、リポジトリのドキュメントがモデルに届くことはありません。グローバルな~/.claude/CLAUDE.mdは引き続き読み込まれます。そこにはドメイン固有の用語が含まれておらず、すべての候補で同じように読み込まれるため、候補間の比較は有効ですが、絶対的なスコアは有効ではありません。

モデルはシナリオ全体から推測するため、答えが漏れているシナリオでは、すべての候補が正解になります。候補が引き分けた場合は、その結果を信頼する前にシナリオを読み直す必要があるという合図です。

信頼度を示す語は、シナリオで求められているためモデルが自ら報告したものです。その裏付けとなる数値はなく、校正もされていないため、雰囲気を表すものとして読み、判定はスコアに委ねてください。測定される数値は一致率、つまり同じ意味にたどり着いた実行の数です。probe.shの実行回数を増やすと、より精度が上がります。