evals-clarify

evals-clarify

このスキルの機能

EDD の原則 III および IXに従って軸足コーディングを実施し、関連する失敗パターンをクラスタリングして、評価基準を洗練し、敵対的な例を生成して、検証済みのドラフトを公開済みゴールドセットに取り込みます。

出力：

1. クラスタリング済みの基準 - 関連するパターンを一貫性のある評価テーマにグループ化
2. 敵対的な例 - 堅牢性を検証する攻撃シナリオとエッジケースを生成
3. 公開済みゴールドセット - 完全なドキュメントを含む、evals/{system}/goldset.md の採用済み基準
4. ホールドアウトデータセット - 偏りのない評価検証のために確保するテストセット（20%）
5. JSON 設定 - システムで利用する goldset.json を自動生成
6. /evals-implement への自動引き継ぎ（採点器の生成）

適用される EDD の主な原則：

• 原則 III：エラー分析とパターン発見 - 軸足コーディング → 理論的な関係性
• 原則 IX：テストデータをコードとして扱う - 敵対的な例の生成、ホールドアウトの分割、バージョン管理
• 原則 II：二値の合否判定 - 厳格な二値評価を一貫して維持
• 原則 I：仕様駆動の契約 - 基準によって仕様への準拠を検証

使用する場面

• /evals-specify の後：ドラフトの基準を洗練し、ゴールドセットに採用する
• データセットのメンテナンス：合格／不合格の例のバランスを整える、または敵対的な例を追加する
• ホールドアウトの分割を追加する場合：検証データをトレーニングデータから分離する

使用しない場面

• ドラフトの基準がない場合：まず /evals-specify を実行してパターンを発見する
• 採点器を生成する場合：採用済みのゴールドセットをコードに変換するには /evals-implement を使用する

プロセス

ユーザー入力

$ARGUMENTS

• --accept IDS — 指定したドラフト ID を採用します（例：「EVAL-001,EVAL-003」）
• --merge IDS — 関連する基準を統合します（例：「EVAL-001+EVAL-002」）
• --split ID — 複雑な基準を、焦点を絞った複数の基準に分割します
• --holdout-ratio RATIO — ホールドアウトの割合（デフォルト：0.2、範囲：0.1-0.3）

実行手順

ステップ 0：軽量ドラフト形式を検出する

レビュー対象のドラフトが軽量ドラフトテンプレートを使用しているかどうかを確認します（フロントマターに type、evidence、source、revisit-when フィールドがあり、本文に正式なテンプレートの全セクションではなく ## Rejected Alternatives／## Reason セクションが含まれている場合）。

軽量形式の場合：

1. ドラフトに記録されたフィールド（Context、Decision、Rejected Alternatives、Reason）を読み取ります
2. 正式なテンプレートに変換します：
   • ADR：Decision Drivers、Considered Options、Pros/Cons、Constitution Alignment、Related ADRs を含む完全な MADR 形式
   • PDR：Market Forces、Consequences、Alternatives Considered、Links を含む完全な PDR 形式
   • ChDR：Issue Links、Commits、Consequences、Evidence を含む完全な ChDR 形式
   • CDR：Context Type、Target Module、Descriptor、Evidence を含む完全な CDR 形式
   • EVAL：Error Analysis、Pass/Fail Examples、Implementation Notes を含む完全な評価形式
3. セッションのコンテキストから情報を補います（軽量ドラフトで省略された可能性のある詳細を追加）
4. 補足したドラフトを提示してレビューします

すでに完全な形式の場合は、通常のレビューに進みます。

フェーズ 1：軸足コーディングとクラスタリング

• 関連するドラフトのパターンを一貫性のあるテーマにグループ化します。
• 重複や基準の重なりを解消します。

フェーズ 2：洗練と敵対的な例の生成

• 堅牢性を検証するため、各基準について敵対的な（攻撃）例を 3～5 件生成します。
• 合格／不合格の例をほぼ 50/50 の割合でバランスよく用意します。

フェーズ 3：ホールドアウトの分離

• 例のちょうど 20% を予約済みのホールドアウトセットとして分離します（.adlc/memory/evals/holdout.json に保存します。共有レイアウトに従い、機械処理用データは .adlc/ の下に置きます）。
• ホールドアウトセットが実装やトレーニングで決して使用されないようにします。

フェーズ 4：ゴールドセットの公開

• 採用したドラフトを docs/adlc/memory/evals/（共有レイアウトのメモリルート。holdout.json のみ .adlc/memory/evals/holdout.json に残します）にコピーし、ステータスを accepted に更新します。
• 公開済みのゴールドセットを evals/{system}/goldset.md（人間が読める形式）および evals/{system}/goldset.json（機械可読形式）にまとめます。

フェーズ 5：自動引き継ぎ

/evals-implement を実行してコードを生成します。

検証

• 承認されたドラフトが docs/adlc/memory/evals/EVAL-*.md に保存されている
• evals/{system}/goldset.md と goldset.json が存在する
• ホールドアウトセット .adlc/memory/evals/holdout.json が分離され、データが登録されている
• すべての基準が厳密に二値である（信頼度スコアやリッカート尺度は使用しない）
• 引き継ぎの概要に、承認された基準と敵対的テストの件数が記載されている