evals-specify

evals-specify

このスキルの機能

EDD 原則 III および IX（エラー分析とテストデータのコード化）に従ってボトムアップのエラー分析を実施し、システム障害を人が観察した内容から、評価基準のドラフトを発見して文書化します。

出力：

1. 評価レコードのドラフト — コーディングメモを含む個別の EVAL-*.md ファイルを .adlc/drafts/evals/ に作成
2. エラーパターンの文書化 — 実際のトレースからボトムアップで分類した障害の分類体系
3. 合格／不合格の例 — 各基準について、合格／不合格となる実例
4. 自動引き継ぎ — 軸コーディングとクラスタリングのために /evals-clarify へ引き継ぎ

適用する主な EDD 原則：

• 原則 III：エラー分析とパターンの発見 — オープンコーディング → 障害の分類体系
• 原則 IX：テストデータのコード化 — データセットの計画とカバレッジ分析
• 原則 II：合格／不合格の二値判定 — 厳密な二値の合格／不合格条件を維持
• 原則 V：軌跡の可観測性 — 複数ターンにわたる会話トレース全体を追跡

使用するタイミング

注：定型的な意思決定の記録は、team-boot の継続的な記録メカニズムで処理され、簡潔なドラフトが .adlc/drafts/ に直接書き込まれます。このスキルは、ガイド付きのトレードオフ分析、複数の選択肢の比較、または 文書化の前に構造化された意思決定の進行を行いたい場合の、対話型の詳細な調査 向けです。

• 評価開発の開始時：既存の基準がなく、障害ログからの発見が必要な場合
• 本番インシデントの分析時：最近発生した障害を体系的に分析する必要がある場合
• 品質評価時：障害から境界条件を発見し、明文化する場合

使用しないタイミング

• 障害トレース／仕様がない場合：まず合成トレースを生成するか、セキュリティベースラインを設定するために /evals-init を使用します
• 既知の基準がすでにある場合：基準を改良するには /evals-clarify を、コードを生成するには /evals-implement を使用します

プロセス

ユーザー入力

$ARGUMENTS

ユーザー入力は、分析対象となる具体的な障害領域またはエラーパターン（例：「認証の回避」「RAG の無関係な結果」）として扱います。

• --traces N — 分析するトレース数（デフォルト：20、理論的飽和に必要な最小値）
• --source SOURCE — トレースのソースの場所（例：ログ、サポートチケット）

実行手順

フェーズ 1：オープンコーディング分析

• ユーザーが提供した障害ログまたは仕様要件を確認します。
• トレースをオープンコーディングして、繰り返し発生する障害パターンを発見します（EDD 原則 III）。
• 中核となる問題、因果条件、結果を特定します。

フェーズ 2：基準のドラフト作成

パターンを基準のドラフトにまとめます。各基準について：

• 厳密な合格条件（観測可能で、はい／いいえで判定できる）を定義します
• 厳密な不合格条件（観測可能で、はい／いいえで判定できる）を定義します
• トレースからの実際の合格／不合格の例を直接記録します

フェーズ 3：ドラフトファイルの作成

• skills/evals/evals-templates/eval-criterion-template.md を .adlc/drafts/evals/EVAL-{NNN}.md にコピーします。
• メタデータとエラー分析メモを記入します。
• .adlc/drafts/evals/evals.md のインデックスを再生成します。

フェーズ 4：自動引き継ぎ

軸コーディングとクラスタリングのために /evals-clarify を実行します。

検証

• ドラフトファイルが .adlc/drafts/evals/EVAL-*.md に作成されている
• インデックスファイル .adlc/drafts/evals/evals.md がドラフトの要約で更新されている
• 各ドラフトに、ステータス「draft」、合格／不合格条件、トレースのソース、具体例が含まれている
• 作成したドラフトの一覧を含む自動引き継ぎコンテキストが生成されている