evals-init

evals-init

このスキルの機能

EDD（評価駆動開発）の原則に従ってプロジェクトレベルの評価ディレクトリ構成を初期化し、体系的な評価開発に備えます。spec-kit への依存は一切なく、完全に独立して動作します。

出力：

1. ディレクトリ構成 - 適切に整理された evals/{system}/（promptfoo | deepeval）
2. セキュリティの基本設定 - PII 漏えい、プロンプトインジェクション、ハルシネーションの検出、誤情報の検出を行うグレーダーを自動作成
3. 設定ファイル - .adlc/evals/ 配下に独立した config.yml と goldset のテンプレートを作成
4. 自動引き継ぎ - エラー分析を開始するために /evals-specify へ引き継ぎ

適用する主な EDD 原則：

• 原則 I：仕様駆動の契約 - 評価で仕様への準拠を検証します
• 原則 II：合否を二値で判定 - グレーダーのテンプレートではリッカート尺度を使用しません
• 原則 IV：評価ピラミッド - Tier 1（高速）と Tier 2（goldset）の構成
• 原則 IX：テストデータをコードとして扱う - データセットのバージョン管理を設定します

使用する場面

• 体系的な評価の開始：アプリケーションの初期評価ハーネスを設定するとき
• EDD の導入：従来のテストから評価駆動開発へ移行するとき
• セキュリティを優先した評価：最初から基本的なセキュリティチェックを自動生成するとき

使用しない場面

• 評価ディレクトリがすでに存在する場合：テストの実行には /evals-validate、評価基準の追加には /evals-specify を使用します
• チームの指示を評価する場合：これはプロジェクトレベルでのアプリケーション動作のテスト用であり、指示への準拠を評価するものではありません

プロセス

ユーザー入力

$ARGUMENTS

まず引数からフラグを解析し、その後、残りのテキストを重点領域として扱います。

• --system SYSTEM — promptfoo または deepeval を選択します。省略した場合は、技術スタックに応じて対話形式で選択します。
• 残りのテキスト — システムの説明（設定の重点）

実行手順

フェーズ 1：技術スタックの検出

• プロジェクトのマニフェスト（package.json、requirements.txt、Cargo.toml、go.mod など）をスキャンします
• 複数の言語や JavaScript のスタックには PromptFoo、Python ネイティブのスタックには DeepEval を推奨します

フェーズ 2：ディレクトリ構成の作成

以下を作成します：

evals/
├── {system}/                    # promptfoo | deepeval
│   ├── goldset.md              # Published goldset
│   ├── goldset.json            # Auto-generated for system consumption
│   ├── config.yml              # System-specific configuration
│   ├── config.{js,py}          # Generated system config (.js for promptfoo, .py for deepeval)
│   └── graders/                # Binary pass/fail graders
│       ├── check_pii_leakage.py           # Security baseline
│       ├── check_prompt_injection.py     # Security baseline
│       ├── check_hallucination.py        # Security baseline
│       └── check_misinformation.py       # Security baseline
├── results/                    # Git-ignored run outputs
└── .adlc/
    └── drafts/evals/           # Draft eval records (Markdown + YAML)

フェーズ 3：設定のコピー

• .adlc/evals/ が存在しない場合は作成します。
• skills/evals/evals-templates/evals-config-template.yml を .adlc/evals/evals-config.yml にコピーします。

フェーズ 4：自動引き継ぎ

エラー分析を開始するために /evals-specify を起動します。

検証

• evals/{system}/goldset.md が存在する（初期状態では空）
• .adlc/evals/evals-config.yml が存在する
• グレーダーのディレクトリにセキュリティの基本設定用 Python スクリプトが 4 つ配置されている
• トレースのバージョン管理を防ぐ .gitignore が結果ディレクトリに含まれている
• 推奨フレームワークと次の手順を記載した引き継ぎレポートが生成されている