add-runner-eval

Runner Eval を追加する

Runner/provider セッションをシード済みのモックコントロールプレーンに対して実行する、Runner Evals ファミリーではこのスキルを使用します。製品のブラウザー／サーバー／データベース／Daytona のカバレッジについては、add-product-e2e-eval を参照してください。

PAPERCLIP_ROOT が指定されている場合はそれを使用し、チェックアウト内にいる場合は git rev-parse --show-toplevel を実行して、Paperclip のチェックアウトを特定します。Git の外にいる場合は、ワークスペースのルート（例：~/paperclipai/paperclip）を調べ、選択したルートに packages/paperclip-runner と tests/runner-e2e が含まれていることを確認します。PAPERCLIP_EVALS_ROOT または見つかった兄弟リポジトリを使って paperclip-evals を特定します。worktree の親ディレクトリにそのリポジトリがあるとは限りません。編集前に doc/evals.md と packages/paperclip-runner/docs/runner-protocol-live-evals.md を読み、最も近い既存ケース、roster、スキーマ、レポートテストを確認します。定義と作成するケースは兄弟リポジトリの paperclip-evals/evals/paperclip-runner に配置します。Runner の統合、集約、ビューアー、公開動作は packages/paperclip-runner に配置します。名前とドキュメントでは、コントロールプレーンとの境界を明確にしてください。

兄弟リポジトリの eval README が具体的な構成案内です。ケースは cases/、会社のフィクスチャは fixtures/、ランタイム／モデル設定は configs/、選択項目は rosters/、維持対象のキャンペーンメンバーは campaigns/live-direct-full.json に配置します。プログラムで必要な場合は、インベントリー／カバレッジのマッピングを更新してください。新しいファイルを追加しただけでは、維持対象のキャンペーンに含まれません。Evals リポジトリのルートから、変更したケースと roster に合わせて、以下のプロバイダーを使用しないチェックを実施します。信頼性計画バリデーターを実行するのは、その別個の計画を変更する場合に限ります。

python3 evals/paperclip-runner/tools/eval_program.py validate \
  --case evals/paperclip-runner/cases/get-task-context.json \
  --config evals/paperclip-runner/configs/live-codex-pinned.json
python3 evals/paperclip-runner/tools/run_live_roster.py validate \
  --roster evals/paperclip-runner/rosters/live-mini.json --run-id validate-new-case
python3 evals/paperclip-runner/tools/run_live_campaign.py validate \
  --campaign evals/paperclip-runner/campaigns/live-direct-full.json
python3 evals/paperclip-runner/tools/reliability_campaign.py validate \
  --plan evals/paperclip-runner/campaigns/paperclip-runner-reliability.json

近くにあるグレーダーの成功／失敗ケースやフィクスチャを使って、新しいアサーションを調整してください。グレーダーがフェイルクローズで失敗すべき、不正な証拠や欠落した証拠も含めます。既存の機械判定による処置と評価結果を維持してください。製品、モデル／プロバイダー、評価、インフラストラクチャのラベルは分析用の注釈であり、分類器を書き換える指示ではありません。

決定論的な意味アサーションと検証可能な結果を備えた、範囲を限定したケースを1つ作成します。期待される操作、状態への影響、プロバイダーのレーン／プロファイル、タイムアウトと再試行のポリシー、必要な証拠を宣言してください。非公開の推論を評価したり、プロバイダーの最終メッセージから成功を推測したり、会話／ツールの証拠を捏造したりしないでください。公開出力には、レビュー済みの投影を適用します。サニタイズ済みのフィクスチャ会話と許可リストにあるツールの結果は公開できますが、生の信頼済み成果物、認証情報、シークレット、非公開の参照、非公開の推論は公開できません。

まず、上記のコマンドと、Runner ドキュメントに記載されている関連するレポート／レンダリングの検証を使って、プロバイダー呼び出しなしで検証します。ライブ実行が許可されている場合は、Paperclip のコミットと、正確な40文字の paperclip-evals のコミットを固定し、必要最小限の roster を選択して、完全な来歴とコストの記録を保持します。

契約やコマンドを変更した場合は、正式な詳細ドキュメントを更新し、Runner の手順書を重複させずに doc/evals.md からリンクします。公開レポートは不変に保ち、レビュー済みの投影を使用してください。サニタイズ済みのフィクスチャ会話と許可リストにあるツールの結果は公開できますが、認証情報、シークレット、非公開の参照、生の信頼済みペイロード、非公開の推論を公開してはいけません。