add-product-e2e-eval

Product E2E 評価を追加する

このスキルは、実際の Chromium、Paperclip サーバー、データベース、ランナー、プロバイダー、必要に応じて Daytona を使用する Product E2E 評価向けです。パッケージ化した結果を Evalbook にインポートする場合でも、日常的なワークフローはこのカテゴリに含まれます。モックのコントロールプレーンに対するランナープロトコルのケースは、add-runner-eval に属します。

PAPERCLIP_ROOT が指定されている場合はそれを使ってリポジトリを特定します。そうでない場合は、チェックアウト内で git rev-parse --show-toplevel を実行します。Git 管理外から作業する場合は、~/paperclipai/paperclip などのワークスペースルートを調べます。選択したルートに tests/runner-e2e と packages/paperclip-runner が含まれていることを確認してください。コマンドはそのリポジトリルートから実行します。コピーされたスキルはチェックアウトの外部にある場合があります。 doc/evals.md を読み、その後、対象領域の規範となる tests/runner-e2e/README.md、FIXTURES.md、SECURITY.md、EVERYDAY-WORKFLOWS.md を確認します。変更する前に、最も近い既存のカタログ項目、ケース、ハーネスのフロー、マッチャー、証拠ライター、レポートテストを調べてください。ユーザージャーニーでは本番のブラウザー／API サーフェスを使用し、非公開のランナーフックやフィクスチャデータベースへの直接書き込みは追加しないでください。

明確なユーザー成果、永続状態のアサーション、独立した証拠を備えた、範囲を限定したワークフローを 1 つ定義します。プロファイル、環境、予想されるプロバイダーのターン数、タイムアウト、クリーンアップ、スクリーンショット、アーティファクトの確認、課金範囲を宣言してください。認証情報やシークレットをカタログデータ、スクリーンショット、フィクスチャメタデータ、ログ、追跡対象ファイルに含めないでください。Daytona イメージには、変更不可能なダイジェスト参照を指定してください。既存の結果バリデーター、失敗分類器、スクリーンショットポリシー、Product E2E レポートパイプラインを使い、これらを重複して実装しないでください。

ワークフローを tests/runner-e2e/catalog.ts と、該当する fixture-registry.ts のパスに登録します。日常的なケースとアクションは everyday-cases.ts と everyday-flow.ts に配置し、既存スイートの構成に合わせてください。既存のセレクターおよびマッチャーのテーブルを使って、プロファイル／環境／ケース ID を接続します。また、周辺のスイートで実施されている場合は、レポートとカタログのカバレッジテストを追加してください。新しい評価アサーションは、妥当な成果と、もっともらしい誤った成果を使って調整してください。証拠が欠けている場合は合格にしてはいけません。実行前に、検出を確認してください。

pnpm test:e2e:runner -- --list --suite <suite-name>
pnpm test:e2e:runner -- --list --suite everyday-workflows

--all では、手動の everyday-workflows スイートや、明示指定のみのその他のセルは意図的に除外されます。これらには、正確なスイート ID または実行 ID を使用してください。Product E2E ジェネレーターは pnpm test:e2e:runner:report です。Everyday Workflows の結果は正規のインポーターを使って Evalbook にインポートすることもできますが、Product E2E の実行結果であることに変わりはないため、まずはパッケージ化されたダッシュボード／レポートを使用してください。

まず、認証情報を必要としないチェックを実行してください。

pnpm test:e2e:runner:typecheck
pnpm test:e2e:runner:unit
pnpm test:e2e:runner -- --list

許可されたライブチェックでは、最小限の明示的な --id セレクターを使用してください。Daytona を選択するのは、設定済みの変更不可能なイメージと認証情報がある場合に限ります。--all による全体キャンペーンは有料であり、管理されたワークフロー向けです。パッケージ化された試行証拠とダッシュボードで結果を確認してください。モデルが作成したテストに合格していても、独立したオラクルの判定を覆すことはできません。

完了したワークフローが誤っていた場合は、アサーションの内容に応じて、プロダクトの動作またはモデル／プロバイダーの動作として分類してください。起動、トランスポート、タイムアウトの症状は、証拠に基づいて原因を特定する必要があります。Paperclip／Runner のプロダクトのバグ、プロバイダーの動作、またはインフラの問題を示している可能性があります。観測された失敗と原因は別々に記録し、既存の機械判定グレード／分類器は変更せずに維持します。また、部分的な試行、再試行、ソース SHA、カタログ／定義ダイジェスト、モデル／プロファイル、環境、採点器のバージョン、実行時間、トークン、ランタイム推定値、コストの対象範囲を保持してください。部分的／手動の選択を根拠に、適格性が確認されたと主張しないでください。 権威ある契約が変更された場合は、README.md、FIXTURES.md、SECURITY.md、または EVERYDAY-WORKFLOWS.md を更新し、doc/evals.md からリンクしてください。Evalbook HTML を再作成したり、未加工の信頼済み トレース、動画、アーカイブ、データベース、ワークスペース、認証情報、SVG、プロバイダーのセッション ID、または非公開の推論を公開したりしないでください。既存のパブリッシャーが許可している場合は、サニタイズ済みの公開フィクスチャ会話、マーク付きスクリーンショット、許可リストに登録された構造化エビデンスを含めてください。