frontierharness-eval

frontierharness-eval について

Runta ランタイムを使い、FrontierHarness Eval に対してサードパーティのコーディングエージェントハーネスをベンチマークする。評価対象の GitHub リポジトリに紐づくクリーンなランタイムを用意し、Terminal-Bench と DeepSWE のタスクに必要な Harbor と Pier のスタックをインストールし、ゴールデンチェックポイントを凍結し、完全に同一の新規リストアからタスクを実行してトラジェクトリを証拠として保存し、比較図を生成して共有可能なレポートを作成する。コーディングエージェントハーネスの評価、ベンチマーク、スコアリング、比較を行う場合、または FrontierHarness、DeepSWE、Terminal-Bench、Harbor、Pier、ゴールデンチェックポイント、ハーネスのトラジェクトリに言及した場合に使用する。