eval-harness

eval-harness について

AI コーディングセッション向けの評価駆動開発（EDD）フレームワーク。コーディング前に能力評価と回帰評価を定義し、コードベース、モデルベース、ルールベース、または人間の評価者で採点して、pass@k と pass^k の信頼性を追跡します。Agent タスクの合否基準の定義、Agent の信頼性測定、プロンプトや Agent の変更に対する回帰テストスイートの構築、またはモデルバージョン間のベンチマークに使用します。