write-code-eval

コード評価器を作成する

エラー分析で見つかった失敗パターンから始めます。その失敗パターンに対するチェックを1つ作成します。各トレースで成り立つべき条件を検証するユニットテストのようなものです。

1. ルールを示し、そのチェックに必要なトレースのフィールドまたは参照データを特定します。ルールの解釈が必要な場合は、write-judge-prompt を使用します。
2. プロジェクトの言語と評価フレームワークでチェックを実装します。そのフレームワークが想定する形式で、結果と理由を返します。
3. 既知の成功例と失敗例（境界ケースを含む）でテストします。利用可能なトレースに対してチェックを実行し、誤りを確認します。人間の判断の代わりに代理指標を使うルールの場合、その結果を人間によるラベルと比較します。

例

失敗パターン	チェックの例
出力構造が無効	出力を解析し、必須フィールドをチェックする
テキストの欠落または禁止	文字列またはパターンに一致するか確認する
引用が取得したドキュメントに含まれていない	引用されたIDと取得されたIDを比較する
不適切なツール呼び出し	引数をツールスキーマに照らして確認するか、安全なテスト環境で呼び出しを実行する
値が誤っている	出力を参照値と比較する

失敗ルールに合ったチェックを選びます。客観的な部分と解釈を要する部分の両方を含む失敗については、客観的な部分をコードでチェックし、残りにはジャッジを使用します。