eval-harness-updater

Eval Harness Updater

不安定な環境でもライブモードとフォールバックモードを実用的な状態に保てるよう、評価ハーネスを更新します。

注力領域

• プロンプトとパーサーのドリフト
• タイムアウト／ストリームの途中終了への対応
• SLO とリグレッションのゲート
• デュアルラン・フォールバックの一貫性

ワークフロー

1. ハーネスのパスを解決します。
2. テスト／評価のベストプラクティスを調査します（Exa + arXiv — 以下の「調査ゲート」を参照）。
3. パースとタイムアウトのエッジケースに対する RED リグレッションを追加します。
4. ハーネスのロジックを最小限修正します。
5. 評価の出力と CI ゲートを検証します。
6. 関連アーティファクトの不足を解消します（以下の「相互参照テーブル」を参照）。

調査ゲート（Exa + arXiv — 両方必須）

ハーネスの変更を提案する前に、最新のベストプラクティスを収集します。

1. 実装とエコシステムのパターンには Exa を使用します。
   • mcp__Exa__web_search_exa({ query: 'LLM eval harness 2025 best practices' })
   • mcp__Exa__get_code_context_exa({ query: 'eval harness parser reliability timeout handling' })
2. 評価手法に関する学術研究を arXiv で検索します（必須）。
   • Exa 経由：mcp__Exa__web_search_exa({ query: 'site:arxiv.org LLM evaluation harness 2024 2025' })
   • 直接 API：WebFetch({ url: 'https://arxiv.org/search/?query=LLM+evaluation+harness&searchtype=all&start=0' })
3. 決定事項、制約、対象外事項をメモリの学習内容に記録します。

LLM 評価、エージェント評価、SLO ゲート、リグレッションテストの手法、またはパーサーの信頼性に関わるトピックでは、arXiv の検索が必須です（フォールバックではありません）。

相互参照：Creator エコシステム

このスキルは Creator エコシステム の一部です。調査で不足が見つかった場合は、適切な関連クリエーターを呼び出します。

発見された不足	必要なアーティファクト	呼び出すクリエーター	タイミング
ドメイン知識に再利用可能なスキルが必要	スキル	Skill({ skill: 'skill-creator' })	不足がスキル全体の領域に及ぶ場合
既存スキルの対応範囲が不完全	スキルの更新	Skill({ skill: 'skill-updater' })	関連するスキルはあるが不完全な場合
機能を専用エージェントに担わせる必要がある	エージェント	Skill({ skill: 'agent-creator' })	機能を担当するエージェントが必要な場合
既存エージェントの機能更新が必要	エージェントの更新	Skill({ skill: 'agent-updater' })	関連するエージェントはあるが不完全な場合
ドメインにコード／プロジェクトのスキャフォールディングが必要	テンプレート	Skill({ skill: 'template-creator' })	再利用可能なコードパターンが必要な場合
動作に実行前後のガードが必要	フック	Skill({ skill: 'hook-creator' })	動作の強制が必要な場合
プロセスに複数フェーズのオーケストレーションが必要	ワークフロー	Skill({ skill: 'workflow-creator' })	複数ステップの連携が必要な場合
アーティファクトに構造化された I/O 検証が必要	スキーマ	Skill({ skill: 'schema-creator' })	アーティファクトの I/O に JSON スキーマが必要な場合
ユーザーとのやり取りにスラッシュコマンドが必要	コマンド	Skill({ skill: 'command-creator' })	ユーザー向けのショートカットが必要な場合
繰り返し使うロジックに再利用可能な CLI ツールが必要	ツール	Skill({ skill: 'tool-creator' })	CLI ユーティリティが必要な場合
特定のアーティファクトだけに関わる限定的な機能	インライン	このアーティファクト内のみで文書化	汎用化するには特化しすぎている場合

厳守事項

1. 必ず評価ハーネスを更新する前に、Exa + arXiv の調査ゲートを実行してください。最新の外部知識を確認せずに更新すると、評価基準が古くなります。
2. 決して既存の評価基準を、同等以上の基準で置き換えずに削除しないでください。評価ハーネスのテストカバレッジを減らすことは、リグレッションです。
3. 必ずハーネスの完成を宣言する前に、クリエイターのエコシステムを参照して不足がないか確認してください。関連する成果物（スキル、エージェント、スキーマ）が不足すると、新しい機能をハーネスでテストできなくなります。
4. 決して評価対象のスキル／エージェントと切り離して評価ハーネスを更新しないでください。ハーネスと成果物を同期させなければ、ハーネスが誤った動作をテストすることになります。
5. 必ず評価スコアの後方互換性を維持してください。過去のベースラインを移行せずにスコアリングの意味を変更すると、傾向分析が不可能になります。

アンチパターン

アンチパターン	失敗する理由	正しいアプローチ
調査ゲートを通さずに評価ハーネスを更新する	古い知識に基づく基準となり、最近の評価手法の進歩を見落とす	評価基準を更新する前に、必ず Exa + arXiv の調査を実行する
ハーネスを簡素化するためにテストケースを削除する	カバレッジが気付かないうちに低下し、リグレッションが検出されない	テスト対象の動作が意図的に削除された場合に限り、テストケースを削除する
ハーネスと成果物を別々の PR で更新する	成果物が変更された時点でハーネスが誤った動作をテストし、ただちにテストのずれが生じる	ハーネスと成果物は必ず同じコミットで更新する
プロジェクトの途中でスコアリング尺度を変更する	過去のベースラインを比較できなくなり、傾向分析が破綻する	スコアリング尺度は一度定義し、変更が必要な場合は移行を作成する
関連成果物を確認せずにハーネスの完成を宣言する	スキルやスキーマが不足し、評価に抜けが生じる	ハーネスの更新を完了とする前に、必ず関連成果物を確認する

メモリープロトコル（必須）

開始前： .claude/context/memory/learnings.md を読みます

完了後：

• 新しい評価パターン → .claude/context/memory/learnings.md
• 評価の抜けを発見 → .claude/context/memory/issues.md
• スコアリングの決定 → .claude/context/memory/decisions.md

中断を想定してください。メモリーに記録されていなければ、実行されていないのと同じです。