evaluation-anchor-checker

評価アンカー・チェッカー（数値を査読者が安心して確認できる形にする）

トリガーとルーティング

• トリガー：evaluation anchor checker、numeric claim hygiene、underspecified numbers、protocol context、评测锚点检查、数字断言、指标上下文。

目的は、エージェント調査で査読者の注目を集めやすい失敗パターンを修正することです。

• 強い数値や性能に関する主張がある
• しかし、解釈に必要な最低限の評価コンテキストが欠けている

このスキルでは、数値の主張を「契約」として扱います。

• 数値を残す場合、同じ文に解釈に十分なプロトコルのコンテキストを含める必要があります
• そのコンテキストが根拠にない場合、主張の表現を弱めます（推測しないでください）

入力

推奨（マージ前。アンカーを維持できます）：

• 対象の sections/*.md ファイル

任意のコンテキスト（読み取り専用。推測を避けるのに役立ちます）：

• outline/writer_context_packs.jsonl（evaluation_anchor_minimal、evaluation_protocol、anchor_factsを確認）
• outline/evidence_drafts.jsonl / outline/anchor_sheet.jsonl
• citations/ref.bib

出力

• 更新された sections/*.md（マージ後の場合は output/DRAFT.md）。評価アンカーをより安全なものにします
• output/EVAL_ANCHOR_REPORT.md（必須。確認／変更したファイルと、表現を弱めた文を記載する簡潔なレポート）
• 任意の完了マーカー：output/eval_anchors_checked.refined.ok

サーベイ・パイプラインで推奨される配置

これは、マージ前にセクション単位で行う、最後の数値表現の点検として使用してください。

• style-harmonizer、opener-variator、section-logic-polisher、paragraph-curatorの後
• 最終的なargument-selfloopのスナップショットとマージの直前

理由：

• 先行するセクション単位の書き換え処理で、数値を含む文が正当に言い換えられたり、統合されたりすることがあります
• pipeline-auditorまで待つと、マージ済みのドラフトで数値のコンテキストに関する問題が見つかるのが遅すぎます
• セクション単位で修正するほうが、マージ後にパッチを当てるより手間が少なく、引用のアンカーも維持しやすくなります

読み込み順

必ず以下を読んでください。

• references/numeric_hygiene.md

機械可読なアセット：

• assets/numeric_hygiene.json

このアセットでは、キーワードの分類と定性的な代替テンプレートを定義します。 スクリプトは決定的な動作を保ち、ポリシーはアセットとリファレンスの組み合わせに記述してください。

ロールプロンプト：査読者の視点を持つ編集者（評価の品質管理）

You are a reviewer-minded editor for evaluation claims in a technical survey.

Goal:
- make every numeric/performance claim interpretable and reviewer-safe

Hard constraints:
- do not invent numbers
- do not add/remove/move citation keys
- if protocol context is missing, weaken or remove the numeric claim

Minimum context to include when keeping a number:
- task / setting (what kind of task)
- metric (what is being measured)
- constraint (budget/cost/tool access/horizon/seed/logging) when relevant

Avoid:
- ambiguous model naming that looks hallucinated (e.g., “GPT-5”) unless the cited paper uses it verbatim

ワークフロー（明示的な入力）

• outline/writer_context_packs.jsonlを使い、サブセクションで使用可能な引用と、抽出済みのevaluation_protocol／anchor_factsを確認してください。
• 数値に手を加える前に、outline/evidence_drafts.jsonlとoutline/anchor_sheet.jsonlを照合し、タスク、指標、制約に関するコンテキストを確認してください。
• 引用キーはすべてcitations/ref.bibで検証してください（新しいキーを追加しないでください）。
• この点検の完了をパイプラインで監査できるよう、output/EVAL_ANCHOR_REPORT.mdを作成してください。

適用するルール（「最低限のプロトコル3項目」）

文に数字（%、x、数値）が含まれている場合：

• 推測せずに、以下のうち少なくとも2項目を同じ文の中に加えられる場合に限り、数値を残してください。
  • タスクの種類／ベンチマーク名
  • 指標の定義
  • 制約（予算、ツールへのアクセス、コストモデル、再試行、評価期間）

不可能な場合は、表現を弱めてください。

• 数値を削除し、同じ引用を付けたまま「よくある」「可能性がある」などの定性的な表現に書き換える
• または、新たな事実を加えず、具体的な内容を「評価では……を報告する必要がある」という検証項目に移す

短い例（言い換え。コピーしないでください）

悪い例（コンテキストが不十分）：

• Model X achieves 75% exact performance [@SomeBench].

改善例（最低限のコンテキストを含む）：

• <task/benchmark>では、<constraint/budget/tool access>の条件下で、Model Xは約75%の<metric>を達成します[@SomeBench]。

コンテキストが不足している場合の改善例（表現を弱める）：

• 報告された性能向上にはばらつきがありますが、予算と再試行ポリシーが報告されていない場合、比較の信頼性は依然として低いままです[@SomeBench]。

完了チェックリスト

• output/EVAL_ANCHOR_REPORT.md が存在し、ゼロ以外のファイル数が報告されています。
• 数値に関する主張が、最低限のプロトコルの文脈を示さずに残っていません。
• 引用による明示的な裏付けがない限り、曖昧なモデル名が残っていません。
• 引用キーは変更されていません。
• 数値を削除または格下げした場合も、その段落では、根拠で裏付けられる範囲内で妥当な主張が示されています。

スクリプト

クイックスタート

• uv run python .codex/skills/evaluation-anchor-checker/scripts/run.py --workspace <workspace>

すべてのオプション

• --workspace <dir>：sections/*.md または統合済みドラフトの成果物を含むワークスペース
• --unit-id <id>：任意のハーネスメタデータ
• --inputs <semicolon-separated>：UNITS.csv の任意の上書き指定
• --outputs <semicolon-separated>：任意の出力先の上書き指定。デフォルトには output/EVAL_ANCHOR_REPORT.md が含まれます
• --checkpoint <C*>：任意のハーネスメタデータ

例

• マージ前に数値の健全性チェックを実行します：
  • uv run python .codex/skills/evaluation-anchor-checker/scripts/run.py --workspace <workspace> --inputs 'sections/*.md;outline/writer_context_packs.jsonl;citations/ref.bib' --outputs 'sections/*.md;output/EVAL_ANCHOR_REPORT.md;output/eval_anchors_checked.refined.ok'