mcpField
F
figure-results-review

figure-results-review

github.com/a-green-hand-jackデータ・データベース47 回インストール
リポジトリ

figure-results-review について

Figure Results Reviewは、論文や会議資料に使うプロット、キャプション、結果の説明を監査する研究スキルです。図が主張を裏付けているかを確認し、視覚面と統計面の妥当性を点検して次の対応を整理します。

主な機能

  1. 01図による主張の裏付けを確認
  2. 02ラベル、尺度、視認性を点検
  3. 03不確実性と実験の公平性を確認
  4. 04図のファイルとキャプションを照合
  5. 05主張の更新と次の対応を整理

活用シーン

  1. 01論文投稿前に図をレビュー
  2. 02キャプションと図の整合性を確認
  3. 03不足するベースラインや不確実性を評価
  4. 04証拠を明確に示す会議スライドを準備

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/a-green-hand-jack/ml-research-skills --skill figure-results-review

インストール後、Claude Code で/figure-results-reviewを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

references/
caption-and-narrative.md
claim-support.md
memory-writeback.md
paper-visual-style.md
report-template.md
statistical-evidence.md
style-memory.md
visual-integrity.md
templates/
visual-style.md

詳細

図の結果レビュー

図、プロット、キャプション、結果の説明を監査し、論文の根拠や会議資料になる前に問題を確認します。

次の場合にこのスキルを使用します。

  • ユーザーが、実験結果を示す図、プロット、結果のスクリーンショット、図のキャプション、結果のセクション、スライドを持っている
  • 論文で、各図が figures/fig_name.pdf や figures/fig_name.png などのレンダリング済みアセットと、figures/fig_name.tex などの LaTeX ラッパーとして保存されている
  • 論文の主張を実際に表示されている根拠に照らして確認する必要がある
  • プロットにベースライン、エラーバー、シード、ラベル、単位、公平性に関する情報が欠けている可能性がある
  • 論文の図で、色パレット、マーカー、記号、線幅、フォント、サイズ、表記を統一する必要がある
  • 新しい結果について、記述を更新するか、実験を再実行するか、失敗を診断するか、主張の範囲を狭めるかを判断する必要がある
  • リバッタルで簡潔な視覚的回答が必要である
  • アドバイザーとの会議で、判断が明確に伝わる図が必要である

実験を一から設計するためにこのスキルを使用しないでください。結果がまだない場合は、事前に experiment-design-planner を使用してください。主な問題が結果に意外な点や問題がある理由である場合は、result-diagnosis を使用してください。根拠がすでに受け入れられており、主な作業が文章のスタイルである場合は、conference-writing-adapter を使用してください。

このスキルは、次のスキルと組み合わせて使用します。

  • 論文用の図を、視覚的にレビューする前に CSV の結果ファイルから生成または再生成する必要がある場合は、paper-result-asset-builder
  • 図のレビューで不足している結果が見つかり、既存の CSV に必要な根拠がすでに含まれている可能性がある場合は、paper-evidence-gap-miner
  • 図を論文の主張、セクション、査読者の懸念、アクションに関連付ける必要がある場合は、paper-evidence-board
  • プロットされた結果に疑わしい点、不安定な点、否定的な点、または矛盾がある場合は、result-diagnosis
  • 図からベースラインの不足、弱さ、不公平さが明らかになった場合は、baseline-selection-audit
  • 修正に新たな実験、アブレーション、対照実験、評価指標が必要な場合は、experiment-design-planner
  • 図をレビューする前に、生の結果を構造化されたレポートにまとめる必要がある場合は、experiment-report-writer
  • 最終的な図の説明やビジュアルスタイルを投稿先に合わせる必要がある場合は、conference-writing-adapter
  • 主張、根拠、来歴、リスク、アクション、引き継ぎに関する更新をセッションをまたいで保持する必要がある場合は、research-project-memory

スキルディレクトリの構成

<installed-skill-dir>/
├── SKILL.md
├── templates/
│   └── visual-style.md
└── references/
    ├── caption-and-narrative.md
    ├── claim-support.md
    ├── memory-writeback.md
    ├── paper-visual-style.md
    ├── report-template.md
    ├── statistical-evidence.md
    ├── style-memory.md
    └── visual-integrity.md

段階的な読み込み

  • 必ず references/claim-support.md、references/visual-integrity.md、references/statistical-evidence.md を読みます。
  • 図を論文、スライドデッキ、リバッタル、カメラレディ、または投稿先固有の改稿に使用する場合は、references/paper-visual-style.md と references/style-memory.md を読みます。
  • paper/.agent/visual-style.md を初期化する際は、templates/visual-style.md を使用します。
  • キャプション、結果の文章、スライドのテキスト、または論文内で図に言及する箇所を改訂する場合は、references/caption-and-narrative.md を読みます。
  • 最終レビューを書く前に、references/report-template.md を読みます。
  • プロジェクトに memory/、コンポーネントの .agent/ フォルダーがある場合、またはユーザーがプロジェクトのメモリを永続化するよう求めた場合は、references/memory-writeback.md を読みます。
  • 想定される作図規約が投稿先、ベンチマーク、または最近の論文のスタイルに依存する場合は、現在採択されている論文、公式のベンチマークプロトコル、またはユーザー提供の参考例で確認します。
  • 実際の画像を確認できない場合は、提供されたデータ、キャプション、文章を監査し、視覚的なレイアウトに関する判断が未検証であることを明記します。

基本原則

  • 図は、装飾ではなく、特定の主張を裏付ける証拠です。
  • 図の一式は、レンダリング済みアセット、LaTeX ラッパー、視覚的な説明、キャプション、本文中の参照、出典情報という別々の要素で構成されます。
  • 図の説明とキャプションは別の成果物です。重要性を解釈する前に、画像に何が示されているかを説明します。
  • すべてのプロットは、査読者からの質問に一つ答えるものであるべきです。
  • 主な比較は、視覚的にも数値的にもすぐに見つけられるようにします。
  • キャプションには、論文を探し回らなくても結果を解釈できるだけの設定情報を記載します。
  • 本文中の参照では、どの視覚的な比較を確認すべきか、またそれがなぜ重要なのかを読者に伝えます。
  • 主張がわずかな差に依存する場合、統計的不確実性、シード、分散が重要です。
  • 解釈に影響する場合は、計算量、データ、ベースライン、公平なプロトコルが明確にわかるようにします。
  • 論文の図では、意図的に統一した視覚表現を用います。スタイルの選択は、査読者が最初に何に注目するかを左右するため、執筆の一部です。
  • 視覚スタイルは、記憶を育てるように発展させます。一度限りの学びを記録し、繰り返し現れる好みをプロジェクトの取り決めに昇格させ、その後にのみ再利用可能なスキルのルールへ一般化します。
  • 主張を裏付けない美しいプロットは、修正するか削除します。
  • 新しい結果が得られたら、主張、執筆内容、査読上のリスク、次のアクションを更新します。
  • 図が論文のレイアウト上の問題を引き起こす場合は、まず該当するページと図のラッパーを特定します。グローバルなフロート間隔や段落設定よりも、局所的なラッパー、文章、配置の修正を優先します。投稿用レイアウト全般のデバッグは submit-paper に振り分けます。

ステップ 1 - 証拠の文脈を把握する

以下を収集します。

  • 図のファイルパス、スクリーンショット、生データ、キャプション、または結果を説明する文章
  • figures/fig_name.pdf や figures/fig_name.png のような、レンダリング済みアセットのパス
  • 論文でラッパーファイルを使用している場合は、figures/fig_name.tex のような LaTeX ラッパーのパス
  • 結果が裏付けることを意図している論文の主張またはセクション
  • 実験設定:データセット、モデル、ベースライン、評価指標、シード、分割、ハイパーパラメーター、プロトコル
  • プロット設定:プロットする変数、フィルター、平滑化、変換、軸の範囲、カラーマップ、注釈のルール、集約方法、入手可能な場合はコードや設定ファイルのパス
  • 対象読者:論文、アドバイザーとのミーティング、スライド、反論文、内部レポート、付録
  • 投稿先の会場またはベンチマークで求められる要件
  • ある場合は、現在の論文内の位置
  • CLM-###、EVD-###、FIG-###、TAB-###、RSK-###、ACT-### など、関連するプロジェクトメモリ ID

意図する証拠と主張の関係を書き直します。

This figure is supposed to show that [claim] because [metric/comparison/trend] under [setup].

この文を書けない場合は、視覚表現を磨く前に paper-evidence-board に振り分けます。

ステップ 2 - 図の一式を特定する

論文の図については、共通のファイル名の基幹部分から一式を特定します。

figures/fig_name.pdf or figures/fig_name.png  # rendered asset
figures/fig_name.tex                          # LaTeX wrapper

以下の両方のレイヤーがある場合は、どちらも確認します。

  • レンダリング済みアセット:読者に視覚的に見えるもの
  • ラッパー .tex:\includegraphics、幅、配置、\caption{}、\label{}、サブ図のレイアウト、注記、アセットのファイル名が意図した図と一致しているか
  • 近くにある論文のソース:ラッパーがどこで \input{} または \include{} されているか、本文でどのように参照されているか

対応するアセットのないラッパー、または対応するラッパーのないアセットがある場合は、一式が不完全であると指摘します。複数のアセット形式がある場合は、ラッパーがどれを読み込んでいるかを特定します。

ステップ 3 - 解釈する前に説明する

各図について、キャプションを書いたり評価したりする前に、視覚的な説明を作成します。

視覚的な説明には、次の内容を記載します。

  • 図の種類とパネル構成
  • 軸、単位、スケール、方向性
  • 手法、データセット、変数、色、マーカー、凡例
  • 目に見える傾向、比較、外れ値、欠損値、不確実性
  • 表示内容の再現に必要なプロットパラメーター
  • 結果の解釈に必要な実験パラメーター:データセット分割、モデル/チェックポイント、ベースライン、指標、シード数、サンプリング予算、ハイパーパラメーター、計算予算、プロトコル
  • 直接目で確認できる情報と、ログ、設定ファイル、ファイル名、キャプション、ユーザーの記述から推測した情報の区別

視覚的な説明全体を論文のキャプションに含めないでください。キャプションと論文本文が図の内容を忠実に反映しているかを確認するための監査記録として使用します。

ステップ 4 - 主張の裏付けを監査する

references/claim-support.mdを読みます。

各図について、次の問いに答えます。

  • どのような具体的な主張を裏付けていますか?
  • 表示された証拠は、その主張に対して十分ですか?
  • 測定した設定に照らして、主張の範囲が広すぎませんか?
  • ベースライン、アブレーション、対照実験、診断情報が不足していませんか?
  • 別の図やセクションの結果と矛盾していませんか?
  • 論文の主要部分、付録、診断資料のどれに適していますか。それとも、まだ掲載できる状態ではありませんか?

次のいずれかのステータスを割り当てます。

  • supports-claim
  • supports-narrower-claim
  • ambiguous
  • contradicts-claim
  • diagnostic-only
  • not-ready

ステップ 5 - 視覚的な整合性を監査する

references/visual-integrity.mdを読みます。

次の点を確認します。

  • 軸、ラベル、単位、スケール、変換
  • 凡例の読みやすさと手法名
  • 手法、データセット、指標、アブレーションの並び順
  • 主要な結果が視覚的に際立っているか
  • グレースケールでも色、マーカー、線種、ハッチングを判別できるか
  • 1 段組み、2 段組み、スライド、付録での使用に適した図のサイズか
  • キャプションとラベルが実際にプロットされたデータと一致しているか
  • 多数のパネルや凡例から読者が推測しなくても、意図された比較の流れが視覚的に明確か
  • 図のラッパーの幅、トリミング、サブ図の順序、ラベルが、レンダリングされた画像および視覚的な説明と一致しているか
  • ラッパーによって図の周囲に不要な余白が生じたり、ページ下部のレイアウトが不安定になったり、折り返しが不安定になったりしていないか。該当する場合は、LaTeX 全体の調整ではなく、この図の近くで修正すべきか

査読者が結果を誤読するおそれのある問題があれば、フラグを立てます。

ステップ 6 - 論文の視覚スタイルを監査する

出力が論文向けの場合は、references/paper-visual-style.mdとreferences/style-memory.mdを読みます。

次の点を確認します。

  • カラーパレットと、色覚多様性・グレースケールへの対応
  • すべての図で、手法と色およびマーカーの対応が一貫しているか
  • 線幅、マーカーサイズ、ハッチング、記号、表記の一貫性
  • フォントサイズ、目盛りの密度、ラベルの長さ、最終列での読みやすさ
  • 1 段組み、2 段組み、付録、スライドでの使用に適した図の寸法か
  • 視覚的な強調が論文の主張の優先順位と一致しているか
  • 色だけに頼らず、主要な手法を判別できるか
  • プロット内の定理/手法の記号が論文の表記と一致しているか

論文に視覚スタイルの方針がない場合は、templates/visual-style.mdを参考に方針を提案し、適切にpaper/.agent/visual-style.mdまたは.agent/conference-writing/project-style.mdに記録します。

タイポグラフィと最終的なサイズについては、ノートブックのプレビューではなく、仕様を確認します。

  • \columnwidth、\linewidth、\textwidthなど、LaTeXへの最終的な挿入幅
  • 生成される図のサイズ(インチ単位)
  • 軸ラベル、目盛りラベル、凡例、注釈、パネルラベルのサイズ(ポイント単位)
  • LaTeXで画像が拡大縮小され、意図したタイポグラフィの階層が崩れていないか
  • コード側のplot_style.yamlと論文側のvisual-style.mdが両方ある場合、それらの内容が一致しているか

スタイル上の問題が見つかった場合は、記録に反映する前に、lesson、preference、project contract、reusable skill rule candidateのいずれかに分類します。

ステップ 7 - 統計的・実験的エビデンスを監査する

references/statistical-evidence.md を読みます。

以下を確認します。

  • シード数または反復実行回数
  • 分散、信頼区間、標準偏差、標準誤差
  • 差が小さい場合の有意性または効果量の解釈
  • データ分割とリークのリスク
  • 指標の定義と平均化方法
  • ベースラインの公平性とチューニング予算
  • 省略すると視覚的な比較が誤解を招く可能性のある、計算量、ハードウェア、モデルサイズ、プロンプト、データ、選定方法の違い
  • 効率性を主張する場合の計算量または速度の報告
  • 示すべき失敗事例や否定的な結果
  • プロットのパラメーターと実験パラメーターを、図のラッパー、キャプション、結果レポート、ログ、設定ファイル、論文本文から再現できるかどうか

プロットに必要な不確実性の情報が欠けている場合は、再実行するか、エラーバーを追加するか、主張を控えめにするか、付録または診断用の位置付けに移すかを判断します。

ステップ 8 - キャプションと結果の説明を確認する

出力テキストの修正が必要な場合は、references/caption-and-narrative.md を読みます。

図ごとに、以下を作成します。

  • 視覚的な説明
  • 出所の概要:レンダリング済みアセット、ラッパー .tex、プロットのパラメーター、実験パラメーター、出所の確実性
  • キャプションと画像の整合性の診断
  • キャプションの診断
  • 修正後のキャプションまたはキャプションの概要
  • 論文中で図に言及する一文
  • 近くの本文で避けるべき主張
  • 査読者の疑問に対する回答
  • 追加すべき設定の詳細

キャプションで誇張しないでください。設定、比較対象、指標、結論を記載してください。

ステップ 9 - 修正対応を振り分ける

すべての問題に対して、以下の対応を1つ以上割り当てます。

  • fix-wrapper:figures/*.tex におけるアセットパスの誤り、古いキャプション、ラベルの不一致、幅・切り抜き・レイアウトの問題、またはサブ図のマッピングの欠落
  • edit-figure:ラベル、順序、スケール、凡例、レイアウト、または視覚的な強調
  • rewrite-caption:設定、指標、結論、注意点、または主張との整合性
  • write-description:視覚的な説明または出所記録の欠落
  • rewrite-results-text:論文内の該当箇所の説明が過大な主張をしている、または結論を見落としている
  • define-visual-style:論文の視覚スタイルポリシーがない、または一貫していない
  • record-style-lesson:タイポグラフィ、サイズ、凡例、マーカー、色、エクスポート、ラッパーに関する新たな知見は、確定的なルールにする前にスタイルの記録に追記する
  • restyle-figure:色、マーカー、線幅、フォントサイズ、記号、パネルレイアウト、または強調
  • build-result-asset:生の CSV にエビデンスがあるものの、論文用の図またはラッパーを出所情報付きで生成する必要がある
  • mine-existing-results:図に必要なエビデンスがないものの、CSV またはレポートにすでに存在している可能性がある
  • rerun:既存の結果を確認した後も、シード、分散、ベースライン、指標、またはプロトコルが不足している
  • diagnose-result:疑わしい、否定的、不安定、または矛盾するパターン
  • baseline-audit:ベースラインが欠落している、または公平でない
  • narrow-claim:エビデンスがより限定的な主張しか裏付けていない
  • move-to-appendix:有用ではあるものの、論文の本文に載せるほど中心的ではない
  • cut:図が論文で必要な内容を裏付けていない

適切な場合は、次に使うスキルを示します。

ステップ 10 - レビューレポートを作成する

references/report-template.md を読みます。

プロジェクトに保存する場合、保存先のパスが指定されていなければ、以下を使用します。

docs/results/figure_results_review_YYYY-MM-DD_<short-name>.md

レポートには以下を含める必要があります。

  • 図の一覧
  • 図の対応表:レンダリング済みアセット、ラッパー .tex、論文内で図に言及する箇所、ラベル
  • 視覚的な説明
  • プロットと実験パラメーターの出所情報
  • 主張の裏付け状況
  • 視覚的な信頼性に関する問題
  • 視覚スタイルポリシーと一貫性に関する問題
  • 新たなスタイル上の知見、または好みから規約への昇格
  • 統計的エビデンスに関する問題
  • キャプションと説明の修正
  • 査読者が懸念するリスクの予測
  • 振り分けた対応と次に使うスキル
  • メモリー更新セクション

ステップ 11 - プロジェクトメモリへの書き戻し

メモリが存在する場合は、references/memory-writeback.md を読んでください。

有用な範囲で最小限のエントリーを更新します。

  • memory/evidence-board.md:図のエビデンス状況、レンダリング済みアセット、ラッパー .tex、セットアップ、プロットパラメーター、実験パラメーター、関連する主張
  • memory/claim-board.md:裏付けられた、範囲を絞られた、反証された、または準備が整っていない主張
  • memory/risk-board.md:視覚的な曖昧さ、不確実性の欠如、弱いベースライン、過剰な主張に起因する査読者の懸念
  • memory/action-board.md:図の編集、再実行、キャプションの修正、結果の診断、主張の修正
  • paper/.agent/:図のマップ、アセットとラッパーの組み合わせ、論文内の位置、視覚的な説明、キャプションの状態、出典情報の欠落、古くなったビジュアルに関する警告
  • paper/.agent/visual-style.md または paper/.agent/style-lessons.md:タイポグラフィ、サイズ、エンコーディング、エクスポート、ラッパーの動作に関するスタイル上の教訓、好み、プロジェクト規約
  • .agent/conference-writing/project-style.md:カンファレンス向けの調整が進行中の場合、投稿先に合わせた図のスタイルに関する決定事項
  • 作業ツリーの .agent/worktree-status.md:結果生成またはプロットのタスクと完了条件

確実性ラベルを使用します。

  • verified:生データ、ログ、または元図で確認した値
  • user-stated:ユーザーから提供されたコンテキスト
  • inferred:査読者の懸念や論旨に関する判断
  • unverified:確認できなかった視覚的または統計的な主張

最終確認

最終化する前に、次の点を確認してください。

  • すべての図に、関連する主張と査読者の疑問が結び付けられている
  • figures/*.tex を使用するプロジェクトでは、すべての論文中の図について、対応するアセットとラッパーの組み合わせが特定されている
  • 確認したすべての図に、キャプションとは別の視覚的な説明がある
  • プロットパラメーターと実験パラメーターが記録されているか、不明であると明示されている
  • 主な比較を簡単に見つけられる
  • 軸、単位、凡例、キャプション、ラベルが曖昧でない
  • 色、マーカー、フォント、記号、図のサイズが論文全体で一貫している
  • スタイル上の教訓が、暗黙のうちに広範な規則になるのではなく、適切な適用範囲で記録されている
  • 不確実性が示されているか、不確実性を示さない理由が説明されている
  • 該当する場合、ベースラインと計算資源の公平性が明確に示されている
  • 過剰な主張の範囲が絞られている
  • 修正が具体的な次のアクションまたはスキルに割り当てられている
  • 存在する場合、プロジェクトメモリが更新されている

コメント