results-analysis

結果分析

ML／AI 研究に向けて、厳密でエビデンスを最優先する実験分析を実施します。

このスキルを使用して、厳密な分析バンドルを作成します。

• analysis-report.md
• stats-appendix.md
• figure-catalog.md
• figures/

ユーザーがレビュー、監査、書き込みなし、ドライランを求める場合、または入力が不完全な場合は、ファイルや図を生成する代わりに読み取り専用の監査モードを使用します。このモードでは、有効／無効な統計、ブロッカー、主張候補、不足しているエビデンスのみを出力します。/analyze-results から呼び出された場合、コマンドレイヤーはブロッカーの概要を書き込むことがありますが、このスキルは不完全なエビデンスから図、レポート、整った結論を作成してはなりません。

論文の Results セクションや、実験全体のまとめレポートの草案作成には、このスキルを使用しないでください。それらは ml-paper-writing または results-report の担当です。

基本契約

このスキルの担当範囲

• 実験成果物と比較単位を検証する
• 厳密な記述統計および推測統計を実行する
• データやログが利用可能な場合、実際の科学的な図を生成する
• 図の目的、キャプション要件、解釈チェックリストを作成する
• 制約、ブロッカー、不足しているエビデンスを明示する

このスキルの担当範囲外

• 論文にそのまま使える Results の文章
• 原稿のストーリーの推敲
• pubfig／pubtab を使った、論文にそのまま使える図表のパッケージ化
• プロジェクトレベルの実験回顧

実験後の完全なまとめレポートが必要な場合は、このバンドルの準備ができた後で results-report に引き継いでください。出版品質の図表、エクスポートパラメーター、出版前の品質保証、または図表の再設計が必要な場合は、publication-chart-skill に引き継いでください。

妥協できない品質基準

1. 図の仕様より実際の図を優先する。 データを読み取れる場合は、実際の図を生成してください。「推奨する可視化」の提示だけで終わらせないでください。 例外：読み取り専用の監査モードでは図を生成せず、エビデンスがそろった後に有効となる図を説明してください。
2. 統計を捏造しない。 サンプルサイズ、シード、または生の指標が不足している場合は、ブロッカーを明確に述べてください。
3. 統計をすべて報告する。 最高スコアだけ、または p 値だけを報告しないでください。
4. 主要な図をすべて解釈する。 主要な図にはそれぞれ、目的、キャプション要件、図の後に記載する解釈メモが必要です。
5. エビデンスと文章を分ける。 このスキルが作成するのは分析成果物であり、原稿のセクションではありません。

標準ワークフロー

1. 成果物を一覧化して検証する

まず、次を特定します。

• 指標テーブル（csv、json、tsv、ログ）
• 学習曲線とチェックポイント
• シード／反復実行
• ベースライン、アブレーション、比較対象のグループ
• 評価プロトコルのメタデータ

次を検証します。

• 指標の方向（値が大きいほど良い／小さいほど良い）
• 分析単位（実行、被験者、フォールド、データセット、シード）
• 実行数／シード数
• 欠損値または検出されない失敗
• 手法間の比較可能性

比較が統計的に妥当でない場合は、そのことを続行前に伝えてください。設計上の正当性がない限り、反復された subject × task の行、フォールド、ウィンドウ、試行、シードを独立した単位として扱わないでください。 よくあるブロッカー：subject × task の要約テーブルは通常、独立した被験者レベルのサンプルではなく、反復測定の要約です。被験者ごとに複数のタスク行がある場合や、タスクの値が欠けている場合は、有意性や最良手法について主張する前に、そのことを明示してください。

2. 比較する問いを確定する

統計を実行する前に、比較する問いを正確に定義します。

• どの手法を、どのベースラインと比較するか。
• 主要な指標は何か。
• 反復測定の単位は何か。
• どのアブレーションまたはロバスト性に関する問いが重要か。
• どの知見が意思決定を変えるか。

関連のない比較を、区別のない一つのテーブルにまとめないでください。

3. 厳密な統計を実行する

常に以下を出力してください:

• 記述統計: 適切な場合は mean ± std、
• 95% CI または別の明確に正当化された区間、
• 実行回数／シード数、
• 仮定を明記した有意性検定、
• 効果量、
• 複数の対比を報告する場合の多重比較の処理。

デフォルトの期待事項:

• まずパラメトリックな仮定を確認する、
• 仮定が満たされない場合はノンパラメトリックな代替手法を使用する、
• 何をどのサンプルに対して検定したのかを正確に述べる。

参照:

• references/statistical-methods.md
• references/statistical-reporting.md

4. 実際の科学的図を生成する

成果物が利用可能な場合は常に実際の図を作成してください。

自明でない分析バンドルに対する最低限の期待事項:

• 主要な比較図を 1 つ、
• 補助的な図を 1 つ(学習ダイナミクス／アブレーション／内訳／誤差分析)、
• 正確な数値サマリーテーブルを 1 つ markdown で。

すべての主要な図は以下を定義する必要があります:

• 図の目的、
• プロットする変数、
• エラーバーの意味、
• キャプションの要件、
• 解釈チェックリスト。

参照:

• references/visualization-best-practices.md
• references/figure-interpretation.md

5. 分析成果物を書く

analysis-report.md

以下を要約してください:

• 分析の問い、
• 主要な知見、
• 最も強く裏付けられた比較、
• 主な注意点、
• 実験的理解において何が変わったか、
• 後にレポートや原稿執筆で使用される可能性のある主張候補。

各主張候補は次の形を使用する必要があります:

## Claim Candidates

- Claim:
  - Source evidence:
  - Allowed wording:
  - Forbidden stronger wording:
  - Uncertainty:
  - Next check:
  - Decision: keep | weaken | revise | discard

stats-appendix.md

以下を記録してください:

• 記述統計、
• 検定の選択、
• 確認した仮定、
• 効果量、
• 信頼区間、
• 多重比較補正、
• 明示的なブロッカーと制限事項。

figure-catalog.md

各図について、以下を記録してください:

• ファイル名、
• 目的、
• データソース、
• キャプション草案の要件、
• 主要な観察結果、
• 解釈チェックリスト、
• 既知の注意点。

6. 最終 QA ゲート

以下がすべて真になるまで終了しないでください:

• 主要な比較の問いが明示されている、
• サンプルサイズ／シード数が記載されている、
• 推測統計の検定が正当化されている、
• 主要な対比について効果量が報告されている、
• データが存在する場合に実際の図が存在する、
• 各図に解釈の注記がある、
• 制限事項とブロッカーが明示されている、
• 裏付けられた、または強い主張候補のそれぞれに、証拠、不確実性、許可された表現がある、
• 証拠が不十分な場合、過度に強い原稿表現が明示的にブロックされている、
• 原稿スタイルの Results 草案が含まれていない。

出力構造

analysis-output/
├── analysis-report.md
├── stats-appendix.md
├── figure-catalog.md
└── figures/
    ├── figure-01-main-comparison.pdf
    ├── figure-02-ablation.pdf
    └── ...

図の解釈ルール

すべての主要な図について、次の 3 つの問いすべてに答えてください:

1. この図はなぜ存在するのか?
2. 読者は正確に何に気づくべきか?
3. その観察は、私たちの信念や次の意思決定において何を変えるのか?

図が問い 3 に答えられない場合、それはおそらく科学的というよりも装飾的です。

読み取り専用監査モード

次の場合にこのモードを使用してください:

• ユーザーが既存の成果物の監査またはレビューを求める場合、
• 環境が読み取り専用である場合、
• ユーザーがファイル書き込みや図の生成を禁止している場合、
• 中核となる証拠が欠けている場合。

以下を返してください:

• 分析の問い、
• 有効な統計、
• 無効または安全でない統計、
• 許可された表現と禁止された表現を含む主張候補、
• レポート／図の生成前のブロッカー。

このモードでは analysis-output/、図、レポートを作成しないでください。 解釈が自身の p 値、検定手法、分析単位、または比較ファミリーと矛盾する統計ファイルは隔離してください。来歴が確認されるまで、そのファイルを主張の表現に再利用しないでください。

失敗時の対応方針

入力が不完全な場合は、その旨を明示してください。

例：

• シードレベルのデータがない -> 記述的な要約のみとし、推論に基づく主張は行わない
• 比較可能なベースラインの出力がない -> 有意差の主張は行わない
• 読み取り可能なログがない -> 動態図を生成できない
• 実行回数が少なすぎる -> 効果量が不安定な可能性があるため、この制約を報告する
• 分析単位が不明確 -> 勝者や有意差の主張は行わない
• 解釈に矛盾がある分析ファイル -> 出所を確認するまで隔離する

不足している証拠を、確信に満ちた文章で補ってはいけません。

参照ファイル

必要なものだけを読み込んでください：

• references/statistical-methods.md - 検定の選択と前提条件
• references/statistical-reporting.md - 最低限の報告基準
• references/visualization-best-practices.md - 出版品質の図表に関するルール
• references/figure-interpretation.md - 証拠に基づいた図表の説明方法
• references/analysis-depth.md - 観察からメカニズムおよび意思決定へ進む方法
• references/common-pitfalls.md - 分析および報告でよくある失敗
• ../research-ideation/references/research-contract.md - 主張候補と主張の強さに関する共通契約

サンプルファイル

• examples/example-analysis-report.md
• examples/example-stats-appendix.md
• examples/example-figure-catalog.md