results-analysis

ML／AI 研究の結果分析

実験データを論文執筆につなげる、体系的な実験結果分析ワークフローです。

主な機能

このスキルでは、次の3つの主要な機能を利用できます。

1. 実験データの分析 - さまざまな形式の実験データを読み込み、分析します
2. 統計的な検証 - 統計的有意性検定と性能比較を実施します
3. 論文コンテンツの生成 - 結果セクション用の文章と可視化を生成します

使用する場面

次のような場合に、このスキルを使用してください。

• 実験結果を分析する（CSV、JSON、TensorBoard ログ）
• 論文の結果セクションを作成する
• 複数のモデルの性能を比較する
• 統計的有意性検定を実施する
• 論文掲載に適した品質の可視化を作成する
• 実験結果の信頼性を検証する

ワークフロー

標準的な分析パイプライン

Data Loading → Data Validation → Statistical Analysis → Visualization → Writing → Quality Check

ステップ1：データの読み込みと検証

対応するデータ形式：

• CSV ファイル - 表形式のデータ
• JSON ファイル - 構造化された結果
• TensorBoard ログ - 学習曲線
• Python pickle - 複雑なオブジェクト

データ検証項目：

• 完全性の確認 - 欠損値、外れ値
• 一貫性の確認 - データ形式、単位
• 再現性の確認 - ランダムシード、バージョン情報

データ形式に応じて、データの読み込みと予備検証に適したツールを選択します。

ステップ2：統計分析

基本統計量：

• 平均
• 標準偏差
• 標準誤差
• 信頼区間

有意性検定：

• t 検定 - 2群間の比較
• ANOVA - 複数群間の比較
• Wilcoxon 検定 - ノンパラメトリック検定
• Bonferroni 補正 - 多重比較の補正

データの特性に応じて、適切な統計検定を選択します。

重要な原則：

• 統計情報を完全に報告します（平均 ± 標準偏差／標準誤差）
• 使用した検定方法と有意水準を明記します
• p 値と効果量を報告します
• 多重比較の問題を考慮します
• 例を再計算し、丸める前の同じ入力値から得た値を報告します。平均、標本標準偏差、n、 検定統計量、P 値、効果量は、同じ比較と分析単位を表す必要があります。
• データセット全体の平均を求める場合は、まず各実行の平均を求めてから、実行間の変動を推定します。 データセットごとの標準偏差を平均しても、この不確実性は得られません。実際に実施した診断のみを報告します。

統計手法の詳細なガイドについては、references/statistical-methods.md を参照してください。

ステップ3：モデル性能の比較

比較する項目：

• 精度／性能指標
• 学習時間／推論速度
• モデルの複雑さ／パラメーター数
• ロバスト性／汎化能力

比較方法：

• ベースラインとの比較 - 既存手法と比較します
• アブレーション研究 - 各コンポーネントの寄与を検証します
• データセット間の検証 - 汎化能力をテストします

公正な比較を確保しながら、異なる手法間の性能を体系的に比較します。

ステップ4：可視化

論文掲載に適した品質の可視化に関する要件：

• ベクター形式（PDF／EPS）
• 色覚多様性に配慮したカラーパレット
• 明確なラベルと凡例
• 適切な誤差範囲
• 白黒印刷でも判読できること

一般的なグラフの種類：

• 折れ線グラフ - 学習曲線、傾向分析
• 棒グラフ - 性能比較
• 箱ひげ図 - 分布の表示
• ヒートマップ - 相関分析
• 散布図 - 関係性の表示

適切な可視化ツールを使用して、論文掲載に適した品質の図を生成します。

可視化のガイドについては、references/visualization-best-practices.md を参照してください。

ステップ5：結果セクションの執筆

結果セクションの構成：

## Results

### Overview of Main Findings
[1-2 paragraphs summarizing core results]

### Experimental Setup
[Brief description of experimental configuration; details in appendix]

### Performance Comparison
[Comparison with baseline methods, including tables and figures]

### Ablation Study
[Validate contributions of each component]

### Statistical Reporting
[Effect sizes with intervals and n; inferential tests only where the design supports them, with the policy declared once in Methods]

### Qualitative Analysis
[Case studies, visualization examples]

執筆の原則：

• 各実験で検証する仮説を明確に述べます
• 「図Xに示すように……」などの表現で、重要な現象に読者の注意を促します
• 統計情報を完全に報告します
• 帰無結果や否定的な結果も、知見として率直に報告します。研究の範囲は考察で一度だけ述べます

執筆の詳細なガイドについては、references/results-writing-guide.md を参照してください。

ステップ 6：品質チェック

チェックリスト：

• すべての値に誤差範囲／信頼区間が含まれている
• 統計検定の方法が明記されている
• 図が明瞭で読みやすい（白黒印刷の場合も含む）
• ハイパーパラメーターの探索範囲が報告されている
• 計算リソース（GPU の種類、所要時間）が明記されている
• 乱数シードの設定が明記されている
• 結果を再現できる（コード／データを利用可能）

よくある間違いと落とし穴

統計上の誤り

❌ 誤ったアプローチ：

• 最良の結果だけを報告する（チェリーピッキング）
• 標準偏差と標準誤差を混同する
• 効果量、区間、n を示さずに差があると主張する
• 多重性への対処方針を示さずに複数の推測統計検定を報告する

✅ 正しいアプローチ：

• すべての実験結果を報告する
• 標準偏差と標準誤差のどちらを使用するか明確にする
• 実験計画が対応している場合は統計検定を実施し、反復の単位を明記する
• 複数の検定を報告する場合は、多重性への対処方針を 1 つ示す（たとえば Holm または Benjamini-Hochberg）

可視化の誤り

❌ 誤ったアプローチ：

• 色覚多様性に配慮していないカラーパレットを使用する
• Y 軸を 0 から始めない（差を誇張する）
• 誤差範囲がない
• 図が複雑すぎる

✅ 正しいアプローチ：

• Okabe-Ito または Paul Tol のカラーパレットを使用する
• 軸の範囲を適切に設定する
• 誤差範囲と信頼区間を含める
• 図をすっきりと明瞭に保つ

執筆上の誤り

❌ 誤ったアプローチ：

• 結果を過剰に解釈する
• 実験設定を説明しない
• 否定的な結果を隠す
• 統計情報が不足している

✅ 正しいアプローチ：

• 観察された現象を客観的に説明する
• 実験の詳細を十分に示す
• すべての結果を正直に報告する
• 統計情報を漏れなく報告する

一般的な誤りのパターンとその修正方法については、references/common-pitfalls.md を参照してください。

論文執筆との連携

執筆スキルとの連携

このスキルは実験結果の分析に焦点を当てており、このリポジトリの執筆スキルと連携して機能します。

results-analysis の担当：

• データ分析と統計検定
• 可視化の作成
• 結果の解釈

scientific-writing または conference-paper-writing の担当：

• 論文全体の構成
• 引用の統合
• 投稿先に応じた構成と書式設定

ワークフローの連携：

Experiments complete → results-analysis analyzes
    ↓
Generate analysis report and visualizations
    ↓
scientific-writing or conference-paper-writing integrates into paper
    ↓
Complete Results section

出力形式

分析後、次のものが生成されます。

1. 分析レポート（analysis-report.md）

   • 統計的な要約
   • 主な知見
   • 推奨する図

2. 可視化ファイル（figures/）

   • PDF 形式の図
   • 独立した図のキャプション

3. 結果の草稿（results-draft.md）

   • 論文でそのまま使用できるテキスト
   • 図への参照を含む

例とテンプレート

ファイル例

USAGE.md の合成データを用いた手順には、CSV の実行結果一式と scripts/example_statistics.py（SciPy が必要）が含まれています。--example usage または --example benchmark を指定して実行すると、該当する例を再計算できます。ファイルは書き込まず、JSON を出力します。

完全な例については、examples/ ディレクトリを参照してください。

• example-analysis-report.md - 分析レポートの完全な例
• example-results-section.md - 論文の「結果」セクションの例

ワークフローの概要

分析パイプライン全体は、次の手順で構成されます。

1. データの読み込み - 実験の出力ファイルから結果を読み込む
2. 統計分析 - 基本統計量を計算し、有意性検定を行う
3. 可視化 - 論文掲載品質の図を作成する
4. レポートの生成 - 分析結果と可視化をまとめる

詳細な手法とベストプラクティスについては、references/ ディレクトリのガイドを参照してください。

参考資料

詳細ガイド

• references/statistical-methods.md - 統計手法の完全ガイド
• references/results-writing-guide.md - 結果セクションの執筆基準
• references/visualization-best-practices.md - 可視化のベストプラクティス
• references/common-pitfalls.md - よくある誤りとその修正方法

外部リソース

• Nature 統計チェックリスト
• Science 再現性ガイドライン
• NeurIPS 論文チェックリスト

ベストプラクティスの概要

データ分析

✅ 推奨:

• 実験を複数回（少なくとも3～5回）実施します
• 統計情報を漏れなく報告します
• 適切な統計検定を使用します
• データの完全性を確認します

❌ 禁止:

• 最良の結果だけを選ぶこと
• 効果量と区間が裏付けていない差を主張すること
• 否定的な結果を隠すこと
• 実験設定を報告しないこと

可視化

✅ 推奨:

• ベクター形式を使用します
• 色覚多様性に配慮した配色を使用します
• エラーバーを含めます
• 明確なラベルを付けます

❌ 禁止:

• ラスター形式（PNG/JPG）
• 誤解を招く軸のスケール
• 複雑すぎる図
• 凡例がないこと

執筆

✅ 推奨:

• 結果を客観的に説明します
• 十分な詳細を示します
• 帰無結果や否定的な結果も、得られた知見として明確に報告します
• 読者の注意を適切に導きます

❌ 禁止:

• 過剰な解釈
• 詳細を隠すこと
• 効果を誇張すること
• 曖昧な説明

まとめ

このスキルは、実験結果を分析するための体系的なワークフローを提供します。

1. データの読み込みと検証 - データ品質を確保します
2. 統計分析 - 適切な統計検定を実施します
3. モデル比較 - 性能を体系的に比較します
4. 可視化 - 論文掲載品質の図を作成します
5. 執筆 - 結果セクションの内容を作成します
6. 品質チェック - 再現性を確保します

これらの原則に従うことで、主要な会議の基準を満たす、高品質で再現可能な実験結果分析を行えます。