pytorch-training-recipe

PyTorch トレーニングレシピ

研究アイデアを、問題があれば明確に検出でき、すばやくデバッグでき、正しさを確認してからのみスケールできるトレーニング設定に落とし込みます。

具体的な実装チェックリストとテンプレートについては、必要に応じて references/training-recipe-details.md を参照してください。

情報の整理

以下を明確にしてください。

• タスク、データセット、分割の手順
• モデルファミリーと入力／ターゲットの形式
• 損失関数とメトリクス
• ベースラインまたは再現対象
• ハードウェア／計算予算
• フレームワークの希望：raw PyTorch または Lightning

ワークフロー

1. 実験と、それによって裏付ける主張を定義します。
2. データリークのチェックを含むデータパイプラインを定義します。
3. 実験を実施できる、最もシンプルなトレーニングスタックを選びます。
4. 最適化の設定（オプティマイザー、スケジュール、バッチサイズ、精度、勾配クリッピング）を決めます。
5. 初回実行時の安全チェックを追加します。
6. メトリクスとエラー分析の切り口を定義します。
7. ロギング、チェックポイント、シード、設定の記録方法を定義します。
8. 発生しそうな失敗要因を挙げます。
9. 小規模な健全性確認から本格的な実験へ段階的に進める計画を推奨します。

必須チェック

• 形状／データ型／デバイスを確認します。
• 初期化時に損失が有限であることを確認します。
• 小さなバッチに過学習させます。
• 再現性が重要な場合は、同じ決定論的シードで2回実行します。
• スケールする前に、シンプルなベースラインと比較します。
• 実行ごとに設定、コミット、シード、コマンドを保存します。

ルール

• 分散トレーニングから始めないでください。
• 小さなバッチのチェックに合格する前に、ハイパーパラメーターを調整しないでください。
• 実装を確認するまで、メトリクスを信用しないでください。
• 最初に実行できるバージョンは、シンプルに保ってください。

出力

以下を返してください。

• トレーニングレシピ
• データパイプライン
• モデル／損失関数／オプティマイザーの選択
• 最小限の設定
• 初回実行時のチェック
• ロギング／チェックポイントの計画
• 発生しそうな失敗要因
• スケールアップ計画