pytorch-training-recipe

PyTorch 训练方案

将研究想法转化为一套训练方案，使其能够明确暴露失败、快速调试，并且只在验证正确性后才扩展规模。

如需具体的实现检查清单和模板，请在需要时阅读 references/training-recipe-details.md。

信息收集

请明确：

• 任务、数据集和数据集划分方案；
• 模型系列和输入/目标格式；
• 损失函数和指标；
• 基线或复现目标；
• 硬件/计算预算；
• 框架偏好：原生 PyTorch 还是 Lightning。

工作流

1. 定义实验及其支持的论断。
2. 定义数据流水线，包括数据泄漏检查。
3. 选择能够支持该实验的最简单训练技术栈。
4. 确定优化设置：优化器、调度策略、批次大小、精度、梯度裁剪。
5. 添加首次运行安全检查。
6. 定义指标和错误切片。
7. 明确日志记录、检查点、随机种子和配置记录方式。
8. 标出可能的失败模式。
9. 推荐分阶段的推进方案，从小规模健全性检查运行开始，逐步扩展到完整实验。

不可妥协的检查

• 检查形状/数据类型/设备。
• 验证初始化时的损失有限。
• 对一个小批次进行过拟合测试。
• 如果可复现性很重要，则用同一个确定性随机种子运行两次。
• 扩大规模前，先与简单基线进行比较。
• 每次运行都保存配置、提交记录、随机种子和命令。

规则

• 不要一开始就使用分布式训练。
• 小批次检查通过前，不要调优超参数。
• 在确认指标的实现无误前，不要轻信该指标。
• 让第一个可运行版本保持简单可靠。

输出

请返回：

• 训练方案；
• 数据流水线；
• 模型/损失函数/优化器选择；
• 最小配置；
• 首次运行检查；
• 日志记录/检查点计划；
• 可能的失败模式；
• 扩展规模计划。