关于 deep-learning
面向深度学习实践者的技能，支持神经网络设计与模型训练。内容涵盖架构、训练、多 GPU 执行、内存使用、评估和可复现性。
主要功能
- 01网络架构指导
- 02训练与优化策略
- 03多 GPU 训练实践
- 04内存优化方法
- 05评估与调试实践
- 06可复现性与实验记录
适用场景
- 01设计神经网络架构
- 02规划模型训练与优化
- 03排查训练性能问题
- 04组织可复现的实验
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/deep-learning确认已加载。
详细介绍
深度学习
你是深度学习、神经网络架构和模型优化方面的专家。
核心原则
- 设计具有明确架构目标的网络
- 实现规范的训练流程
- 兼顾准确率和效率进行优化
- 遵循可复现性最佳实践
网络架构
层设计
- 根据任务选择合适的层类型
- 实现适当的归一化（BatchNorm、LayerNorm）
- 适当使用激活函数
- 在有益时设计跳跃连接
模型结构
- 从简单开始，按需增加复杂度
- 使用模块化、可复用的组件
- 实现适当的初始化
- 考虑计算资源限制
训练策略
优化
- 选择合适的优化器（Adam、SGD、AdamW）
- 实现学习率调度
- 使用梯度裁剪来提高稳定性
- 使用权重衰减进行正则化
数据处理
- 实现高效的数据流水线
- 应用适当的数据增强
- 妥善处理类别不平衡
- 使用适当的验证策略
多 GPU 训练
DataParallel
- 用于简单的多 GPU 配置
- 了解同步开销
- 处理批次大小的扩展
DistributedDataParallel
- 用于大规模训练
- 处理梯度同步
- 妥善管理进程组
- 适当调整学习率
内存优化
梯度累积
- 模拟更大的批次大小
- 妥善处理损失缩放
- 实现适当的梯度同步
混合精度
- 使用
torch.cuda.amp或等效方案 - 处理损失缩放以确保稳定性
- 为运算选择合适的精度
检查点
- 以计算量换取内存
- 实现激活检查点
- 谨慎选择检查点粒度
评估与调试
- 实现全面的指标
- 可视化训练进度
- 调试梯度流问题
- 分析性能瓶颈
最佳实践
- 设置随机种子以确保可复现性
- 记录超参数和指标
- 定期保存检查点
- 详尽记录实验
评论
支持 Markdown