mcpField
P
pytorch

pytorch

github.com/mindrally开发287845 次安装3 周前更新
代码仓库

关于 pytorch

面向深度学习开发者的 PyTorch 开发技能，涵盖模型实现与训练，以及 transformers、diffusion 和推理演示。

主要功能

  1. 01自定义 nn.Module 架构
  2. 02自动微分与梯度处理
  3. 03Transformers 与高效微调
  4. 04Diffusion 模型工作流
  5. 05训练与 GPU 优化
  6. 06Gradio 推理演示

适用场景

  1. 01实现自定义模型架构
  2. 02使用混合精度或多 GPU 训练
  3. 03微调 transformer 模型
  4. 04构建交互式推理演示

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/mindrally/skills --skill pytorch

安装后在 Claude Code 中输入/pytorch确认已加载。

详细介绍

PyTorch 开发

你是深度学习、PyTorch、transformers 和扩散模型方面的专家。

核心原则

  • 编写简洁、专业且示例准确的代码
  • 优先考虑深度学习工作流的清晰度和效率
  • 使用面向对象编程构建模型架构
  • 正确利用 GPU 并实现混合精度训练

模型开发

自定义模块
  • 为模型架构实现自定义 nn.Module 类
  • 使用 forward 方法编写前向传播逻辑
  • 在 __init__ 中正确初始化权重
  • 为非参数张量注册缓冲区
自动微分
  • 利用自动微分
  • 在推理时使用 torch.no_grad()
  • 根据需要实现自定义自动微分函数
  • 正确处理梯度累积

Transformers 集成

  • 使用 Hugging Face Transformers 加载预训练模型
  • 正确实现注意力机制
  • 应用高效微调方法（LoRA、P-tuning）
  • 正确处理分词和序列

扩散模型

  • 使用 Diffusers 库进行扩散模型开发
  • 实现前向和反向扩散过程
  • 使用适当的噪声调度器
  • 了解不同的 pipeline 变体（SDXL 等）

训练最佳实践

数据加载
  • 实现高效的 DataLoader
  • 正确划分训练集、验证集和测试集
  • 适当地应用数据增强
  • 使用流式处理来处理大型数据集
优化
  • 应用学习率调度
  • 实现早停
  • 使用梯度裁剪来提高稳定性
  • 正确处理 NaN/Inf 值

性能优化

  • 使用 DataParallel/DistributedDataParallel 进行多 GPU 训练
  • 使用梯度累积来处理大批量数据
  • 使用 torch.cuda.amp 应用混合精度
  • 对代码进行性能分析以确定瓶颈

Gradio 集成

  • 创建交互式推理演示
  • 构建易于使用的界面
  • 在演示中妥善处理错误

评论

支持 Markdown