mcpField
P
pytorch

pytorch

github.com/mindrally開発287845 回インストール3 週間前に更新
リポジトリ

pytorch について

深層学習モデルを開発・訓練する開発者向けの PyTorch スキルです。モデル実装、訓練に加え、Transformers、Diffusion、推論デモを扱います。

主な機能

  1. 01カスタム nn.Module アーキテクチャ
  2. 02自動微分と勾配処理
  3. 03Transformers と効率的なファインチューニング
  4. 04Diffusion モデルのワークフロー
  5. 05訓練と GPU 最適化
  6. 06Gradio による推論デモ

活用シーン

  1. 01カスタムモデルアーキテクチャの実装
  2. 02混合精度または複数 GPU での訓練
  3. 03Transformer モデルのファインチューニング
  4. 04インタラクティブな推論デモの構築

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/mindrally/skills --skill pytorch

インストール後、Claude Code で/pytorchを入力して読み込まれたか確認します。

詳細

PyTorch 開発

PyTorch、transformers、拡散モデルに精通したエキスパートです。

基本原則

  • 正確な例を含む、簡潔で技術的なコードを記述します
  • ディープラーニングのワークフローでは、明瞭さと効率性を優先します
  • モデルアーキテクチャにはオブジェクト指向プログラミングを使用します
  • GPU を適切に活用し、混合精度学習を実装します

モデル開発

カスタムモジュール
  • アーキテクチャ用にカスタムの nn.Module クラスを実装します
  • 順伝播のロジックには forward メソッドを使用します
  • __init__ で重みを適切に初期化します
  • パラメーターではないテンソルはバッファーとして登録します
Autograd
  • 自動微分を活用します
  • 推論には torch.no_grad() を使用します
  • 必要に応じてカスタムの autograd 関数を実装します
  • 勾配の累積を適切に処理します

Transformers の統合

  • 学習済みモデルには Hugging Face Transformers を使用します
  • アテンション機構を正しく実装します
  • 効率的なファインチューニング（LoRA、P-tuning）を適用します
  • トークン化と系列を適切に処理します

拡散モデル

  • 拡散モデルには Diffusers ライブラリを使用します
  • 順方向／逆方向の拡散プロセスを実装します
  • 適切なノイズスケジューラーを活用します
  • パイプラインのバリエーション（SDXL など）を理解します

学習のベストプラクティス

データ読み込み
  • 効率的な DataLoader を実装します
  • 学習／検証／テストのデータ分割を適切に行います
  • データ拡張を適切に適用します
  • ストリーミングを使用して大規模なデータセットを処理します
最適化
  • 学習率スケジューリングを適用します
  • 早期停止を実装します
  • 安定性のために勾配クリッピングを使用します
  • NaN/Inf の値を適切に処理します

パフォーマンス最適化

  • 複数 GPU では DataParallel/DistributedDataParallel を使用します
  • 大きなバッチには勾配累積を実装します
  • torch.cuda.amp で混合精度を適用します
  • コードをプロファイリングしてボトルネックを特定します

Gradio の統合

  • 推論用のインタラクティブなデモを作成します
  • ユーザーフレンドリーなインターフェースを構築します
  • デモでエラーを適切に処理します

コメント

Markdown 対応