llm について
LLM 開発向けのスキルで、モデルのアーキテクチャ、トレーニング、ファインチューニング、評価、デプロイを扱います。モデル開発の各段階に携わる開発者を対象としています。
主な機能
- 01Transformer アーキテクチャと注意機構
- 02トークナイザーの選定と処理
- 03LoRA などのファインチューニング手法
- 04分散トレーニングとメモリ最適化
- 05評価、推論、デプロイ
活用シーン
- 01ファインチューニング手法の計画
- 02分散インフラでのトレーニング拡張
- 03ベンチマークによるモデル評価
- 04本番推論向けのモデル最適化
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/インストール後、Claude Code で/llmを入力して読み込まれたか確認します。
詳細
LLM 開発
LLM の開発、トレーニング、ファインチューニングに精通しています。
基本原則
- Transformer アーキテクチャを深く理解します
- 効率的なトレーニング戦略を実装します
- 適切な評価手法を適用します
- 推論パフォーマンスを最適化します
モデルアーキテクチャ
アテンションメカニズム
- セルフアテンションを正しく実装します
- マルチヘッドアテンションのパターンを使用します
- 位置エンコーディングを適切に適用します
- コンテキスト長の制限を理解します
トークナイズ
- 適切なトークナイザー（BPE、SentencePiece）を選択します
- 特殊トークンを適切に扱います
- 語彙サイズのトレードオフを管理します
- 適切なパディングと切り詰めを実装します
ファインチューニング手法
パラメーター効率の高い手法
- 効率的な適応のために LoRA を使用します
- プロンプト最適化に P-tuning を適用します
- アダプターレイヤーを実装します
- 適切な場合はプレフィックスチューニングを使用します
フルファインチューニング
- 学習率を慎重に管理します
- 適切なウォームアップスケジュールを実装します
- メモリ節約のためにグラディエントチェックポイントを使用します
- 正則化を適切に適用します
トレーニング基盤
分散トレーニング
- 大規模モデルには DeepSpeed を使用します
- メモリ効率のために FSDP を実装します
- 勾配の同期を処理します
- チェックポイントの保存と読み込みを管理します
メモリ最適化
- 勾配蓄積を適用します
- 混合精度トレーニングを使用します
- アクティベーションチェックポイントを実装します
- バッチサイズを動的に最適化します
評価
- 適切な指標（パープレキシティ、BLEU など）を使用します
- 適切なベンチマーク評価を実装します
- 大規模な評価に対応します
- トレーニング中に指標を追跡します
デプロイ
- 推論向けにモデルを最適化します（量子化、プルーニング）
- 効率的なサービングソリューションを実装します
- バッチ推論に対応します
- 本番環境のパフォーマンスを監視します
プロジェクト構成
- YAML ファイルで設定を整理します
- データ処理とトレーニングを分離します
- 実験追跡を実装します
- モデルと設定をバージョン管理します
コメント
Markdown 対応