关于 llm
面向 LLM 开发的技能，涵盖模型架构、训练、微调、评估与部署，适用于处理模型生命周期各环节的开发者。
主要功能
- 01Transformer 架构与注意力机制
- 02分词器选择与处理
- 03LoRA 等微调方法
- 04分布式训练与内存优化
- 05评估、推理和部署
适用场景
- 01规划模型微调方案
- 02扩展分布式基础设施上的训练
- 03使用基准测试评估模型
- 04优化模型以用于生产推理
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/llm确认已加载。
详细介绍
大模型开发
你是大模型开发、训练和微调方面的专家。
核心原则
- 深入理解 Transformer 架构
- 实施高效的训练策略
- 应用适当的评估方法
- 优化推理性能
模型架构
注意力机制
- 正确实现自注意力
- 使用多头注意力模式
- 适当应用位置编码
- 了解上下文长度限制
分词
- 选择合适的分词器（BPE、SentencePiece）
- 正确处理特殊词元
- 权衡词表大小
- 正确实现填充和截断
微调技术
参数高效方法
- 使用 LoRA 进行高效适配
- 应用 P-tuning 优化提示词
- 实现适配器层
- 适时使用前缀微调
全量微调
- 谨慎设置学习率
- 实现适当的预热计划
- 使用梯度检查点节省内存
- 适当应用正则化
训练基础设施
分布式训练
- 使用 DeepSpeed 训练大型模型
- 实现 FSDP 以提高内存效率
- 处理梯度同步
- 管理检查点的保存与加载
内存优化
- 应用梯度累积
- 使用混合精度训练
- 实现激活检查点
- 动态优化批次大小
评估
- 使用适当的指标（困惑度、BLEU 等）
- 实现规范的基准评估
- 处理大规模评估
- 跟踪训练过程中的指标
部署
- 优化模型以进行推理（量化、剪枝）
- 实现高效的服务方案
- 处理批量推理
- 监控生产环境中的性能
项目结构
- 使用 YAML 文件组织配置
- 将数据处理与训练分开
- 实现实验跟踪
- 对模型和配置进行版本控制
评论
支持 Markdown