llama-factory

Llama-Factory 技能

根据官方文档生成的 llama-factory 开发全面指南。

何时使用此技能

在以下情况下应触发此技能：

• 使用 llama-factory
• 询问 llama-factory 的功能或 API
• 实现 llama-factory 解决方案
• 调试 llama-factory 代码
• 学习 llama-factory 最佳实践

快速参考

常见模式

使用此技能时，将逐步补充快速参考模式。

参考文件

此技能在 references/ 中包含全面的文档：

• _images.md - 图片文档
• advanced.md - 进阶文档
• getting_started.md - 入门文档
• other.md - 其他文档

需要详细信息时，使用 view 阅读特定参考文件。

使用此技能

对于初学者

从 getting_started 或 tutorials 参考文件开始，了解基础概念。

对于特定功能

使用相应类别的参考文件（api、guides 等）获取详细信息。

对于代码示例

上方的快速参考部分包含从官方文档中提取的常见模式。

资源

references/

从官方来源提取并整理的文档。这些文件包含：

• 详细说明
• 带有语言标注的代码示例
• 指向原始文档的链接
• 便于快速浏览的目录

scripts/

在此处添加用于常见自动化任务的辅助脚本。

assets/

在此处添加模板、样板代码或示例项目。

备注

• 此技能由官方文档自动生成
• 参考文件保留了源文档的结构和示例
• 代码示例包含语言检测，以实现更好的语法高亮
• 快速参考模式从文档中的常见用法示例提取

更新

若要使用更新后的文档刷新此技能：

1. 使用相同配置重新运行抓取程序
2. 技能将使用最新信息重新构建

Agent 操作流程

1. 检查环境。 检查 GPU 类型、内存和驱动/CUDA 版本（nvidia-smi）、框架版本，以及数据集的位置和大小。
2. 确认输入。 根据数据或用户提供的信息确认格式、标识符和参数。任何会改变结果的取值都应询问，不要猜测。
3. 先运行小规模版本。 执行冒烟测试：使用小型模型或子集、少量步骤，并确认损失下降且检查点成功保存。
4. 使用上述说明和参考资料执行完整任务。
5. 验证结果。 在留出数据上跟踪指标，与基线进行比较，并记录随机种子、配置和硬件信息。
6. 报告。 说明运行了什么（版本、命令、参数）、检查了什么，以及哪些方面仍不确定。

如果发生这种情况	请这样做
CUDA 显存不足	减小批次大小，启用梯度累积/检查点或混合精度，或者对模型进行分片。
损失为 NaN 或发散	降低学习率，检查数据中是否存在无效值，并启用梯度裁剪。
这些说明中提到的函数、标志或端点在已安装版本中不存在	查看已安装版本自己的文档（help()、--help、官方文档），进行调整并告知用户。切勿捏造 API。
必需的输入、标识符或参数含糊不清	询问用户，或在运行前明确说明所作的假设。

诚信守则

• 切勿捏造结果、参数、标识符、引文或统计数据。如果无法运行或验证某项内容，应如实说明。
• 没有日志时，切勿声称取得了训练结果；启动大型任务前应估算计算成本。
• 此处与版本相关的细节可能已过时：请对照已安装版本的官方文档进行确认。
• 对于会产生费用、占用共享 GPU 或云配额、涉及个人或患者数据，或无法撤销的操作，须先征得同意。

相关技能

• axolotl：提供使用 Axolotl 微调大模型的指导，涵盖 YAML 训练配置、LoRA 和 QLoRA、偏好训练 w…
• unsloth：提供使用 Unsloth 微调大模型的指导。Unsloth 是一个用于加速训练、降低内存占用的库，使用 LoRA 和 QLoRA，基础…
• gptq：使用 GPTQ 将 LLM 量化为 4 位（也支持 3 位），采用分组量化（默认组大小为 128），通过 AutoGPTQ 和 transformers 实现。