mcpField
F
fine-tuning

fine-tuning

github.com/alphaonedev数据与数据库49 次安装
代码仓库

关于 fine-tuning

fine-tuning 是一项使用自定义数据集将预训练机器学习模型适配特定任务的技能。它通过 OpenClaw 的 AIMLOps 框架描述训练流程，涵盖参数调优、分布式训练和评估。

主要功能

  1. 01微调预训练模型
  2. 02通过梯度检查点节省内存
  3. 03支持 Transformers、TensorFlow 和 PyTorch
  4. 04超参数调优
  5. 05GPU 或云端分布式训练
  6. 06跟踪准确率、F1-score 和损失

适用场景

  1. 01让 BERT 适配领域情感分析
  2. 02使用自定义图像训练分类器
  3. 03将微调纳入 AIMLOps 工作流

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/alphaonedev/openclaw-graph --skill fine-tuning

安装后在 Claude Code 中输入/fine-tuning确认已加载。

详细介绍

微调

用途

此技能可通过迁移学习微调预训练的 ML 模型，使其适用于文本分类或图像识别等特定任务。它借助 OpenClaw 的 AIMLOps 框架优化训练循环和资源使用。

何时使用

如果你有一个预训练模型（例如用于 NLP 的 BERT）和需要适配的自定义数据集（例如针对特定领域文本的情感分析），请使用此技能。对于从头开始训练效率低下的任务，例如数据有限的生产环境，也适用此技能。

主要功能

  • 使用梯度检查点等技术微调模型，以提高内存效率。
  • 支持常用框架：Hugging Face Transformers、TensorFlow 和 PyTorch。
  • 通过集成工具（例如学习率调度器）进行超参数调优。
  • 在多个 GPU 或云实例上进行分布式训练。
  • 提供模型评估指标，例如准确率、F1 分数和损失跟踪。

使用模式

首先准备数据集和模型。将数据加载为兼容格式（例如文本使用 JSONL），然后调用微调命令。通过日志或回调监控进度。对于流水线，将微调作为 AIMLOps 工作流中的一个步骤，并确保在微调前完成数据预处理。

常用命令/API

使用 OpenClaw CLI 快速执行，或使用 REST API 以编程方式访问。身份验证需要将 $OPENCLAW_API_KEY 设置为环境变量。

  • CLI 命令示例：在数据集上微调 BERT 模型。

    openclaw fine-tune --model bert-base-uncased --data-path ./data.jsonl --epochs 3 --batch-size 16 --learning-rate 5e-5

    此命令会加载模型，训练 3 个轮次，并将输出保存到当前目录。

  • API 端点：向 /api/v1/fine-tune 发送 POST 请求，并附上 JSON 请求体。 请求体示例：

    {
  "model_id": "bert-base-uncased",
  "dataset_url": "s3://my-bucket/data.jsonl",
  "epochs": 3,
  "hyperparameters": {"learning_rate": 5e-5, "batch_size": 16}
}

    使用 curl 发送：curl -X POST -H "Authorization: Bearer $OPENCLAW_API_KEY" -d '{"model_id": "bert-base-uncased", ...}' https://api.openclaw.ai/api/v1/fine-tune

  • 配置格式：使用 YAML 编写配置文件。 示例片段：

    model: bert-base-uncased
data:
  path: ./data.jsonl
  format: jsonl
training:
  epochs: 3
  optimizer: adamw

    传递给 CLI：openclaw fine-tune --config config.yaml

集成说明

通过串联输出与其他 OpenClaw 技能集成；例如，使用“data-preprocessing”技能在微调前准备数据集。对于云端配置，请在配置中指定 AWS 等提供商（例如，在 JSON 中添加 "provider": "aws"）。通过 pip install transformers==4.28.0 torch==1.13.1 安装所需软件包，以处理依赖项。将 $OPENCLAW_CLUSTER_ID 等环境变量设好，确保与 AIMLOps 集群兼容。

错误处理

检查常见错误，例如无效的模型 ID 或数据格式不匹配。在脚本中使用 try-catch：

try:
    response = requests.post('https://api.openclaw.ai/api/v1/fine-tune', headers={'Authorization': f'Bearer {os.environ["OPENCLAW_API_KEY"]}'}, json=payload)
    response.raise_for_status()
except requests.exceptions.HTTPError as e:
    print(f"Error: {e.response.status_code} - {e.response.text}")

在 CLI 中使用 --verbose 标志记录详细错误（例如，openclaw fine-tune --verbose）。对于 GPU 问题，请在运行前使用 nvidia-smi 确认 GPU 是否可用。

具体使用示例

  1. 用于情感分析的微调：将 BERT 适配到电影评论。

    • 准备数据：以 JSONL 格式保存评论。
    • 运行：openclaw fine-tune --model bert-base-uncased --data-path reviews.jsonl --epochs 5 --output-dir ./models
    • 此命令会训练模型并保存检查点；使用 openclaw evaluate --model-path ./models/checkpoint-5 进行评估。

  2. 微调图像分类器：使用预训练的 ResNet 处理自定义图像。

    • 数据集：将图像按文件夹整理（例如，train/class1/*.jpg）。
    • 命令：openclaw fine-tune --model resnet50 --data-path ./image_dataset --epochs 10 --batch-size 32
    • 集成：接着使用 OpenClaw 的“model-serving”技能进行部署和推理。

图关系

  • 关联：“data-preprocessing”（用于数据集处理的输入依赖）
  • 关联：“model-evaluation”（用于性能指标的输出）
  • 关联：“aimlops-deployment”（用于微调后的模型服务）
  • 聚类：“aimlops”（ML 运维共享生态系统）

评论

支持 Markdown