evaluating-machine-learning-models

模型评估套件

使用全面的指标套件评估机器学习模型，包括准确率、精确率、召回率、F1 分数和自定义 KPI。

概述

此技能可帮助 Claude 全面评估机器学习模型，并提供详细的性能分析。它借助 model-evaluation-suite 插件生成一系列指标，帮助用户在模型选择和优化方面做出明智决策。

工作原理

1. 分析上下文：Claude 分析用户的请求，确定要评估的模型以及用户关注的具体指标。
2. 执行评估：Claude 使用 /eval-model 命令，在 model-evaluation-suite 插件中启动模型评估流程。
3. 呈现结果：Claude 向用户展示生成的指标和分析结果，突出关键绩效指标以及可改进之处。

何时使用此技能

在以下情况下，此技能会启用：

• 评估机器学习模型的性能。
• 比较多个模型的性能。
• 找出模型的可改进之处。
• 在部署前验证模型的性能。

示例

示例 1：评估模型准确率

用户请求：“评估我的图像分类模型的准确率。”

此技能将：

1. 调用 /eval-model 命令。
2. 分析模型在留出数据集上的表现。
3. 报告准确率分数和其他相关指标。

示例 2：比较模型性能

用户请求：“比较模型 A 和模型 B 的 F1 分数。”

此技能将：

1. 分别为两个模型调用 /eval-model 命令。
2. 从评估结果中提取 F1 分数。
3. 对比模型 A 和模型 B 的 F1 分数。

最佳实践

• 指定指标：清晰定义评估所关注的具体指标。
• 验证数据：确保用于评估的数据能够代表模型在实际应用中会遇到的数据。
• 解读结果：提供评估结果的背景信息和解读，以帮助用户做出明智决策。

集成

此技能与 model-evaluation-suite 插件无缝集成，可在 Claude Code 环境中提供全面的模型评估方案。它还可以与其他技能结合，构建自动化机器学习工作流。

前提条件

• 拥有适当的文件访问权限
• 已安装所需依赖项

说明

1. 满足触发条件时调用此技能
2. 提供必要的上下文和参数
3. 查看生成的输出
4. 根据需要进行修改

输出

此技能会生成与任务相关的结构化输出。

错误处理

• 输入无效：提示用户更正
• 缺少依赖项：列出所需组件
• 权限错误：建议补救步骤

资源

• 项目文档
• 相关技能和命令