dataset-evaluation

工作流说明

请遵循以下工作流。定位数据集，检查文件类型，并解决文件缺失或文件类型错误的问题。确定微调模型和微调策略。根据模型系列运行相应的验证。总结结果：数据集是否已准备好进行微调？

前提条件

• 已验证 SDK 环境（SDK 版本、区域、执行角色）。如果尚未完成，请先启用 sdk-getting-started 技能。

---

工作流

1. 定位数据集：

   • 完整路径可以是本地文件路径，也可以是 S3 URI
   • 解析数据集文件的完整路径，确保具有读取权限；如果找不到文件，请协助用户处理

2. 确定策略和模型：

   • 文件格式取决于当前选定的微调策略和微调基础模型。
   • 如果对话上下文中已知策略和模型（例如，通过 model-selection 和 finetuning-technique 技能选定），请使用这些信息。
   • 如果上下文中没有相关信息，请启用 model-selection 和/或 finetuning-technique 技能，在继续之前确定策略和模型。
   • **例外：**如果用户要验证的是评估数据集（而非训练数据集），则无需确定模型或技术——格式检测器可以独立验证评估格式（查询/响应结构）。验证评估数据集时，不要因 model-selection 或 finetuning-technique 而阻塞。

3. 检查文件格式：运行工具 format_detector.py，确保文件符合格式要求。

   • 将完整路径直接作为参数传递给 format_detector 脚本
   • 不要将模型和策略作为参数传递
   • 不要从 S3 下载数据
   • 不要创建数据的本地副本

4. 总结结果：告知用户数据是否已准备就绪

   • 检查 format_detector 的输出，并与已知策略和模型进行比较
   • 重要：训练数据集和评估数据集的格式要求不同。
     • 训练数据集必须符合 references/strategy_data_requirements.md 中对应微调策略的格式要求
     • 评估数据集（用于模型评估）必须符合一种 SageMaker 评估数据集格式。
     • Custom Scorer 评估数据集有特定于评分器的要求。如果数据集用于 Custom Scorer 评估（Prime Math、Prime Code 或 Custom Lambda），请阅读 references/custom-scorer-evaluation-dataset-formats.md，并根据评分器专用架构进行验证。评分器类型应从对话上下文中获知（由 model-evaluation 技能确定）。
   • 向用户报告当前数据集是否适用于其预期用途
   • 如果数据集有效，但适用于其他策略或模型，请向用户发出警告
   • 如果数据集不适用于任何策略/模型组合，请向用户发出警告
   • 如果用户计划使用已评估的数据集微调模型，则该数据集必须上传到与计划中的训练任务位于同一区域的 S3 存储桶中（通常是默认区域）。如果不符合这一条件，请向用户发出警告。
   • 如果数据集不符合所需格式，请建议使用 dataset-transformation 技能进行转换，等待用户确认，并根据用户的回复更新计划

给用户的消息

• 开场白：“此技能用于检查数据集的结构是否适合模型微调。”
• 文件类型：此技能适用于按照 Amazon SageMaker AI Developer Guide 格式整理的文件

资源

• scripts/format_detector.py 是独立的格式验证脚本，可单独运行
• model-selection 和 finetuning-technique 技能应该已经确定了基础模型和微调策略
• references/strategy_data_requirements.md 包含各策略的数据格式要求

脚本详情

• scripts/format_detector.py 是独立的格式验证脚本，可单独运行：

# With the file path argument identified in workflow step 1
python scripts/format_detector.py local_path/to/dataset

参考资料

• scripts/format_detector.py — 独立的格式验证脚本
• references/strategy_data_requirements.md — 各策略的数据格式要求