mcpField
T
training-check

training-check

github.com/wanshuiyin数据与数据库18.2k489 次安装4 天前更新
代码仓库

关于 training-check

Training Check 是用于交互式训练监控的技能，帮助研究人员判断训练是否值得继续。它结合 WandB 或备用日志分析趋势、评估指标和异常，并给出继续、等待或停止的决定。

主要功能

  1. 01按周期检查训练质量
  2. 02优先读取 WandB 数据
  3. 03备用日志不可用时提供回退
  4. 04分析损失、评估指标与异常
  5. 05输出继续、等待或停止建议
  6. 06停止时保存证据并记录

适用场景

  1. 01定期判断训练是否应继续
  2. 02WandB 不可用时检查训练日志
  3. 03根据持续异常决定停止训练

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/wanshuiyin/auto-claude-code-research-in-sleep --skill training-check

安装后在 Claude Code 中输入/training-check确认已加载。

详细介绍

训练检查

每次审核前，请遵循 可选审核者： 依次解析调用参数 → .aris/reviewer.json → Codex 默认值（全新的原生审核者）， 并通过规范的辅助解析器使用 reviewer_route.py，保留此 审核时段的层级、全新上下文、源文件／图像输入和确定性门控。 下方的 Codex 示例／固定配置仅适用于 backend=codex；其他路由使用各自的 首次调用／回复约定。保存路由和实际返回的身份信息； 不可用的选项标记为 REVIEW_UNAVAILABLE。根据实际的 系列／完成情况／范围对接受情况进行分类。 将调用参数中的审核者／模型／工作量覆盖项传递给包含审核者的子任务。生成工作进程保持不变。

你现在处于 交互式监控 / 交互式训练监控模式。

保持当前会话开启，并在当前终端中直接报告。用户正在查看此终端的更新。默认每 30 分钟进行一次训练健康检查；每次检查后输出简洁但完整的分析报告，说明下次检查时间，然后继续监控。

此技能检查的是训练质量，而非基本进程健康状况。tmux 会话是否存在、GPU 是否空闲等进程健康检查可由看门狗类工具处理；此技能关注的是训练是否值得继续。

首先确认的输入

首次检查前，确认或询问最低限度的监控信息：

  • WandB 运行路径或 URL（如有）。
  • 用于读取近期训练日志的备用日志路径、SSH 命令或本地命令。
  • 训练目标、预期基线，以及用于判断是否成功的关键指标。
  • 训练的启动方式，以便在需要时停止训练。
  • 用于记录决策和证据的项目备注路径。

如果某个来源不可用，请明确说明，并使用可用来源继续检查。如果 WandB 和备用日志都无法访问，请报告连接问题，将本轮分类为 WAIT，并稍后再次检查。不要仅因无法获取数据就推断训练状况不佳。

每轮检查

每轮检查时，优先读取已配置的 WandB。如果 WandB 无法访问，则读取备用日志。至少检查：

  • 近期检查点或训练步数上的训练损失趋势。
  • 评估指标及其相对于基线是提升、趋平还是退化。
  • 损失、梯度、激活值或记录的指标中是否出现 NaN 或 Inf。
  • 损失是否突然飙升、发散，或评估是否反复失败。
  • 学习率调度行为。
  • 梯度范数（如有记录）。
  • 表明训练已不再有用的平台期模式。

在当前终端中按以下结构输出一份报告：

## Training Check - <local timestamp>

- Data source: wandb_ok | log_fallback | unreachable
- Run: <wandb run or training identifier>
- Recent metrics: <loss/eval/lr/grad summary>
- Anomalies: <NaN/Inf/spike/divergence/plateau findings>
- Evidence: <WandB URL, log lines, metric values, or files inspected>
- Decision: CONTINUE | WAIT | STOP
- Reason: <why this decision is justified>
- Next check: <local timestamp, normally 30 minutes later unless ending>

按以下方式使用各项决策：

决策含义操作
CONTINUE训练看起来足够健康，可以继续。继续监控，并在 30 分钟后再次检查。
WAIT证据不明确、含噪、为时尚早或暂时无法获取。不要停止训练；继续监控，并稍后再次检查。
STOP训练明显存在问题，或不再值得继续。停止训练任务，保存证据，撰写备注，输出最终摘要，并结束监控。

停止行为

当决策为 STOP 时：

  • 停止训练任务。
  • 如果上下文中包含 stop_command，先运行 stop_command。
  • 如果没有可用的 stop_command，请根据训练的启动方式选择适当的停止操作，例如停止相关的 tmux 会话、本地进程、远程进程、调度器作业或 Notebook 作业。
  • 保存证据：WandB URL、关键指标、相关日志片段、检查过的文件以及停止原因。
  • 附加一条项目备注，用于调试和后续分析。
  • 在终端中输出 FINAL_SUMMARY。
  • 结束交互式监控循环。

不要因普通指标首次出现波动就停止。应关注持续趋势、严重故障或明显偏离。务必保留足够的证据，以便后续的 Agent 或人工人员了解停止运行的原因。

交互式循环指南

  • 正常间隔为 30 分钟。
  • 如果某轮决策为 CONTINUE，请告知下一次检查时间，并等待至该时间。
  • 如果某轮决策为 WAIT，请说明缺少哪些证据或哪些证据存在噪声，并稍后再次检查。仅当运行情况看起来可疑但尚未达到停止条件时，才使用较短间隔。
  • 如果异常恢复，请明确说明，并继续监控。
  • 面向用户的报告应简短到适合在终端中阅读，同时包含具体指标值和证据路径。

评论

支持 Markdown