msverl-daily-regression-triage

MSVerl 每日回归排查

当固定的每日 verl + MindSpeed 训练任务运行完毕，且 Codex 需要判断结果是否正常、是否存在训练失败或准确率回归，以及哪个近期提交最有可能是原因时，使用此技能。

默认值

• 基线对比日志：/home/st_daily_verl/msverl.log
• 训练日志模式：/home/st_daily_verl/logs/msverl_YYYYMMDD.log
• verl 仓库：https://github.com/verl-project/verl.git，分支为 main
• MindSpeed 仓库：https://gitcode.com/Ascend/MindSpeed.git，分支为 master
• 临时克隆的缓存根目录：/tmp/msverl-skill-cache
• 时间范围：从本地时间前一天的 00:00:00 到任务执行时间

强制停止规则

• 首先读取对比日志。
• 如果日志包含 mean abs diff:，且解析出的值恰好为 0，则停止并报告成功。
• 如果日志包含 mean abs diff:，且该值不为零，则归类为 accuracy_regression。
• 如果日志包含 error, please check log，则归类为 train_error。
• 如果对比日志含义不明确，则报告 unknown，并在进行耗时操作前说明缺少哪些证据。

工作流

1. 对比日志运行 parse_result_log.py。
2. 如果结果为 pass，立即停止。
3. 对于 train_error，对每日训练日志运行 extract_failure_tail.py，并仅保留最后一段高信号错误信息。
4. 对于 accuracy_regression，将解析出的奖励列表和 mean abs diff 作为主要证据。
5. 使用 sync_repos.py 同步轻量本地克隆。
6. 除非用户指定了其他时间范围，否则使用 list_recent_commits.py 收集两个仓库在默认时间范围内的近期提交。
7. 使用 rank_candidate_commits.py 对可疑提交排序。
8. 仅当提交标题和改动文件不足以说明可能的修复方向时，才检查排名靠前的少数提交的差异。

成本控制

• 除非基于日志尾部的提取器连续失败两次，否则绝不加载完整训练日志。
• 从日志尾部开始；优先查看最后一段回溯信息或最后一个 ERROR 块。
• 先根据标题和改动文件对提交排序，再阅读差异。
• 除非证据仍然薄弱，否则每个仓库深入阅读差异的候选提交不超过 3 个。

预期输出

返回一份简洁报告，包含：

• status：pass、train_error、accuracy_regression 或 unknown
• time_window
• evidence_summary
• candidate_repo
• candidate_commits
• confidence：high、medium 或 low
• fix_direction

证据薄弱时，请明确说明，不要勉强断定某个提交是唯一原因。

参考

• 运行 triage_msverl_regression.py，执行端到端本地工作流。
• 手动验证日志时，可分别使用 parse_result_log.py 和 extract_failure_tail.py。
• 需要获取近期提交原始清单但无需排序时，使用 list_recent_commits.py。