msverl-daily-regression-triage

MSVerl の日次リグレッション トリアージ

固定された日次の verl + MindSpeed トレーニングジョブが実行された後、結果が正常か、トレーニングの失敗または精度のリグレッションが発生したか、またその原因として最も可能性の高い最近のコミットを Codex が判断する必要がある場合に、このスキルを使用します。

デフォルト設定

• ベースライン比較ログ：/home/st_daily_verl/msverl.log
• トレーニングログのパターン：/home/st_daily_verl/logs/msverl_YYYYMMDD.log
• verl リポジトリ：https://github.com/verl-project/verl.git の main
• MindSpeed リポジトリ：https://gitcode.com/Ascend/MindSpeed.git の master
• 一時クローン用のキャッシュルート：/tmp/msverl-skill-cache
• 時間範囲：ローカル時間で前日の 00:00:00 からタスク実行時まで

即時停止ルール

• まず比較ログを読みます。
• mean abs diff: が含まれ、解析された値が厳密に 0 の場合は、停止して成功を報告します。
• mean abs diff: が含まれ、値がゼロ以外の場合は、accuracy_regression に分類します。
• error, please check log が含まれる場合は、train_error に分類します。
• 比較ログの内容が曖昧な場合は、追加のコストがかかる作業に進む前に、不足している証拠を説明して unknown と報告します。

ワークフロー

1. 比較ログに対して parse_result_log.py を実行します。
2. pass の場合は直ちに停止します。
3. train_error の場合は、日次トレーニングログに対して extract_failure_tail.py を実行し、シグナルの強い最後のエラーブロックだけを残します。
4. accuracy_regression の場合は、解析された報酬リストと mean abs diff を主要な証拠として使用します。
5. sync_repos.py で軽量なローカルクローンを同期します。
6. ユーザーが別の時間範囲を指定していない限り、デフォルトの時間範囲内で両方のリポジトリの最近のコミットを list_recent_commits.py で収集します。
7. rank_candidate_commits.py で候補を順位付けします。
8. タイトルと変更されたファイルだけでは妥当な修正方針を説明できない場合に限り、上位数件のコミットの差分を調べます。

コスト管理

• テールベースの抽出ツールが2回失敗しない限り、トレーニングログ全体を読み込まないでください。
• まずログの末尾だけを確認し、最後のトレースバックまたは最後の ERROR ブロックを優先します。
• 差分を読む前に、タイトルと変更されたファイルを使ってコミットを順位付けします。
• 証拠が依然として弱い場合を除き、リポジトリごとの詳細な差分確認は上位 3 件の候補に限定します。

期待される出力

次の項目を含む簡潔なレポートを返します。

• status：pass、train_error、accuracy_regression、または unknown
• time_window
• evidence_summary
• candidate_repo
• candidate_commits
• confidence：high、medium、または low
• fix_direction

証拠が弱い場合は、単一のコミットを無理に原因と断定せず、そのことを明確に伝えてください。

参考資料

• ローカルで一連のワークフローを実行するには、triage_msverl_regression.py を実行します。
• ログを手動で検証する場合は、parse_result_log.py と extract_failure_tail.py を個別に使用します。
• 順位付けを行わず、最近のコミット一覧をそのまま取得するには、list_recent_commits.py を使用します。