wandb-autoresearch

W&B autoresearch

W&B Launch を使用して実際の学習実験を実行し、その結果を読み取り、次の範囲を限定した試行を選択します。Launch 経由で実行する予定だった計算の代わりに、ローカルで wandb.init() の run を作成してはいけません。

Launch の実装は skills/wandb-primary にあります。

• skills/wandb-primary/scripts/launch_helpers.py
• skills/wandb-primary/SKILL.md の Launch セクション

不足しているパッケージは uv を使って明示的にインストールしてください。固定の作業ディレクトリや、あらかじめインストール済みの環境を前提にしないでください。

フロー

現在のステージに該当するリファレンスだけを読みます。

ステージ	開始条件	読むファイル
理解	最初に必ず実行します。Launch 可能なコード、キューの容量、データの場所、以前の状態を確認します	references/understand.md
セットアップ	Launch 可能なコードまたは利用可能なキュー容量が不足しています	references/setup.md
探索	Launch 可能なコードとキュー容量の両方があります	references/search.md

準備完了の条件は「Launch 可能なコード＋利用可能な容量のあるキュー」です。データセットはバージョン管理された Artifact の場合もあれば、コード／イメージから提供される場合もあります。保存形式だけで準備状況が決まるわけではありません。

実験記録

各 W&B オブジェクトは、ジョブごとに使い分けます。

• Runs には、試行の設定、メトリクス、システムメトリクス、ステータス、コード／ジョブの系譜が含まれます。
• Job または code Artifacts を使うと、コードを再度 Launch できます。
• Dataset Artifacts は、ワークロードで必要な場合にバージョン管理された入力を提供します。
• Launch キューとエージェントが計算リソースを提供します。
• 小さなローカルの Markdown ファイルに、仮説、試行回数、判断、キュー、次のステップを記録します。

ローカル状態は、現在のプロジェクト内のユーザーが確認できるパス、またはユーザーが指定したパスに保存します。セッションをまたいだ再開に役立ち、ユーザーが書き込みを許可した場合にのみ、W&B Artifact に同期してください。

S=skills/wandb-autoresearch/scripts/autoresearch_state.py
uv run --with wandb python "$S" load ENTITY PROJECT --dest .
uv run --with wandb python "$S" save ENTITY PROJECT --path AUTORESEARCH_STATE.md

計算の安全性

• 最初のスモークテスト以外の Launch を行う前に、キュー、メトリクスの方向、探索軸、試行／計算予算を確認します。合意した予算を超えてはいけません。
• 本格的な試行の前に、実際のジョブを意図的に小さな設定でスモークテストします。
• プログラムが実際に読み取る設定フィールドだけを変更します。アーキテクチャやパイプラインを変更する場合は、コードを編集し、新しい job Artifact を作成します。
• ユーザーが並列計算を明示的に許可しない限り、試行は逐次実行します。完了した各結果を確認してから次の試行を選びます。
• 失敗、ハードウェア使用率、不確実性を報告します。見かけ上の差がノイズの可能性がある場合は、有力候補を別のシードで再実行します。
• run、メトリクス、キューの結果、完了状態を決して捏造してはいけません。