run

/ar:run — 単一の実験イテレーション

実験をちょうど1回実行します。履歴を確認し、変更を決めて編集し、コミットして評価します。

使用方法

/ar:run engineering/api-speed              # Run one iteration
/ar:run                                     # List experiments, let user pick

実行内容

ステップ 1：実験を選択する

実験が指定されていない場合は、python {skill_path}/scripts/setup_experiment.py --list を実行し、ユーザーに選択してもらいます。

ステップ 2：コンテキストを読み込む

# Read experiment config
cat .autoresearch/{domain}/{name}/config.cfg

# Read strategy and constraints
cat .autoresearch/{domain}/{name}/program.md

# Read experiment history
cat .autoresearch/{domain}/{name}/results.tsv

# Checkout the experiment branch
git checkout autoresearch/{domain}/{name}

ステップ 3：試す内容を決める

results.tsv を確認します。

• どの変更が採用されましたか？共通するパターンはありますか？
• どの変更が却下されましたか？同じアプローチを繰り返さないようにします。
• 何がクラッシュしましたか？原因を把握します。
• これまでに何回実行しましたか？（それに応じて戦略を段階的に引き上げます）

戦略の段階的な引き上げ：

• 1〜5 回目：すぐに取り組める改善（明らかな改善点）
• 6〜15 回目：体系的な探索（パラメーターを1つずつ変える）
• 16〜30 回目：構造的な変更（アルゴリズムの置き換え）
• 30 回目以降：大胆な実験（まったく異なるアプローチ）

ステップ 4：変更を1つ行う

config.cfg で指定された対象ファイルのみを編集します。変更は1つだけにします。シンプルに保ちます。

ステップ 5：コミットして評価する

git add {target}
git commit -m "experiment: {short description of what changed}"

python {skill_path}/scripts/run_experiment.py \
  --experiment {domain}/{name} --single

ステップ 6：結果を報告する

スクリプトの出力を読みます。ユーザーに次のように伝えます。

• 採用：「改善しました！{metric}：{value}（前回の最高値から {delta}）」
• 却下：「改善はありません。{metric}：{value}、最高値 {best}。変更を元に戻しました。」
• クラッシュ：「評価に失敗しました：{reason}。変更を元に戻しました。」

ステップ 7：自己改善の確認

10 回目の実験ごとに（results.tsv の行数を確認）、学習したパターンを program.md の Strategy セクションに反映します。

ルール

• 1回のイテレーションにつき変更は1つだけです。一度に5つの変更を行わないでください。
• 評価器（evaluate.py）は決して変更しないでください。これが唯一の正解です。
• シンプルさを優先します。同等の性能なら、よりシンプルなコードは改善とみなします。
• 新しい依存関係を追加しないでください。