experiment-design

実験設計

研究論文向けに、段階的に進める構造化された実験計画を設計します。

入力

• $0 — 研究アイデア、計画、または手法の説明

参考資料

• 4段階の段階的実験プロンプト：~/.claude/skills/experiment-design/references/stage-prompts.md

スクリプト

実験設計を生成

python ~/.claude/skills/experiment-design/scripts/design_experiments.py --plan research_plan.json --output experiment_design.json
python ~/.claude/skills/experiment-design/scripts/design_experiments.py --method "contrastive learning" --task classification --format markdown

ベースライン、アブレーション行列、ハイパーパラメーターのグリッド、評価指標の選定を生成します。標準ライブラリのみを使用します。

4段階の段階的フレームワーク（AI-Scientist-v2 より）

ステージ 1：初期実装

• 基本的な動作実装を完成させることに重点を置きます
• シンプルなデータセットを使用します
• 基本的な機能の正しさを目指します
• 完了条件：少なくとも1つの動作する（バグのない）実装があること

ステージ 2：ベースラインの調整

• ハイパーパラメーター（学習率、エポック数、バッチサイズ）を調整します
• モデルアーキテクチャは変更しないでください
• 少なくとも2つのデータセットでテストします
• 完了条件：学習曲線が安定し、ステージ1より改善していること

ステージ 3：創造的な研究

• 新しい改善方法や洞察を探ります
• 創造的に、既成概念にとらわれずに考えます
• 少なくとも3つのデータセットでテストします
• 完了条件：新しい改善を実証できていること

ステージ 4：アブレーション研究

• コンポーネントを体系的に分析します
• 各アブレーションで異なる側面を検証します
• ステージ3と同じデータセットを使用します
• 完了条件：計画したすべてのアブレーションを完了していること

出力形式

{
  "stages": [
    {
      "name": "initial_implementation",
      "goals": ["Basic working baseline", "Simple dataset"],
      "max_iterations": 5,
      "completion_criteria": "Working implementation with non-zero accuracy"
    }
  ],
  "baselines": ["Method A", "Method B"],
  "datasets": ["Dataset1", "Dataset2", "Dataset3"],
  "metrics": ["accuracy", "F1", "inference_time"],
  "ablation_components": ["component_A", "component_B"],
  "hyperparameter_grid": {
    "lr": [1e-4, 1e-3, 1e-2],
    "batch_size": [32, 64, 128]
  },
  "num_seeds": 3
}

ルール

• 複雑な実験の前に、必ずシンプルなもの（ステージ1）から始めます
• 各ステージでは、前のステージで得られた最良の結果を基に進めます
• 統計的有意性を得るため、複数のシードで評価します
• 実験の実行ごとに、必ず notes.txt に記録します
• 学習曲線と比較の図を生成します

関連スキル

• 上流：research-planning、idea-generation
• 下流：experiment-code、data-analysis
• こちらも参照：paper-assembly