design-of-experiments

実験計画法

目次

• ワークフロー
• 一般的なパターン
• ガードレール
• クイックリファレンス

ワークフロー

このチェックリストをコピーして、進捗を記録してください。

Design of Experiments Progress:
- [ ] Step 1: Define objectives and constraints
- [ ] Step 2: Identify factors, levels, and responses
- [ ] Step 3: Choose experimental design
- [ ] Step 4: Plan execution details
- [ ] Step 5: Create experiment plan document
- [ ] Step 6: Validate quality

ステップ 1：目的と制約を定義する

実験の目標（スクリーニングか最適化か）、応答指標、実験予算（最大実行回数）、時間・コストの制約、成功基準を明確にします。一般的な目標については、一般的なパターンを参照してください。

ステップ 2：因子、水準、応答を特定する

候補となるすべての因子（制御可能な入力）を列挙し、各因子の水準（低／高または離散値）を指定して、因子を分類し（制御因子かノイズ因子か）、応答変数（測定可能な出力）を定義します。多数の因子（8 以上）をスクリーニングする場合は、Plackett-Burman 法と一部実施要因計画法について、resources/methodology.mdを参照してください。

ステップ 3：実験計画を選択する

目的と制約に基づいて、次のように選択します。

• 実行回数に制約がある中で 5 つ以上の因子をスクリーニングする場合 → 一部実施要因計画法または Plackett-Burman 法について、resources/methodology.mdを参照してください
• 2～5 個の因子を最適化する場合 → 全要因計画法または一部実施要因計画法について、resources/template.mdを参照してください
• 応答曲面をマッピングする場合 → 中心複合計画法または Box-Behnken 法について、resources/methodology.mdを参照してください
• ノイズに対して頑健な設計を行う場合 → 制御因子とノイズ因子の配列について、resources/methodology.mdを参照してください

ステップ 4：実行の詳細を計画する

ランダム化の順序（時間的な傾向を排除）、ブロック化の方針（交絡変数を制御）、反復計画（誤差を推定）、サンプルサイズの根拠（検出力分析）、測定手順を指定します。重要な要件については、ガードレールを参照してください。

ステップ 5：実験計画書を作成する

design-of-experiments.mdを作成し、目的、因子表、計画行列（因子の設定を含む実行順序）、応答変数、実行手順、分析計画の各セクションを設けます。構成については、resources/template.mdを使用してください。

ステップ 6：品質を検証する

resources/evaluators/rubric_design_of_experiments.jsonを使って自己評価します。目的の明確さ、因子の網羅性、計画の適切さ、ランダム化計画、測定手順、統計的検出力、分析計画、成果物の品質を確認します。最低基準：提出前に平均スコアが 3.5 以上であること。

一般的なパターン

パターン 1：スクリーニング（多数の因子 → 重要な少数の因子）

• コンテキスト：候補因子が 10～30 個あり、予算が限られている中で、重要な因子を 3～5 個特定したい場合
• アプローチ：Plackett-Burman 法または一部実施要因計画（分解能 III／IV）
• 出力：効果量のパレート図、後続の最適化に向けた候補リスト
• 例：15 個の構成パラメーターを使ったソフトウェアのパフォーマンス調整

パターン 2：最適化（最適な設定を見つける）

• コンテキスト：重要だと特定済みの因子が 2～5 個あり、最適な水準を見つけたい場合
• アプローチ：完全実施要因計画（2^k）、または一部実施要因計画と最急上昇法の組み合わせ
• 出力：主効果プロット、交互作用プロット、推奨設定
• 例：温度、圧力、時間を因子とする製造工程

パターン 3：応答曲面（全体像を把握する）

• コンテキスト：曲率を理解し、最大値／最小値を見つけ、トレードオフを定量化したい場合
• アプローチ：中心複合計画（CCD）または Box-Behnken 計画
• 出力：応答曲面の方程式、等高線図、最適領域
• 例：成分比を用いた化学配合

パターン 4：ロバスト設計（ノイズがあっても機能させる）

• コンテキスト：制御不能な変動があっても、製品／工程が良好に機能する必要がある場合
• アプローチ：タグチの内側・外側直交表（制御因子 × ノイズ因子）
• 出力：ノイズ因子への感度を最小限に抑える設定
• 例：温度／湿度の範囲が変わっても動作する必要がある消費者向け製品

パターン 5：逐次実験（学習してから調整する）

• コンテキスト：不確実性が高く、無駄を最小限に抑えながら反復的に学習したい場合
• アプローチ：スクリーニング → 最急上昇法 → 応答曲面 → 確認実験
• 出力：段階的に精緻化された知見と設定
• 例：因子間の関係が不明な新製品開発

ガードレール

設計要件：

1. 実行順序をランダム化する：時間順によるバイアスや、潜在変数との交絡を排除します。「都合のよい」順序ではなく、乱数生成器を使用してください。

2. 中心点を反復する：連続因子を含む計画では、中心点での実行を 3～5 回反復し、純粋誤差を推定して曲率を検出してください。

3. 重要な交互作用を保持する：一部実施要因計画では、重要な 2 因子交互作用が主効果と交絡しないようにしてください。交互作用が重要な場合は、分解能 IV 以上を選んでください。

4. 計画のバランスを確認する：直交性（計画行列において因子間に相関がないこと）を確保してください。相関が 0.3 を超えると、精度と解釈可能性が低下します。

5. 応答を正確に定義する：客観的、定量的、再現可能な測定を使用してください。複数の評価者で校正しない限り、主観的な評価は避けてください。

6. サンプルサイズの妥当性を示す：検出力分析を行い、許容できる第 II 種過誤のリスク（ベータは最大 0.20）の範囲内で、意味のある効果量を検出できる計画にしてください。

7. 前提条件を文書化する：想定する効果の大きさ、交互作用に関する前提、ノイズ分散の推定値を明記してください。計画の妥当性はこれらに左右されます。

8. 実行前に分析を計画する：p ハッキングを防ぐため、データ収集前に統計検定、有意水準（アルファ）、効果量の指標を定めてください。

よくある落とし穴：

• ❌ 一因子ずつの実験（OFAT）：交互作用を見逃し、要因計画より多くの実行回数が必要になります
• ❌ ブロック化を無視する：実行が複数の日、バッチ、担当者にまたがる場合は、適切にブロック化するか、時間的傾向と結果が交絡しないようにしてください
• ❌ 水準が多すぎる：最初は 2～3 水準を使用してください。水準を増やすと実行回数が指数関数的に増加します。
• ❌ 未測定の因子：重要な因子が制御も測定もされていない場合、それはノイズになります
• ❌ 実験途中でプロトコルを変更する：計画の構造が崩れます。必要な場合は、実験をやり直すか、別々に分析してください。

クイックリファレンス

主なリソース：

• resources/template.md：一般的な設計（要因計画、スクリーニング、応答曲面）のクイックスタートテンプレート
• resources/methodology.md：高度な手法（最適計画、タグチ法、混合実験、逐次戦略）
• resources/evaluators/rubric_design_of_experiments.json：実験計画の品質基準

一般的なワークフロー所要時間：

• 単純な要因計画（2～4 因子）：15～30 分
• スクリーニング計画（8 因子以上）：30～45 分
• 応答曲面計画：45～60 分
• ロバスト設計（タグチ法）：60～90 分

エスカレーションが必要な場合：

• ユーザーが混合実験を必要としている（因子の合計が 100% でなければならない）
• 分割区計画が必要（変更が難しい因子がある）
• 不規則な制約に対する最適計画
• ベイズ適応計画 → これらの高度なケースでは、resources/methodology.md を使用してください

必要な入力：

• プロセス／システム：実験対象
• 因子：候補水準を含む、制御可能な入力のリスト
• 応答：測定可能な出力（KPI、指標）
• 制約：予算（最大実験回数）、時間、リソース
• 目的：スクリーニング、最適化、応答曲面、またはロバスト設計

生成される出力：

• design-of-experiments.md：計画行列、ランダム化、プロトコル、分析方法を含む完全な実験計画