research-design-planner

研究デザインプランナー

概要

このスキルは、Research Agent が研究方法論の設計（research design）を体系的に作成できるよう支援します。この設計では、研究アプローチ、構成概念／変数のマッピング、データ検証の流れ、実験シナリオ（特にコンピューティング／AI／ML 分野）を定め、研究が体系的に実施され、再現可能（reproducible）であることを確保します。

依存関係

• research-question-builder

クイックスタート

使用例： 「research-design-planner スキルを使って、ベンチマークデータセット GSM8K とベースライン GPT-4 を使用した LLM のロバスト性比較実験の流れを設計してください。」

ワークフロー

1. 研究アプローチの決定（Research Approach）

選択したアプローチを決定し、その妥当性を説明します。

• 定量的：統計的仮説検定、構造化アンケート、または実験室での実験。
• 定性的：詳細なケーススタディ、テーマ分析、半構造化インタビュー、またはエスノグラフィー。
• 混合研究法：定量的手法と定性的手法を逐次的または並行して組み合わせます。
• 計算機実験／AI／ML：モデル開発研究、性能分析、ロバスト性テスト（robustness）、またはアブレーション研究（ablation study）。
• デザインサイエンス研究：新しいシステム／ソフトウェアの成果物を作成し、その性能を評価します。

2. 変数／構成概念の操作化

• 定量的／社会科学研究の場合：独立変数（IV）、従属変数（DV）、媒介変数／調整変数、およびその測定指標を特定します。
• 計算機／AI 研究の場合：ベースラインモデル、入力データ（input data）、制御変数（control variables）、主要な性能指標（例：F1-score、Latency、Accuracy）を定めます。

3. データ収集とサンプリング計画

• 使用するデータソース（一次データと二次データ）を設計します。
• サンプリング手法（確率抽出か非確率抽出）またはデータセットの収集方法の詳細（例：スクレイピング、公開ベンチマークデータセット、API ログ）を定めます。
• データのクリーニング（preprocessing）とラベリングの手法を設計します。

4. データ分析と検証の計画

• 適切な統計分析手法（例：ANOVA、SEM、回帰分析）またはモデルのトレーニングワークフロー（model training workflow）を定めます。
• 結果の信頼性を確保するため、測定ツールの妥当性／信頼性テスト、または交差検証（cross-validation）の計画を設計します。

5. AI／機械学習研究に特有の要素（該当する場合）

AI／ML に基づく研究では、実験計画に次の項目を詳しく記載する必要があります。

1. データセットとデータ分割：データ分割（train/validation/test split）のシナリオ、およびデータの不均衡（class imbalance）への対処。
2. ベースラインモデル：公平な比較（fair comparison）のため、同等の条件でテストする標準的な比較モデル。
3. ロバスト性とストレステスト：極端な条件（データノイズ、敵対的攻撃、または学習時とは異なる分布（out-of-distribution））でモデルをテストします。
4. アブレーション研究（Ablation Study）：新しいアーキテクチャの各コンポーネントの寄与を検証するため、コンポーネントを段階的に無効化してテストする計画。

よくある間違いと重要なルール

• 研究デザインと RQ の不整合：研究課題（RQ）に答えられない分析手法を選択してしまうこと。
• 偏りのある実験比較（Unfair Comparison）：ML 研究で、新しいモデルは特別に最適化された環境でテストする一方、ベースラインモデルには公平なハイパーパラメーター調整を行わないこと。
• 検証計画の欠如：統計的有意性検定やデータのロバスト性テストを含めないため、結果が偶然の産物（cherry-picked）と見なされるおそれがあります。
• 再現性の手順に関する詳細不足：使用したソフトウェア構成、ライブラリ（libraries）、ハードウェア、または乱数シード（random seed）を詳しく記載しないこと。