关于 research-design-planner
面向 Research Agent 的研究设计技能，系统规划研究方法、变量、数据收集、分析与验证。它还涵盖计算、AI/ML 实验设计及可复现性安排。
主要功能
- 01选择研究方法
- 02操作化变量与构念
- 03规划数据收集和抽样
- 04规划分析与验证
- 05设计 AI/ML 实验
适用场景
- 01规划定量、定性或混合方法研究
- 02设定 AI 实验基线与指标
- 03设计鲁棒性测试和消融研究
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/research-design-planner确认已加载。
详细介绍
研究设计规划器
概述
此技能指导 Research Agent 系统地制定研究方法设计（research design）。该设计确定研究方法、构念／变量映射、数据检验流程，以及实验方案（尤其适用于计算／AI／ML 领域），以确保研究有条理且可复现（reproducible）。
依赖项
research-question-builder
快速开始
使用示例： "使用 skill research-design-planner 设计一套实验流程，用于比较 LLM 在 GSM8K 基准数据集和 GPT-4 基线上的鲁棒性。"
工作流
1. 确定研究方法（Research Approach）
确定所选方法并说明理由：
- 定量研究：统计假设检验、结构化调查或实验室实验。
- 定性研究：深入案例研究、主题分析、半结构化访谈或民族志。
- 混合方法：定量与定性方法的序贯或并行组合。
- 计算／AI／ML 实验：模型开发研究、性能分析、鲁棒性测试（robustness）或消融研究（ablation study）。
- 设计科学研究：创建新的系统／软件制品并评估其性能。
2. 变量／构念操作化
- 对于定量／社会科学研究：确定自变量（IV）、因变量（DV）、中介／调节变量及其测量指标。
- 对于计算／AI 研究：确定基线模型、输入数据（input data）、控制变量（control variables）和主要性能指标（例如 F1-score、Latency、Accuracy）。
3. 数据收集与抽样计划
- 设计所用的数据来源（原始数据与二手数据）。
- 确定抽样方法（概率抽样与非概率抽样），或明确数据集收集细节（例如抓取、公开基准数据集、API 日志）。
- 设计数据清理（preprocessing）和标注技术。
4. 数据分析与验证计划
- 确定合适的统计分析方法（例如 ANOVA、SEM、回归分析）或模型训练流程（model training workflow）。
- 设计工具的效度／信度测试，或规划交叉验证（cross-validation），以确保结果可靠。
5. AI／机器学习研究的专属组成部分（如适用）
对于基于 AI/ML 的研究，实验设计必须详细说明：
- 数据集与数据拆分：数据拆分方案（训练／验证／测试集），以及数据不平衡（class imbalance）的处理方式。
- 基线模型：将以同等条件进行测试的标准对比模型（fair comparison）。
- 鲁棒性与压力测试：在极端条件下测试模型（数据噪声、对抗攻击或分布外／训练分布外（out-of-distribution）数据）。
- 消融研究（Ablation Study）：规划测试，逐步停用新架构的各个组件，以验证每个组件的贡献。
常见错误与关键规则
- 设计与 RQ 不匹配：选择无法回答研究问题（RQ）的分析方法。
- 实验比较有偏（不公平比较）：在 ML 研究中，在专门优化的环境中测试新模型，却未对基线模型进行公平的超参数调优。
- 缺少验证计划：未纳入统计显著性检验或数据鲁棒性测试，因此结果容易被视为偶然（cherry-picked）。
- 可复现性流程细节不足：未详细说明所用软件配置、库（libraries）、硬件或随机种子（random seed）。
评论
支持 Markdown