design-study

设计研究 Skill

核心审查问题

始终检查：

1. 确切的研究问题。
2. 分析单位：患者、病灶、检查、研究、阶段、报告。
3. 索引日期或决策点。
4. 纳入和排除标准的应用方式。
5. 是否存在信息泄漏。
6. 参考标准或终点定义。
7. 临床意义明确的比较对象。
8. 验证策略。
9. 所需的不确定性报告。
10. 最适用的报告指南。
11. 暴露/结局/协变量的定义是否有文献依据，还是根据数据字典临时编造。如果是临时定义，请先使用 /define-variables，再起草 Methods。

---

标准输出

## Study Design Review
Question: ...
Study type: ...
Analysis unit: ...
Index date / prediction timepoint: ...

### Strengths
- ...

### Major validity risks
1. ...
2. ...

### Minimal fixes
- ...

### Reporting fit
- Recommended guideline: ...

### Decision
- Ready for analysis / Needs redesign / Drafting can proceed with limitations

仅引用经 /search-lit 确认的 DOI 或 PMID；其他引用均标记为 [UNVERIFIED - NEEDS MANUAL CHECK]。绝不编造临床定义、诊断标准或指南建议：对未经确认的内容标记 [VERIFY]，并询问用户。

---

工作流

阶段 1：重构研究

从方案、草稿、幻灯片、表格或笔记中提取：临床问题、预期用途、研究人群、输入、输出、结局定义，以及变量的可用时间。

关卡： 向用户展示重构后的研究摘要（问题、分析单位、预期用途），并在继续前取得确认——错误的重构会误导整个有效性审查。

阶段 2：检查结构有效性

仅在符合相应条件时阅读参考文件：

文件	阅读条件
references/dag_adjustment.md	混杂控制需要明确的调整集
references/target_trial_emulation.md	研究设计模拟目标试验
references/venue_accept_recipe.md	临床 DL / AI 验证研究必须决定现有设计能被哪个级别的期刊接受，以及达到更高一级所需的一项设计改进（衔接 /find-journal）；若无需决定发表级别，则跳过
references/combine_models_ablation_design.md	模型通过组合 / 改造 / 微调现有模型构建（nnU-Net、TotalSegmentator、SAM/MedSAM、预训练主干网络），且必须将比较对象设计为消融实验；若模型是从头训练的，则跳过
references/multi_model_comparison_design.md	研究贡献在于对多个模型 / 架构进行正面对比，且比较必须公平；单模型研究则跳过（单个模型的消融实验 → 上一行；AI 与人工对比 → /design-ai-benchmarking）
references/segmentation_failure_characterization_design.md	研究主张是分割模型在临床上可用，而不只是得分高；若终点是基准测试准确率，则跳过（指标选择 → /model-assessment；弃权 / 风险–覆盖率 → /model-assessment）

A. 分析单位

查找不匹配的情况：基于病灶级分析得出患者级结论；按检查划分数据集却存在患者重叠；将阶段级样本视为相互独立。

B. 信息泄漏

检查以下情况：

• 使用术后特征进行术前预测
• 在数据集拆分前进行归一化或阈值处理
• 训练集与测试集中存在重复检查
• 读者标注依据结局信息得出
• NLP/LLM 提取任务的输入文本污染：如果输入包含临床病史、检查指征、印象、既往诊断或转诊文本，请确认其中没有提及或强烈暗示目标标签。如果有，则该任务是在标签泄漏情况下进行信息检索，而非表型推断：应重新设计输入掩码，报告排除这些字段后的敏感性分析，或重新界定任务。
• 构念依赖（预测因子是结局的定义组成部分）：（i）用于计算结局的输入（结局为 HOMA-IR 时使用空腹胰岛素和葡萄糖），或（ii）由定义结局的组成部分构成的近乎同义反复的复合指标（关联被夸大，近乎循环论证）。检验方法：“这个预测因子能否全部或部分根据结局定义或同一项测量推导得出？”如果可以，请将其排除，或仅将其作为带有明确标注的校准探针保留。

F. 时间起点与生存者偏倚（发病／转归模型）

对于任何生存时间或发病／转归设计，请在起草前检查：

• 各模型的时间起点。 每个发病模型都从正确的起点开始计算风险时间。注意不死时间偏倚（某段时间内事件不可能发生，却被错误归入某一组）和左截断／延迟入组。
• 中介因素判定窗口内的生存者偏倚。 若“进展者”／转归标签取决于存活至之后的判定时间点（第二次扫描、随访就诊），则会产生生存者偏倚；应规划标志时间点，或采用明确的中间状态模型（多状态／疾病－死亡模型）。
• 主要分析集的选择。 如果主要分析集并非完整队列，请根据相对于结局的缺失机制，预先说明理由：当缺失与结局在给定协变量后相互独立时，完整病例回归无偏（即使协变量缺失为 MNAR）；当缺失依赖于结局时通常会产生偏倚，包括 MAR 情况，此时多重插补通常应作为主要分析方法（Hughes et al., Int J Epidemiol 2019；当缺失仅依赖于结局时，Logistic 回归的比值比是例外）。切勿为了获得显著性而选择该方法。
• 如果设计尚无法回答这些问题，应如实说明；但在审查时，若仅在 Methods/Limitations 中承认“未正式评估”，则生存探针（S1）会将其升级为重大问题。

C. 参考标准

检查由谁、何时确立真实值，是否能够实施盲法，以及是否只有部分样本接受了金标准验证。然后：

• 构念与名义定义的一致性。 重述每个构念的名义定义，并确认所有纳入病例均符合该定义。若“偶发瘤”被定义为性质不确定的发现，则不得纳入明确的恶性判读；超出定义的标签会夸大队列并破坏 κ 值。
• 各标志类别的参考标准一致性。 按标志类别报告一致性，而不只是总体一致性；如果某个构念中的大多数标志（例如约 86%）都与参考标准不符，说明测量的是其他内容。
• 稿件定义与 variable_operationalization.md 的一致性。 Methods 中的定义必须与 /define-variables 操作化表中的内容逐字一致，盲法重新分类表也必须逐字引用分析方案中的定义。表格中使用释义或“常识性扩展”所导致的低 κ 值，属于有据可查的定义不一致，而非真实分歧。

D. 验证

分类为：仅表观验证、内部拆分、交叉验证、时间验证、外部验证或多中心外部验证。

E. 读者研究 / 专家评定研究

如果研究需要征集专家评分——例如读者研究、标注小组或 AI 输出评估——请在收集数据前阅读 references/reader_elicitation_design.md。感知 / 读者 AI 研究的接受度上限在设计阶段就已确定：无论执行质量多高，都无法突破比较对象、估计目标或读者群体所决定的上限。对于 AI 系统与人类专家的基准测试，请转到 /design-ai-benchmarking（实验组定义、LLM 作为评审者与人类作为评审者的裁定方式、结构化导出架构）。

阶段 3：临床定位

询问比较对象和终点是否足以支持所述主张：

• 模型是否优于当前实践，还是只是另一个模型？
• 终点是否具有临床意义？
• 性能能否转化为行动？
• 增量价值：如果将模型 / 标志物描述为在现有工具（临床评分、常规检测、基线模型）之外、之上或增量地增加价值，请预先指定由常规使用中的预测因子构建的基线比较模型，并且说明如何展示增量价值：在开发数据中使用新项的似然比检验（或 Wald 检验）；报告 ΔC-index / ΔAUC 及其配对 CI，以量化增益，而不是作为第二项检验（对在同一数据上拟合和评估的嵌套模型进行 DeLong 检验无效；DeLong 检验适用于在留出评估前已冻结的两个模型）；优先报告预先指定阈值下决策曲线净获益的变化；NRI 仅可使用预先指定的分类 NRI，并分别报告事件和非事件，绝不能使用连续 NRI（参见 analyze-stats incremental_value.md；Kerr 等，Epidemiology，2014）。单独的区分度数值不足以支持“超越 X”的主张，也不能在事后加入嵌套模型比较而不提供基线模型。
• 微调贡献基线：如果 NLP / LLM 研究声称微调、LoRA、提示词工程或多 Agent 封装提升了信息抽取 / 分类性能，请预先指定使用相同主干模型、相同输入、输出架构和测试集划分的零样本或少样本比较对象；较弱或无关的基线无法证明适配带来了增益。对于影像研究：
  • 通过组合 / 适配 / 微调现有模型构建的模型 → 完整消融阶梯（未经适配的基础模型、表现最佳的单个组件、直接训练与迁移），参见 references/combine_models_ablation_design.md；
  • 多个模型的正面对比 → 对比公平性：所有模型使用相同且冻结的数据划分 / 预处理、强且经公平调优的基线、匹配的（或明确披露的）计算预算，以及配对差异检验，参见 references/multi_model_comparison_design.md；
  • 声称分割模型可用于临床 → 预先指定失败分类体系、包含明确评审者和裁定规则的可接受性终点、报告均值之外的尾部表现，并将编辑工作量与从头手动完成进行配对比较，参见 references/segmentation_failure_characterization_design.md。不能事后将平均 DSC 转化为可用性主张。
• 终点↔结论范围：预先确定研究设计能够支持哪类结论。横断面 / 单次就诊 / 患病率研究设计无法支持预后或监测主张（筛查间隔、疾病进展）——这需要纵向随访。二元替代终点（存在 / 不存在、>0、二分化）只能用于风险分层，不能作为患者诊疗指令（推迟 / 不予 / 开始治疗）。在审查时，/self-review §D 和 check_scope_coherence.py 会针对结论标记 CROSS_SECTIONAL_PROGNOSTIC / SURROGATE_CARE_DIRECTIVE。

阶段 4：报告规范适配

推荐一项主要报告指南——TRIPOD+AI、CLAIM、STARD、STROBE（目标试验模拟研究使用 TARGET）、PRISMA、CARE 或 ARRIVE——并在需要时补充期刊专属要求。

---

常见失效模式

诊断 AI

没有临床相关的比较对象；在考试级别而非患者级别划分数据；参考标准不明确；仅报告 AUROC，没有阈值指标。

预后建模

时间零点不明确；不死时间偏倚；特征时间与预测时间不匹配；没有校准。

回顾性队列 / 筛查数据库

• 时间零点错位：队列纳入时间 ≠ 随访开始时间 → 不死时间偏倚。
• 将区间删失的结局视为精确时间 → 低估事件发生时间。
• 未承认健康志愿者偏倚 → 夸大外部效度结论。
• 组间随访频率不均造成监测偏倚。
• 将每项威胁明确归入 Hernán/Robins 的三类偏倚之一：选择偏倚（谁被纳入）、信息偏倚（如何测量）、混杂（还有哪些方面不同）。
• 比较 / 因果问题 → 模拟目标试验。 对于基于常规收集数据提出的治疗对治疗、筛查对不筛查或药物 A 对药物 B 问题，应在提取数据前明确目标试验的七个组成部分（资格标准、策略、分配、时间零点、结局、因果对比、分析计划）。这可以避免不死时间偏倚、现患使用者偏倚和适应证混杂，并将关联转化为有依据的因果对比。新使用者 + 活性比较对象设计、宽限期克隆-删失-加权法和负对照见 references/target_trial_emulation.md。
• 混杂因素完整性：根据 DAG 预先指定调整集（而非采用 Table 1 中 p < 0.05 的规则），并规划扩展调整敏感性模型，以检验暴露组间任何实际不平衡、但位于调整集之外的已测量协变量，是否会影响主要估计的稳健性。使用 scripts/adjustment_set_helper.py 预筛选拟议协变量（标记对中介变量 / 碰撞变量 / 后代变量的调整及遗漏的混杂因素，并提出候选后门集），然后使用 dagitty 推导最小充分集——见 references/dag_adjustment.md。审查时，/self-review Phase 2.5e 和 observational_confounding.md 中的 O 探针（O1–O18）会结合 Table 1 检查这一点——包括 O7 过度调整、O10 重叠子集梯度规范、O11 复杂抽样数据的基于设计的加权、O12 数据驱动阈值挖掘、O13（横断面研究的中介分析不能确定 X→M→Y 的顺序），以及 O14（协同 / 联合效应的主张需要采用加性交互尺度——RERI/AP/S，而不能只做乘性交互检验）。

多模态 LLM / 报告生成

没有明确的临床正确性评分标准；基准标签由未经裁定的噪声报告生成；对安全性或工作流效益提出无依据的主张；输入文本包含待预测的目标标签或诊断；对于微调或提示词工程的主张，没有使用相同骨干模型的零样本 / 少样本基线。

影像学荟萃分析

队列重叠；将配对模态作为独立样本分析；缺少异质性指标；未说明如何处理零单元格。

---

最小修复原则

优先建议可行的最小修复：澄清主张、缩小目标人群、补充局限性说明、增加临床相关的基线、重新运行一项关键敏感性分析，或更明确地重新定义终点。只有在核心主张无法通过其他方式成立时，才升级为重新设计。

---

交接规则

• 当设计基本合理，但分析细节需要完善时，转交给 analyze-stats
• 设计确定后，转交给 check-reporting
• 用户希望对自己的稿件进行投稿前质量检查时，转交给 self-review
• 只有在记录了主要效度风险后，才转回 write-paper

此技能不会计算统计数据、撰写完整的稿件正文、解决原始数据工程问题，也不能替代面向期刊的完整同行评审。