scientific-critical-thinking

科学批判性思维：评估证据与论断

概述

科学批判性思维是指严谨地运用逻辑和方法学标准，评估研究的设计、分析和解释是否足以支持其结论。这项技能将综合证据的研究者与单纯积累证据的人区分开来。本指南涵盖证据等级、常见偏差的作用机制、效应量解读、P 值争议、GRADE 证据分级，以及解读科学文献时常见的逻辑谬误。

核心概念

1. 研究设计等级

研究设计支持因果推断的能力各不相同。下列等级适用于评估干预或暴露对结果影响的问题：

Systematic reviews and meta-analyses of RCTs (highest causal certainty)
    ↓
Randomized Controlled Trials (RCTs)
    ↓
Non-randomized controlled trials / cluster-randomized trials
    ↓
Prospective cohort studies (follow exposure → outcome forward in time)
    ↓
Retrospective cohort studies
    ↓
Case-control studies (compare exposed vs. unexposed given outcome)
    ↓
Cross-sectional studies (measure exposure and outcome simultaneously)
    ↓
Case series and case reports
    ↓
Expert opinion, mechanistic reasoning, animal models (lowest causal certainty)

重要例外：对于罕见结果，病例对照设计通常比队列研究更有效。对于诊断准确性问题，随机设计通常并不合适——优先采用具有经验证参考标准的横断面或队列设计。对于伤害问题，RCT 通常难以实施（受伦理限制），因此大型队列研究是现有的最佳证据。

2. 效应指标及其解读

效应指标量化暴露／干预与结果之间的关系。混淆这些指标是导致误解的主要原因之一。

指标	公式	适用场景	关键解读
风险比（RR）	暴露组风险 / 未暴露组风险	队列研究、RCT	RR = 2.0：暴露组的风险是未暴露组的两倍
优势比（OR）	暴露组优势 / 未暴露组优势	病例对照研究、逻辑回归	结果罕见（<10%）时可近似表示 RR；结果常见时会高估 RR
风险比率（HR）	瞬时事件发生率之比	生存分析（Cox 回归）	HR = 0.7：治疗组每个时间单位的事件风险率降低 30%
治疗获益人数（NNT）	1 / 绝对风险降低	临床决策	NNT = 20：治疗 20 名患者可预防 1 起事件
绝对风险降低（ARR）	风险_control − 风险_treated	临床影响	ARR = 2%：干预使事件绝对发生率降低 2 个百分点
Cohen's d	(μ₁ − μ₂) / σ_pooled	连续结果、心理学	d = 0.2 表示效应较小；0.5 表示中等；0.8 表示较大
Pearson r	相关系数	关联，不代表因果关系	r = 0.1 表示关联较弱；0.3 表示中等；0.5 表示较强（Cohen 1988）

常见错误：只报告相对风险降低（例如“风险降低 50%”），不报告绝对风险降低。某种治疗将风险从 2% 降至 1%，相对风险降低了 50%，但绝对风险仅降低 1%（NNT = 100）。相对指标看起来更显著，但绝对指标才与临床决策相关。

3. 偏倚类型

偏倚是结果或推断系统性偏离真相。与随机误差（可通过增大样本量减少）不同，偏倚具有方向性，无法通过增加样本量来纠正。

选择偏倚：入选研究者与未入选者的特征存在系统性差异。

• 示例：健康工人效应（工人比普通人群更健康）、失访偏倚（病情较重的患者退出研究）、志愿者偏倚
• 检测方法：比较纳入与排除参与者的基线特征；评估脱落模式

信息偏倚：暴露或结局测量中的系统性误差。

• 回忆偏倚：病例比对照更容易记起暴露情况（尤其是罕见疾病的病例对照研究）
• 观察者偏倚：知晓暴露状态的评估者对结局的评分有所不同
• 检测方法：查看结局评估者是否采用盲法；测量工具是否经过验证；结局是客观测量还是自我报告

混杂：与暴露和结局均相关的变量，造成虚假关联或掩盖关联。

• 正向混杂：混杂因素夸大观察到的关联
• 负向混杂：混杂因素掩盖真实关联
• 检测方法：比较粗略效应估计与调整后的效应估计；变化较大（>10%）表明存在混杂
• 控制方法：随机化（RCT）、多变量调整、倾向评分方法、限制、匹配

报告偏倚：根据统计显著性或方向选择性报告结局或结果。

• 发表偏倚：阳性结果会发表，零结果则不会
• 结局报告偏倚：若预先设定的结局不显著，则不予报告；若未计划的分析显著，则予以报告
• 检测方法：比较已注册方案与已发表结局；在荟萃分析中检查漏斗图是否不对称

4. P 值与统计学显著性和临床显著性

p 值是指在原假设成立的前提下，观察到至少与所得结果同样极端的结果的概率。它不是原假设为真的概率，也不是研究发现为假阳性的概率。

正确解读：p < 0.05 表示，如果原假设成立，那么设计相同的研究中，结果达到或超过这种极端程度的比例不到 5%。这并不表示效应很大、具有临床意义或可以重复验证。

统计学显著性 ≠ 临床显著性：样本量足够大时，即使效应小到微不足道，也会达到统计学显著。一种可使收缩压降低 0.8 mmHg 的降压药（95% CI 0.3–1.3，p = 0.001）具有统计学显著性，但没有临床意义。

置信区间比 p 值更有信息量：95% CI 为 [减重 0.5 kg，35 kg] 和 95% CI 为 [减重 0.5 kg，1.5 kg] 时，p 值都可能 < 0.05，但两者的临床意义截然不同。应始终关注 CI 的宽度和范围，而不只是它是否排除了零效应值。

5. GRADE 证据确定性

GRADE 将证据确定性划分为四个等级：

GRADE 等级	含义	典型起始点
高	进一步研究不太可能改变信心	结果一致的 RCT、效应较大、无偏倚
中等	进一步研究可能产生重要影响	存在局限的 RCT，或结果一致且证据有力的观察性研究
低	进一步研究很可能产生重要影响	观察性研究，或存在严重局限的 RCT
极低	任何估计都非常不确定	病例系列、专家意见、结果极不一致

GRADE 证据确定性可因以下因素而降级：偏倚风险、结果不一致（异质性）、间接性（人群或结局不同）、不精确性（CI 较宽）和发表偏倚。可因以下因素而升级：效应较大（OR > 5）、存在剂量-反应关系，或所有合理的混杂因素都会减小效应。

决策框架

How should I evaluate this study?
│
├── Step 1: What question is being answered?
│   ├── Intervention effectiveness → Need RCT or high-quality cohort
│   ├── Diagnostic accuracy → Need cross-sectional vs reference standard
│   ├── Prognosis → Need prospective cohort
│   └── Harm / rare exposure → Case-control or large cohort acceptable
│
├── Step 2: Is the study design appropriate?
│   ├── Design matches question → Proceed
│   └── Mismatch → Major limitation (flag)
│
├── Step 3: What are the key threats to validity?
│   ├── Selection bias → Who was included/excluded? Loss to follow-up?
│   ├── Information bias → Blinding? Validated instruments?
│   └── Confounding → What was adjusted for? Residual confounders?
│
├── Step 4: Are the effect estimates clinically meaningful?
│   ├── Effect size large enough to matter clinically?
│   ├── CI narrow enough to be informative?
│   └── Absolute vs relative risk reported?
│
└── Step 5: How certain is the evidence overall? (GRADE)
    ├── High certainty → Confident conclusion
    ├── Moderate certainty → Likely true; note limitations
    ├── Low certainty → Uncertain; more research needed
    └── Very low certainty → Cannot draw conclusions

主张类型	恰当的回应	需要保持怀疑的警示信号
“药物 X 可降低 50% 的死亡率”	询问：是相对降低还是绝对降低 50%？基线风险是多少？	只报告相对风险；未提供 CI
“观察性研究表明存在因果关系”	降格表述为“相关性”；列出合理的混杂因素	作者未做调整却使用“导致”一词
“显著的 p 值证明了效果”	检查效应量和 CI；评估临床相关性	p = 0.04，N = 50,000，但效应很小
“单项 RCT 具有决定性”	检查是否有重复验证；评估偏倚风险	由制造商资助；未设盲
“预印本显示了突破性进展”	等待同行评审；检查结果是否可重复	未共享数据/代码；新闻稿用语耸动
“N-of-1 病例报告证明了治疗效果”	指出其普遍适用性有限；没有对照组	在没有队列证据的情况下被用于支持政策

最佳实践

1. 先读 Methods，再读 Results：Discussion 部分由作者撰写，旨在支持其结论。Methods 部分则是你独立评估数据是否足以支持这些结论的依据。具体来说：预先设定的主要结局是什么？报告的结局是否与 Methods 或已注册的方案一致？

2. 务必查找预注册记录：ClinicalTrials.gov、PROSPERO 和 OSF 注册库包含原始方案。将预先设定的主要结局与摘要中报告的内容进行比较，是检查结局报告偏倚最有效的方法。若更改主要结局却没有解释，这是一个重大警示信号。

3. 明确区分统计学显著性和临床显著性：对于每个效应估计，都要问：如果这种效应确实存在，它对患者或生物系统是否有实际意义？在包含 500,000 人的 GWAS 中，一个 OR = 1.05（p = 1e-12）的基因组变异确实存在相关性，但对疾病风险预测的贡献微乎其微。

4. 确认资金来源和利益冲突：行业资助的试验并非必然无效，但行业资助与对资助方产品更有利的结果相关。评估是否披露了利益冲突、资助方是否能够访问数据或参与分析，以及是否有独立统计学家审查数据。

5. 检查是否存在未校正的多重检验：一篇论文检验 20 个结局时，即使纯属偶然，也会有 1 个达到 p < 0.05 的统计学显著性。在基因组学、蛋白质组学和其他高通量研究中，应检查是否进行了校正（Bonferroni、Benjamini-Hochberg FDR）。报告 50 项比较却未做校正，会使显著性主张失去效力。

6. 接受临床结论前，要求提供绝对风险数据：对于任何二元结局，除相对风险外，还应要求提供（或计算）绝对风险降低（ARR）和需治疗人数（NNT）。这既适用于期刊文章，也适用于医疗研究的新闻报道。ARR = 对照组发生率 − 治疗组发生率；NNT = 1/ARR。

7. 根据研究设计使用结构化的批判性评估清单：RCT 使用 CONSORT，观察性研究使用 STROBE，预测模型使用 TRIPOD，诊断准确性研究使用 STARD，确定性评估使用 GRADE。这些清单可从 EQUATOR Network 免费获取，并列出了完整报告所需的每一项内容。

常见陷阱

1. 混淆观察性研究中的相关性与因果关系：观察性研究识别的是相关性，而非因果关系。喝咖啡与结直肠癌风险降低相关——但咖啡饮用者与不饮用者在饮食、活动量、社会经济地位等诸多方面存在差异，其中任何一项都可能解释这种相关性。

   • 如何避免：运用 Bradford Hill 标准（强度、一致性、特异性、时间顺序、生物梯度、合理性、一致性、实验、类比）评估观察到的相关性是否可能具有因果关系。单独任何一项标准都不足以得出结论。

2. 过度解读亚组分析：RCT 中的亚组分析几乎总是探索性的。为检测总体治疗效果而设计的试验，无法可靠地检测特定亚组的效果。亚组结果用于生成假设，而非确认假设。

   • 如何避免：只相信预先设定、并采用正式交互作用检验的亚组分析（而不是仅分别报告各亚组内的显著性）。若事后亚组分析未报告交互作用检验，则应仅将其视为假设生成结果。

3. 将替代终点视为与临床终点等同：能够改善影像学生物标志物（如淀粉样蛋白 PET）的药物，不一定能改善临床结局（如认知功能）。医学史上不乏这样的干预措施：改善了替代指标，却使硬终点恶化或对其没有影响。

   • 如何避免：询问该替代终点是否已在既往试验中被验证为临床终点的可靠预测指标。若没有，则仅将其视为初步证据。

4. 忽视健康幸存者偏倚／健康依从者偏倚：依从治疗方案的患者往往更健康、更关注健康，即使治疗本身没有实际效果，他们的结局也往往更好。这会在观察性数据中造成依从性与结局之间的虚假关联。

   • 如何避免：评估有关药物依从性或筛查行为的观察性研究时，留意是否有分析比较接受不同干预措施的依从人群，或是否采用意向治疗原则。

5. 过分关注统计显著性，忽视效应估计的精确度：一项小型研究的 p = 0.03，且 95% CI 很宽（OR：0.5 至 5.0），基本无法提供有用信息——真实效应可能是显著危害，也可能是显著获益。CI 不够精确，导致结果无法解读。

   • 如何避免：在考量 p 值的同时评估 CI 的宽度。只有当 CI 排除无效应和临床上无关紧要的效应时，结果才有参考价值。CI 很宽通常意味着研究效能不足。

6. 认为 p = 0.049 和 p = 0.051 有本质区别：显著／不显著的二元阈值形成了一道分界线：略低于 0.05 的结果会被发表并受到赞扬，而略高于 0.05 的结果则会被搁置。这加剧了可重复性危机。

   • 如何避免：结合背景解读连续的 p 值——p = 0.049 和 p = 0.051 提供的证据几乎相同。重点关注效应量、CI 以及与既有证据的一致性。报告精确的 p 值；尽可能避免使用“统计显著”之类的表述。

7. 完全否定动物和体外研究，或不加批判地接受其结果：细胞和动物机制研究对发现过程必不可少，但其成果在人类研究中的转化失败率很高。动物实验中得到重复验证的发现，约有 85% 未能在人类临床试验中得到证实。

   • 如何避免：仅将动物／体外证据视为用于生成假设的依据。询问动物模型是否经过验证，适用于特定的人类病症；药代动力学特性是否能够转化；以及是否有多个独立实验室重复得到该发现。

工作流

1. 初步了解（5 分钟）

   • 阅读摘要；识别研究设计
   • 检查方法和结果部分是否对应，确保结局一致
   • 检查是否进行了预注册（ClinicalTrials.gov、PROSPERO、OSF），并将注册的结局与报告的结局进行比较

2. 方法评估

   • 评估研究设计是否适合研究问题
   • 确定纳入／排除标准，并评估样本的代表性
   • 评估暴露／结局的测量方式：客观测量还是自我报告；是否采用经过验证的工具；是否实施盲法

3. 结果评估

   • 提取主要结局的效应估计值、95% CI 和 p 值
   • 如果只报告了相对指标，计算或索取绝对风险数据（ARR、NNT）
   • 评估置信区间是否足够窄，能否得出结论
   • 审查混杂因素调整：是否测量并纳入了相关混杂因素？

4. 偏倚和质量评估

   • 使用适当的结构化工具（RoB 2、ROBINS-I、QUADAS-2、NOS）
   • 检查多重检验；统计论文中的比较次数
   • 查看资金来源和利益冲突声明

5. 结论和确定性评级

   • 评定 GRADE 证据确定性（高／中／低／极低）
   • 用 2–3 句话概述：研究发现、结论的确定性，以及存在的局限

延伸阅读

• EQUATOR Network 报告指南 — 所有主要报告清单（CONSORT、STROBE、PRISMA、STARD、TRIPOD）
• Cochrane Handbook — 偏倚评估工具 — RoB 2、ROBINS-I 和 GRADE 方法
• GRADE Working Group — 证据确定性框架和培训材料
• Ioannidis JPA（2005）为什么大多数已发表的研究结果都是错误的。PLoS Med 2:e124 — 关于研究中错误发现率的奠基性论文
• Greenland S 等（2016）统计检验、P 值、置信区间和统计功效。Eur J Epidemiol 31:337-350 — p 值解读的权威指南

相关技能

• literature-review — 在整套证据中系统地应用批判性评价
• biostatistics — 用于计算和解读效应指标的定量工具
• peer-review-methodology — 将批判性思维结构化地应用于稿件评审