alterlab-scientific-thinking

科学批判性思维

概述

批判性思维是一种系统评估科学严谨性的过程。使用 GRADE 和 Cochrane 偏倚风险工具（随机试验使用 RoB 2，非随机干预研究使用 ROBINS-I），评估方法、实验设计、统计有效性、偏倚、混杂因素和证据质量。使用此技能对科学主张进行批判性分析。

何时使用此技能

在以下情况下应使用此技能：

• 评估研究方法和实验设计
• 评估统计有效性和证据质量
• 识别研究中的偏倚和混杂因素
• 审查科学主张和结论
• 评估系统综述纳入的研究（偏倚风险、GRADE 确定性）
• 应用 GRADE 或 Cochrane 偏倚风险评估
• 对研究论文进行批判性分析

不适用的情况

场景	改用
为期刊或资助项目撰写正式、可提交的审稿报告	alterlab-peer-review
对整篇稿件进行多位审稿人的模拟评审并作出裁定	alterlab-paper-reviewer
对论文、学位论文或提案进行评分	alterlab-scholar-eval
实际运行统计检验或模型	alterlab-statistical-analysis
汇总多项研究的效应量（森林图、异质性、发表偏倚）	alterlab-meta-analysis

核心能力

1. 方法学批判

评估研究方法的严谨性、有效性和潜在缺陷。

适用于：

• 审阅研究论文
• 评估实验设计
• 评估研究方案
• 规划新研究

评估框架：

1. 研究设计评估

   • 该设计是否适合研究问题？
   • 该设计能否支持所提出的因果主张？
   • 对照组是否恰当且充分？
   • 考虑实验性、准实验性或观察性设计是否合理

2. 有效性分析

   • 内部有效性： 我们能否信任因果推断？
     • 检查随机化质量
     • 评估混杂因素控制
     • 评估选择偏倚
     • 审查退出／脱落模式
   • 外部有效性： 结果能否推广？
     • 评估样本的代表性
     • 考虑研究环境的生态效度
     • 评估研究条件是否符合目标应用场景
   • 构念效度： 测量是否反映预期构念？
     • 审查测量工具的验证情况
     • 检查操作性定义
     • 评估测量是直接测量还是代理指标
   • 统计结论效度： 统计推断是否可靠？
     • 验证检验效能／样本量是否充足
     • 检查是否符合假设条件
     • 评估检验是否恰当

3. 对照与盲法

   • 随机化是否得到正确实施（序列生成、分配隐藏）？
   • 盲法是否可行且已实施（参与者、提供者、评估者）？
   • 对照条件是否恰当（安慰剂、主动对照、不治疗）？
   • 实施偏倚或检测偏倚是否可能影响结果？

4. 测量质量

   • 测量工具是否经过验证且可靠？
   • 在可能的情况下，测量是否客观；若为主观测量，是否说明了其局限性？
   • 结局评估是否标准化？
   • 是否使用多种测量方法对研究结果进行交叉验证？

参考： 详细原则请参阅 references/scientific_method.md，完整的设计检查清单请参阅 references/experimental_design.md。

2. 偏差检测

识别并评估可能导致研究结果失真的偏差来源。

适用于：

• 审阅已发表的研究
• 设计新研究
• 解读相互矛盾的证据
• 评估研究质量

系统性偏差审查涵盖五类偏差：认知偏差（确认偏差、HARKing、发表偏差、选择性取材）、选择偏差（抽样偏差、志愿者偏差、脱落偏差、生存者偏差）、测量偏差（观察者偏差、回忆偏差、社会期望偏差、测量工具偏差）、分析偏差（p 值操纵、结果切换、选择性报告、亚组筛选）以及混杂因素（已测量、未测量因素和替代解释）。

**参考：**各类偏差的完整检测问题清单已移至 references/evaluation_checklists.md（偏差检测部分）。全面的偏差分类及缓解策略见 references/common_biases.md。

3. 统计分析评估

批判性地评估统计方法、解读方式和报告。

适用于：

• 审阅定量研究
• 评估数据驱动的主张
• 评估临床试验结果
• 审阅荟萃分析

统计审查清单涵盖八个方面：样本量与检验效能、统计检验的适用性、多重比较校正、p 值解读、效应量与置信区间、缺失数据处理、回归／建模假设，以及常见误区（将相关性视为因果关系、均值回归、忽视基准率、得克萨斯神枪手谬误、辛普森悖论）。

**参考：**涵盖全部八个方面的逐项完整问题清单已移至 references/evaluation_checklists.md（统计分析评估部分）。详细误区及正确做法见 references/statistical_pitfalls.md。

4. 证据质量评估

系统地评估证据的强度和质量。

适用于：

• 权衡决策所依据的证据
• 开展文献综述
• 比较相互矛盾的研究结果
• 确定对结论的信心

证据评估框架包括五个组成部分：研究设计层级（从荟萃分析到专家意见，同时注意层级并不能保证质量）、同一设计类型内的质量（偏差风险工具、严谨性、透明度、利益冲突）、GRADE 考量（先根据设计类型确定起点，再降级／升级）、证据一致性（哪些因素会增强或削弱一致性），以及背景因素（合理性、一致性、时间先后关系、特异性、强度）。

**参考：**包含完整 GRADE 降级／升级标准和证据一致性信号的完整框架已移至 references/evaluation_checklists.md（证据质量评估部分）。详细层级、GRADE 体系和质量评估工具见 references/evidence_hierarchy.md。

5. 逻辑谬误识别

检测并指出科学论证和主张中的逻辑错误。

适用于：

• 评估科学主张
• 审阅讨论／结论部分
• 评估科普传播
• 识别有缺陷的推理

科学中常见的谬误分为六类：因果谬误（事后归因、将相关性等同于因果关系、倒置因果、单一原因）、概括谬误（草率概括、轶事论证、择取证据、生态谬误）、权威／来源谬误（诉诸权威、人身攻击、起源谬误、诉诸自然）、统计谬误（忽视基率、得克萨斯神枪手谬误、多重比较、检察官谬误）、结构性谬误（虚假两难、移动目标、循环论证、稻草人谬误）以及科学特有谬误（伽利略伎俩、诉诸无知、涅槃谬误、不可证伪）。

**参考：**每种已命名谬误的通俗定义已移至 references/evaluation_checklists.md（逻辑谬误识别部分），其中包含完整的谬误目录。示例和识别策略请参见 references/logical_fallacies.md。

识别谬误时：

• 指出具体的谬误
• 解释推理有何缺陷
• 指明有效推断所需的证据
• 注意，存在谬误并不能证明结论为假，只能说明该论证无法支持结论

**参考：**完整的谬误目录、示例和识别策略请参见 references/logical_fallacies.md。

6. 研究设计指导

为规划严谨的研究提供建设性指导。

适用于：

• 协助设计新实验
• 规划研究项目
• 审阅研究计划书
• 改进研究方案

设计流程：

1. 细化研究问题

   • 确保问题具体、可回答且可证伪
   • 确认问题针对文献中的空白或矛盾
   • 确认研究可行性（资源、伦理、时间）
   • 对变量进行操作性定义

2. 选择设计

   • 根据问题选择设计（因果问题 → 实验设计；关联问题 → 观察性设计）
   • 考虑可行性和伦理限制
   • 选择组间、组内或混合设计
   • 若检验多个因素，则规划析因设计

3. 偏差最小化策略

   • 尽可能实施随机化
   • 在所有可行层面规划盲法（参与者、实施者、评估者）
   • 识别混杂因素并规划控制方法（随机化、匹配、分层、统计调整）
   • 标准化所有流程
   • 规划减少样本流失的方法

4. 样本规划

   • 事先进行功效分析（明确预期效应、目标功效和 alpha）
   • 在样本量中考虑样本流失
   • 明确纳入／排除标准
   • 考虑招募策略及其可行性
   • 规划确保样本具有代表性的方法

5. 测量策略

   • 选择经过验证且可靠的工具
   • 尽可能使用客观测量
   • 对关键构念采用多种测量方式（三角验证）
   • 确保测量对预期变化足够敏感
   • 建立评估者间信度流程

6. 分析规划

   • 预先明确所有假设和分析
   • 清晰指定主要结局
   • 规划统计检验并检查其假设
   • 明确说明如何处理缺失数据
   • 规划报告效应量和置信区间
   • 考虑多重比较校正

7. 透明度与严谨性

   • 预注册研究和分析计划
   • 使用报告指南（CONSORT、STROBE、PRISMA）
   • 规划报告所有结局，而不仅是显著结果
   • 区分验证性分析与探索性分析
   • 承诺共享数据／代码

**参考：**完整的设计清单涵盖从研究问题到成果传播的所有阶段，详见 references/experimental_design.md。

7. 主张评估

系统地评估科学主张的有效性与支持程度。

适用场景：

• 评估论文中的结论
• 评价研究相关的媒体报道
• 审阅摘要或引言中的主张
• 检查数据是否支持结论

主张评估流程：

1. 识别主张

   • 具体主张是什么？
   • 它是因果性主张、关联性主张，还是描述性主张？
   • 该主张的强度如何（已证实、很可能、有迹象表明、可能）？

2. 评估证据

   • 提供了什么证据？
   • 证据是直接的还是间接的？
   • 证据是否足以支撑该主张的强度？
   • 是否排除了其他解释？

3. 检查逻辑关联

   • 结论是否由数据推导而来？
   • 是否存在逻辑跳跃？
   • 是否使用相关性数据来支持因果性主张？
   • 是否说明了局限性？

4. 评估相称性

   • 置信度是否与证据强度相称？
   • 模糊限定词的使用是否恰当？
   • 是否淡化了局限性？
   • 推测是否被明确标注？

5. 检查是否存在过度泛化

   • 主张是否超出了所研究的样本范围？
   • 是否说明了人群限制？
   • 是否认识到情境依赖性？
   • 是否包含关于泛化的注意事项？

6. 危险信号

   • 相关性研究使用因果性语言
   • “证明”或绝对确定性
   • 挑选有利的引用
   • 忽视矛盾证据
   • 对局限性不予理会
   • 超出数据进行外推

提供具体反馈：

• 引用有问题的主张
• 解释需要什么证据才能支持它
• 如有必要，建议使用恰当的模糊限定语言
• 区分数据（发现了什么）与解释（这意味着什么）

应用指南

总体方法

1. 建设性

   • 既指出优点，也指出不足
   • 提出改进建议，而不仅仅是批评
   • 区分致命缺陷与次要局限
   • 认识到所有研究都有局限性

2. 具体明确

   • 指向具体位置（例如，“表 2 显示……”或“在方法部分……”）
   • 引用有问题的表述
   • 提供问题的具体示例
   • 引用被违反的具体原则或标准

3. 恰如其分

   • 使批评的严厉程度与问题的重要性相匹配
   • 区分对有效性的重大威胁与次要关切
   • 考虑问题是否影响主要结论
   • 承认自己评估中的不确定性

4. 采用一致标准

   • 对所有研究使用相同标准
   • 不要对自己不喜欢的发现采用更严格的标准
   • 承认自己可能存在的偏见
   • 判断基于方法学，而非结果

5. 考虑情境

   • 承认实际与伦理约束
   • 考虑特定领域关于效应量和方法学的规范
   • 区分探索性与验证性情境
   • 在评估研究时考虑资源限制

提供批评时

按以下结构组织反馈：

1. 总结： 简要概述所评估的内容
2. 优点： 做得好的地方（对可信度和学习很重要）
3. 关切： 按严重程度组织的问题
   • 关键问题（威胁主要结论的有效性）
   • 重要问题（影响解释，但不致命）
   • 次要问题（值得注意，但不改变结论）
4. 具体建议： 可操作的改进建议
5. 总体评估： 关于证据质量及可得出什么结论的平衡结论

使用精确术语：

• 指出具体的偏见、谬误和方法学问题
• 引用公认的标准和指南
• 引用科学方法学的原则
• 准确使用技术术语

不确定时

• 承认不确定性：“这可能是 X，也可能是 Y；还需要 Z 信息”
• 提出澄清问题：“是否采用了[方法学细节]？这会影响解读。”
• 提供有条件的评估：“如果采用了 X，那么可以得出 Y；如果没有，那么 Z 就是一个值得关注的问题”
• 说明哪些额外信息有助于消除不确定性

参考资料

此技能包含全面的参考资料，为批判性评估提供详细框架：

• references/scientific_method.md - 科学方法学的核心原则、科学流程、批判性评估标准、科学论断中的危险信号、因果推断标准、同行评审和开放科学原则

• references/common_biases.md - 认知、实验、方法学、统计和分析偏差的全面分类，以及检测和缓解策略

• references/statistical_pitfalls.md - 常见统计错误和误读，包括对 p 值的误解、多重比较问题、样本量问题、效应量误用、混淆相关性与因果关系、回归陷阱和荟萃分析问题

• references/evidence_hierarchy.md - 传统证据等级、GRADE 体系、研究质量评估标准、领域特定考量、证据综合原则和实用决策框架

• references/logical_fallacies.md - 科学论述中常见的逻辑谬误，按类型分类（因果、概括、诉诸权威、相关性、结构、统计），并提供示例和识别策略

• references/experimental_design.md - 全面的实验设计检查清单，涵盖研究问题、假设、研究设计选择、变量、抽样、盲法、随机化、对照组、流程、测量、偏差最小化、数据管理、统计规划、伦理考量、效度威胁和报告标准

• references/evaluation_checklists.md - 针对偏差检测、统计分析评估、证据质量评估和逻辑谬误识别能力的可操作问答式审查清单（从核心能力部分移出的完整逐项详情）

何时查阅参考资料：

• 需要详细框架时，将参考资料载入上下文
• 使用 grep 搜索参考资料中的特定主题：grep -r "pattern" references/
• 参考资料提供深入内容；SKILL.md 提供流程指导
• 如需完整列表、详细标准和具体示例，请查阅参考资料

请记住

科学批判性思维包括：

• 运用既定原则进行系统评估
• 提出有助于改进科学的建设性批评
• 根据证据强度调整信心程度
• 透明说明不确定性和局限性
• 始终如一地应用标准
• 认识到所有研究都有局限性
• 在怀疑与对证据保持开放之间取得平衡

始终区分：

• 数据（观察到的内容）与解读（其含义）
• 相关性与因果关系
• 统计显著性与实际重要性
• 探索性发现与验证性发现
• 已知内容与不确定内容
• 反对某项主张的证据与支持零假设的证据

批判性思维的目标：

1. 准确识别优点和缺点
2. 确定哪些结论有证据支持
3. 认识局限性和不确定性
4. 为未来工作提出改进建议
5. 推进科学认知

这是 AlterLab Academic Skills 套件的一部分。