scientific-critical-thinking

科学批判性思维

概述

批判性思维是一套系统评估科学严谨性的流程。使用 GRADE 和 Cochrane ROB 框架评估方法、实验设计、统计有效性、偏倚、混杂因素和证据质量。运用这项技能对科学主张进行批判性分析。

何时使用这项技能

在以下情况下应使用这项技能：

• 评估研究方法和实验设计
• 评估统计有效性和证据质量
• 识别研究中的偏倚和混杂因素
• 审查科学主张和结论
• 开展系统综述或荟萃分析
• 应用 GRADE 或 Cochrane 偏倚风险评估
• 对研究论文进行批判性分析

核心能力

1. 方法学批判

评估研究方法的严谨性、有效性和潜在缺陷。

适用于：

• 审查研究论文
• 评估实验设计
• 评估研究方案
• 规划新研究

评估框架：

1. 研究设计评估

   • 该设计是否适合研究问题？
   • 该设计能否支持所提出的因果主张？
   • 对照组是否恰当且充分？
   • 考虑采用实验、准实验还是观察性设计是否合理

2. 有效性分析

   • 内部有效性： 我们能否相信因果推断？
     • 检查随机化质量
     • 评估混杂因素控制
     • 评估选择偏倚
     • 审查失访／退出模式
   • 外部有效性： 结果能否推广？
     • 评估样本的代表性
     • 考虑研究环境的生态效度
     • 评估研究条件是否符合目标应用场景
   • 构念效度： 测量是否能捕捉预期构念？
     • 审查测量工具的验证情况
     • 检查操作性定义
     • 评估测量是直接测量还是代理测量
   • 统计结论效度： 统计推断是否可靠？
     • 核实统计功效／样本量是否充足
     • 检查是否符合统计假设
     • 评估检验方法是否恰当

3. 对照与盲法

   • 随机化是否得到妥善实施（序列生成、分配隐藏）？
   • 盲法是否可行并已实施（参与者、提供者、评估者）？
   • 对照条件是否恰当（安慰剂、主动对照、无治疗）？
   • 结果是否可能受到实施偏倚或检测偏倚的影响？

4. 测量质量

   • 测量工具是否经过验证且可靠？
   • 在可能的情况下，测量是否客观；若为主观测量，是否说明了其局限性？
   • 结局评估是否标准化？
   • 是否使用多种测量来交叉验证研究发现？

参考： 详细原则见 references/scientific_method.md，完整的设计检查清单见 references/experimental_design.md。

2. 偏差检测

识别并评估可能导致研究结果失真的偏差来源。

适用情况：

• 审阅已发表的研究
• 设计新研究
• 解读相互矛盾的证据
• 评估研究质量

系统性偏差审查：

1. 认知偏差（研究者）

   • 确认偏差： 是否只强调支持性发现？
   • HARKing： 假设是在研究开始前提出的，还是看到结果后才形成的？
   • 发表偏差： 文献中是否缺少负面结果？
   • 选择性取证： 是否选择性地报告证据？
   • 检查是否进行了预注册，以及分析计划是否透明

2. 选择偏差

   • 抽样偏差： 样本能否代表目标人群？
   • 志愿者偏差： 参与者是否以系统性方式自行选择参与？
   • 脱落偏差： 各组的退出情况是否存在差异？
   • 幸存者偏差： 样本中是否只有“幸存者”可见？
   • 查看参与者流程图，并比较基线特征

3. 测量偏差

   • 观察者偏差： 预期是否可能影响观察结果？
   • 回忆偏差： 回顾性报告是否存在系统性不准确？
   • 社会期许偏差： 回答是否倾向于符合社会认可？
   • 工具偏差： 测量工具是否会产生系统性误差？
   • 评估盲法、验证情况和测量的客观性

4. 分析偏差

   • P 值操纵： 是否进行了多次分析，直到得到显著结果？
   • 结局指标更换： 是否用显著结果替换了不显著的结局指标？
   • 选择性报告： 是否报告了所有计划进行的分析？
   • 亚组筛选： 是否在未进行校正的情况下开展了亚组分析？
   • 检查研究注册信息，并与已发表的结果进行比较

5. 混杂因素

   • 哪些变量可能同时影响暴露因素和结局？
   • 是否测量并控制了混杂因素（通过统计方法或研究设计）？
   • 未测量的混杂因素是否可能解释研究发现？
   • 是否存在合理的其他解释？

参考： 请参阅 references/common_biases.md，了解全面的偏差分类，以及偏差检测和缓解策略。

3. 统计分析评估

批判性评估统计方法、结果解读和报告方式。

适用于：

• 审查定量研究
• 评估数据驱动的论断
• 评估临床试验结果
• 审查荟萃分析

统计审查清单：

1. 样本量和检验效能

   • 是否进行了事前检验效能分析？
   • 样本量是否足以检测到有意义的效应？
   • 研究是否检验效能不足（常见问题）？
   • 小样本得出的显著结果是否提示效应量可能被夸大？

2. 统计检验

   • 检验方法是否适用于数据类型和分布？
   • 是否检查并满足了检验假设？
   • 参数检验是否合理，还是应采用非参数替代方法？
   • 分析方法是否与研究设计相匹配（例如，配对设计与独立设计）？

3. 多重比较

   • 是否检验了多个假设？
   • 是否进行了校正（Bonferroni、FDR 或其他方法）？
   • 是否区分了主要结局与次要／探索性结局？
   • 这些发现是否可能是多重检验造成的假阳性？

4. P 值解读

   • 是否正确解读 P 值（即原假设为真时观察到这些数据的概率）？
   • 是否错误地将不显著解读为“没有效应”？
   • 是否混淆了统计显著性和实际重要性？
   • 是否报告了精确的 P 值，还是只报告了“p < .05”？
   • P 值是否可疑地集中在 .05 以下？

5. 效应量和置信区间

   • 是否在报告显著性的同时报告了效应量？
   • 是否提供了置信区间以显示估计的精确度？
   • 从实际角度看，效应量是否有意义？
   • 是否结合具体领域的背景解读标准化效应量？

6. 缺失数据

   • 有多少数据缺失？
   • 是否考虑了缺失数据机制（MCAR、MAR、MNAR）？
   • 如何处理缺失数据（删除、插补、最大似然法）？
   • 缺失数据是否可能造成结果偏差？

7. 回归和建模

   • 模型是否过拟合（预测变量过多，且未进行交叉验证）？
   • 是否在数据范围之外进行预测（外推）？
   • 是否处理了多重共线性问题？
   • 是否检查了模型假设？

8. 常见陷阱

   • 将相关性视为因果关系
   • 忽视回归均值
   • 忽视基准率
   • 德州神枪手谬误（在噪声中寻找模式）
   • 辛普森悖论（受亚组混杂影响）

**参考：**有关常见陷阱和正确做法的详细说明，请参阅 references/statistical_pitfalls.md。

4. 证据质量评估

系统地评估证据的强度和质量。

适用场景：

• 为决策权衡证据
• 开展文献综述
• 比较相互矛盾的研究发现
• 判断结论的可信度

证据评估框架：

1. 研究设计层级

   • 系统综述/荟萃分析（对干预效应而言最高）
   • 随机对照试验
   • 队列研究
   • 病例对照研究
   • 横断面研究
   • 病例系列/病例报告
   • 专家意见（最低）

   重要： 更高层级的设计并不总是质量更好。一项设计良好的观察性研究可能比一项实施不佳的 RCT 更强。

2. 同一设计类型内的质量

   • 偏倚风险 Assessment（使用合适的工具：Cochrane ROB、Newcastle-Ottawa 等）
   • 方法学严谨性
   • 透明度与报告完整性
   • 利益冲突

3. GRADE 考量（如适用）

   • 从设计类型出发（RCT = 高，观察性 = 低）
   • 降级理由：
     • 偏倚风险
     • 研究间不一致性
     • 间接性（人群/干预/结局不匹配）
     • 不精确性（置信区间宽、样本量小）
     • 发表偏倚
   • 升级理由：
     • 效应量大
     • 剂量-反应关系
     • 混杂因素会减弱（而非增强）效应

4. 证据的汇聚性

   • 更强的情况：
     • 多项独立重复验证
     • 不同研究团队和场景
     • 不同方法学汇聚到同一结论
     • 机制性证据与实证证据一致
   • 更弱的情况：
     • 单一研究或研究团队
     • 文献中存在相互矛盾的发现
     • 明显存在发表偏倚
     • 没有重复验证尝试

5. 情境因素

   • 生物学/理论上的合理性
   • 与已有知识的一致性
   • 时间性（原因先于结果）
   • 关系的特异性
   • 关联强度

参考： 详细层级、GRADE 系统和质量评估工具见 references/evidence_hierarchy.md。

5. 逻辑谬误识别

检测并指出科学论证和主张中的逻辑错误。

适用场景：

• 评估科学主张
• 审阅讨论/结论部分
• 评估科普传播
• 识别有缺陷的推理

科学中的常见谬误：

1. 因果谬误

   • Post hoc ergo propter hoc（事后归因）： “B 发生在 A 之后，所以 A 导致了 B”
   • 相关等于因果： 将关联与因果关系混淆
   • 反向因果： 将因误认为果
   • 单一原因谬误： 将复杂结果归因于单一因素

2. 概括谬误

   • 轻率概括： 从小样本得出宽泛结论
   • 轶事谬误： 将个人经历当作证据
   • 樱桃采摘： 只挑选支持性证据
   • 生态谬误： 将群体模式套用于个体

3. 权威与来源谬误

   • 诉诸权威： “专家说了，所以就是真的”（缺乏证据）
   • 人身攻击： 攻击个人，而非论点
   • 起源谬误： 根据来源而非优劣进行判断
   • 诉诸自然： “天然等于好/安全”

4. 统计谬误

   • 忽视基础率： 忽略先验概率
   • 德州神枪手： 在随机数据中寻找模式
   • 多重比较： 未针对多次检验进行校正
   • 检察官谬误： 将 P(E|H) 与 P(H|E) 混淆

5. 结构性谬误

   • 虚假两难： 存在更多选项时却说“要么 A 要么 B”
   • 移动球门： 在证据标准达成后改变标准
   • 循环论证： 循环推理
   • 稻草人： 歪曲论点以便攻击

6. 科学特有谬误

   • 伽利略策略： “他们嘲笑过伽利略，所以我的边缘观点是正确的”
   • 诉诸无知： “未被证明为假，所以就是真的”
   • 涅槃谬误： 拒绝不完美的解决方案
   • 不可证伪性： 提出无法检验的主张

识别谬误时：

• 指出具体的谬误
• 解释推理为何有缺陷
• 指出有效推断需要哪些证据
• 注意：谬误推理并不证明结论为假——只是说明该论证不支持这一结论

参考： 有关包含示例和检测策略的完整谬误目录，请参见 references/logical_fallacies.md。

6. 研究设计指导

为规划严谨的研究提供建设性指导。

适用场景：

• 协助设计新实验
• 规划研究项目
• 评审研究提案
• 改进研究方案

设计流程：

1. 研究问题提炼

   • 确保问题具体、可回答且可证伪
   • 核实其是否填补了文献中的空白或矛盾
   • 确认可行性（资源、伦理、时间）
   • 对变量进行操作性定义

2. 设计选择

   • 使设计与问题相匹配（因果 → 实验；关联 → 观察）
   • 考虑可行性与伦理约束
   • 在组间设计、组内设计或混合设计之间做出选择
   • 如需检验多个因素，规划析因设计

3. 偏倚最小化策略

   • 尽可能实施随机化
   • 在所有可行层面规划盲法（参与者、实施者、评估者）
   • 识别并规划控制混杂因素（随机化、匹配、分层、统计调整）
   • 标准化所有流程
   • 规划尽量减少失访

4. 样本规划

   • 进行先验功效分析（明确预期效应、期望功效、alpha）
   • 在样本量中考虑失访
   • 定义明确的纳入/排除标准
   • 考虑招募策略与可行性
   • 规划样本代表性

5. 测量策略

   • 选择经过验证、可靠的测量工具
   • 尽可能使用客观测量
   • 对关键构念规划多种测量（三角验证）
   • 确保测量对预期变化敏感
   • 建立评分者间信度程序

6. 分析规划

   • 预先指定所有假设与分析
   • 明确指定主要结局
   • 规划统计检验并检查假设
   • 指定缺失数据的处理方式
   • 规划报告效应量与置信区间
   • 考虑多重比较校正

7. 透明度与严谨性

   • 预注册研究与分析方案
   • 使用报告指南（CONSORT、STROBE、PRISMA）
   • 规划报告所有结局，而不仅是显著结果
   • 区分验证性分析与探索性分析
   • 承诺共享数据/代码

参考： 参见 references/experimental_design.md，其中包含涵盖从问题到传播各个阶段的全面设计检查清单。

7. 主张评估

系统地评估科学主张的有效性与支持程度。

适用场景：

• 评估论文中的结论
• 评价研究相关的媒体报道
• 审阅摘要或引言中的主张
• 检查数据是否支持结论

主张评估流程：

1. 识别主张

   • 具体主张是什么？
   • 它是因果性主张、关联性主张，还是描述性主张？
   • 该主张的强度如何（已证实、很可能、有迹象表明、可能）？

2. 评估证据

   • 提供了什么证据？
   • 证据是直接的还是间接的？
   • 证据是否足以支撑该主张的强度？
   • 是否排除了其他解释？

3. 检查逻辑关联

   • 结论是否由数据推导而来？
   • 是否存在逻辑跳跃？
   • 是否使用相关性数据来支持因果性主张？
   • 是否说明了局限性？

4. 评估相称性

   • 置信度是否与证据强度相称？
   • 模糊限定词的使用是否恰当？
   • 是否淡化了局限性？
   • 推测是否被明确标注？

5. 检查是否存在过度泛化

   • 主张是否超出了所研究的样本范围？
   • 是否说明了人群限制？
   • 是否认识到情境依赖性？
   • 是否包含关于泛化的注意事项？

6. 危险信号

   • 相关性研究使用因果性语言
   • “证明”或绝对确定性
   • 挑选有利的引用
   • 忽视矛盾证据
   • 对局限性不予理会
   • 超出数据进行外推

提供具体反馈：

• 引用有问题的主张
• 解释需要什么证据才能支持它
• 如有必要，建议使用恰当的模糊限定语言
• 区分数据（发现了什么）与解释（这意味着什么）

应用指南

总体方法

1. 建设性

   • 既指出优点，也指出不足
   • 提出改进建议，而不仅仅是批评
   • 区分致命缺陷与次要局限
   • 认识到所有研究都有局限性

2. 具体明确

   • 指向具体位置（例如，“表 2 显示……”或“在方法部分……”）
   • 引用有问题的表述
   • 提供问题的具体示例
   • 引用被违反的具体原则或标准

3. 恰如其分

   • 使批评的严厉程度与问题的重要性相匹配
   • 区分对有效性的重大威胁与次要关切
   • 考虑问题是否影响主要结论
   • 承认自己评估中的不确定性

4. 采用一致标准

   • 对所有研究使用相同标准
   • 不要对自己不喜欢的发现采用更严格的标准
   • 承认自己可能存在的偏见
   • 判断基于方法学，而非结果

5. 考虑情境

   • 承认实际与伦理约束
   • 考虑特定领域关于效应量和方法学的规范
   • 区分探索性与验证性情境
   • 在评估研究时考虑资源限制

提供批评时

按以下结构组织反馈：

1. 总结： 简要概述所评估的内容
2. 优点： 做得好的地方（对可信度和学习很重要）
3. 关切： 按严重程度组织的问题
   • 关键问题（威胁主要结论的有效性）
   • 重要问题（影响解释，但不致命）
   • 次要问题（值得注意，但不改变结论）
4. 具体建议： 可操作的改进建议
5. 总体评估： 关于证据质量及可得出什么结论的平衡结论

使用精确术语：

• 指出具体的偏见、谬误和方法学问题
• 引用公认的标准和指南
• 引用科学方法学的原则
• 准确使用技术术语

不确定时

• 承认不确定性：“这可能是 X，也可能是 Y；还需要 Z 方面的补充信息”
• 提出澄清问题：“是否采用了[方法学细节]？这会影响解读。”
• 提供有条件的评估：“如果采用了 X，那么可以得出 Y；如果没有，那么 Z 就值得关注”
• 说明哪些补充信息可以消除不确定性

参考资料

此技能包含全面的参考资料，为批判性评估提供详细框架：

• references/scientific_method.md - 科学方法的核心原则、科学过程、批判性评估标准、科学论断中的警示信号、因果推断标准、同行评审和开放科学原则

• references/common_biases.md - 认知、实验、方法、统计和分析偏差的全面分类，以及检测和缓解策略

• references/statistical_pitfalls.md - 常见统计错误与误读，包括对 p 值的误解、多重比较问题、样本量问题、效应量误用、混淆相关性与因果关系、回归陷阱和荟萃分析问题

• references/evidence_hierarchy.md - 传统证据等级、GRADE 系统、研究质量评估标准、特定领域的考量、证据综合原则和实用决策框架

• references/logical_fallacies.md - 科学论述中常见的逻辑谬误，按类型分类（因果、概括、诉诸权威、相关性、结构、统计），并附有示例和检测策略

• references/experimental_design.md - 全面的实验设计检查清单，涵盖研究问题、假设、研究设计选择、变量、抽样、盲法、随机化、对照组、流程、测量、偏差最小化、数据管理、统计规划、伦理考量、效度威胁和报告标准

何时查阅参考资料：

• 需要详细框架时，将参考资料加载到上下文中
• 使用 grep 搜索参考资料中的特定主题：grep -r "pattern" references/
• 参考资料提供深入内容；SKILL.md 提供流程指导
• 查阅参考资料以获取全面列表、详细标准和具体示例

请记住

科学批判性思维包括：

• 运用既定原则进行系统评估
• 通过建设性批评改进科学
• 让信心水平与证据强度相称
• 透明说明不确定性和局限性
• 一贯地应用标准
• 认识到所有研究都有局限性
• 在怀疑与开放接受证据之间保持平衡

始终区分：

• 数据（观察到的内容）与解读（其含义）
• 相关性与因果关系
• 统计显著性与实际重要性
• 探索性发现与验证性发现
• 已知内容与不确定内容
• 反对某项主张的证据与支持零假设的证据

批判性思维的目标：

1. 准确识别优势和弱点
2. 确定哪些结论有证据支持
3. 识别局限性和不确定性
4. 为未来工作提出改进建议
5. 推进科学认识