scientific-critical-thinking

科学批判性思维

概述

批判性思维是系统评估科学严谨性的过程。运用 GRADE 和 Cochrane ROB 框架，评估方法学、实验设计、统计有效性、偏倚、混杂因素和证据质量。应用此技能对科学主张进行批判性分析。

何时使用此技能

在以下情况下应使用此技能：

• 评估研究方法学和实验设计
• 评估统计有效性和证据质量
• 识别研究中的偏倚和混杂因素
• 审查科学主张和结论
• 开展系统综述或荟萃分析
• 应用 GRADE 或 Cochrane 偏倚风险评估
• 对研究论文进行批判性分析

可视化辅助（可选）

仅当用户明确要求图表时才添加图表（例如 GRADE 流程图、偏倚决策树或证据质量框架）。

适合使用图表的情况：

• 批判性思维框架图
• 偏倚识别决策树
• 证据质量评估流程图
• GRADE 或偏倚风险评估框架

如何创建图表：

• 首选： 使用 scientific-schematics 技能，根据自然语言描述生成 AI 图表
• 替代方案： 使用常用工具制作图表（draw.io、PowerPoint、matplotlib 等）

在仓库根目录下运行，并设置 OPENROUTER_API_KEY：

python skills/scientific-schematics/scripts/generate_schematic.py "GRADE evidence assessment flowchart with downgrade and upgrade factors" -o figures/grade_flowchart.png --doc-type report

披露： AI 示意图生成会将你的提示词发送至 OpenRouter（第三方 API）。除非适合传输，否则不要包含尚未发表的敏感细节。

---

核心能力

references/core_capabilities.md 中列出了七个能力领域、各自应提出的问题以及答案的含义：

1. 方法学批判 — 设计、对照、混杂因素，以及方法能否回答所提出的问题。
2. 偏倚检测 — 选择偏倚、测量偏倚、发表偏倚和认知偏倚。
3. 统计分析评估 — 统计功效、多重性、误用 p 值和效应量。
4. 证据质量评估 — 研究层级、重复验证和推论强度。
5. 逻辑谬误识别 — 科学论证中反复出现的谬误。
6. 研究设计指导 — 如何在收集数据前强化设计。
7. 主张评估 — 区分已证明的内容与所声称的内容。

各主题的详细信息见 references/scientific_method.md、 references/common_biases.md、 references/statistical_pitfalls.md、 references/evidence_hierarchy.md、 references/logical_fallacies.md 和 references/experimental_design.md。

应用指南

总体方法

1. 保持建设性

   • 指出优点，也指出不足
   • 提出改进建议，而非一味批评
   • 区分致命缺陷与次要局限
   • 承认所有研究都有局限

2. 具体明确

   • 指出具体实例（例如：“表 2 显示……”或“在方法部分……”）
   • 引述有问题的陈述
   • 提供具体的问题示例
   • 指明违反的具体原则或标准

3. 把握分寸

   • 批评的严重程度应与问题的重要性相称
   • 区分对效度的重大威胁与较小疑虑
   • 考虑问题是否会影响主要结论
   • 承认自身评估中的不确定性

4. 采用一致的标准

   • 对所有研究使用相同的评判标准
   • 不要对自己不喜欢的研究结果采用更严格的标准
   • 承认自身可能存在的偏见
   • 根据方法而非结果作出判断

5. 考虑背景因素

   • 承认实际和伦理方面的限制
   • 考虑该领域对效应量和研究方法的具体惯例
   • 区分探索性研究与验证性研究
   • 评估研究时考虑资源限制

提出批评时

按以下结构组织反馈：

1. 摘要： 简要概述评估内容
2. 优点： 指出做得好的地方（这对提升可信度和促进学习很重要）
3. 疑虑： 按严重程度组织问题
   • 关键问题（威胁主要结论的效度）
   • 重要问题（影响结果解读，但并非致命）
   • 次要问题（值得指出，但不会改变结论）
4. 具体建议： 提出可执行的改进建议
5. 总体评价： 平衡地总结证据质量，以及可以得出的结论

使用精准术语：

• 指明具体的偏差、谬误和方法论问题
• 参考已确立的标准和指南
• 引用科学方法论的原则
• 准确使用技术术语

不确定时

• 承认不确定性：“这可能是 X，也可能是 Y；还需要 Z 信息”
• 提出澄清问题：“是否采用了[方法细节]？这会影响结果的解读。”
• 给出有条件的评估：“如果做了 X，那么可以得出 Y；如果没有，则存在 Z 疑虑”
• 说明哪些补充信息有助于消除不确定性

参考资料

此技能包含全面的参考资料，为批判性评估提供详细框架：

• references/scientific_method.md - 科学方法论的核心原则、科学流程、批判性评估标准、科学主张中的危险信号、因果推断标准、同行评审和开放科学原则

• references/common_biases.md - 认知、实验、方法、统计和分析偏差的全面分类，以及检测和缓解策略

• references/statistical_pitfalls.md - 常见的统计错误和误解，包括对 p 值的误解、多重比较问题、样本量问题、效应量错误、混淆相关性与因果关系、回归陷阱和荟萃分析问题

• references/evidence_hierarchy.md - 传统证据等级、GRADE 系统、研究质量评估标准、领域特定考量、证据综合原则和实用决策框架

• references/logical_fallacies.md - 科学论述中常见的逻辑谬误，按类型分类（因果、概括、权威、相关性、结构、统计），并提供示例和检测策略

• references/experimental_design.md - 全面的实验设计检查清单，涵盖研究问题、假设、研究设计选择、变量、抽样、盲法、随机化、对照组、流程、测量、偏差最小化、数据管理、统计规划、伦理考量、效度威胁和报告标准

何时查阅参考资料：

• 需要详细框架时，将参考资料载入上下文
• 使用 grep 搜索参考资料中的特定主题：grep -r "pattern" references/
• 参考资料提供深入内容；SKILL.md 提供流程指导
• 如需完整列表、详细标准和具体示例，请查阅参考资料

请记住

科学批判性思维意味着：

• 运用既定原则进行系统评估
• 通过建设性批评改进科学
• 信心程度与证据强度相称
• 透明说明不确定性和局限性
• 始终如一地应用标准
• 承认所有研究都有局限性
• 在怀疑和接受证据之间保持平衡

务必区分：

• 数据（观察到的内容）与解释（其含义）
• 相关性与因果关系
• 统计显著性与实际重要性
• 探索性发现与验证性发现
• 已知内容与不确定内容
• 反对某项主张的证据与支持零假设的证据

批判性思维的目标：

1. 准确识别优势和弱点
2. 确定哪些结论有证据支持
3. 认识局限性和不确定性
4. 为未来工作提出改进建议
5. 推进科学认知

Agent 操作流程

1. 检查环境。 在开始写作前，收集用户的草稿、数据、图表和目标投稿平台。
2. 明确输入。 根据数据或用户确认格式、标识符和参数。任何会影响结果的值都应询问，不要猜测。
3. 先运行小规模版本。 先起草一个章节或段落，并与用户确认语气、结构和术语。
4. 使用上述说明和参考资料执行完整任务。
5. 验证结果。 每项主张都应可追溯至用户的数据或经核实的来源；数字应与表格和图表一致；引用必须真实（citation-verification）。
6. 报告。 说明运行了什么（版本、命令、参数）、检查了什么，以及哪些内容仍不确定。

如果发生这种情况	请这样做
某项主张没有支持数据或引用	在文本中标注（例如 [citation needed]），不要编造依据。
这些说明中的函数、标志或端点在已安装版本中不存在	查阅已安装版本自带的文档（help()、--help、官方文档），进行调整并告知用户。切勿编造 API。
必需的输入、标识符或参数有歧义	询问用户，或在运行前明确说明所采用的假设。

诚信守则

• 切勿编造结果、参数、标识符、引用或统计数据。如果无法运行或核实某项内容，请如实说明。
• 用户是作者：切勿添加用户未提供或未批准的结果、参考资料或主张。
• 此处与特定版本相关的细节可能已过时：请根据已安装版本的官方文档进行确认。
• 对于需要付费、消耗共享 GPU 或云配额、涉及个人或患者数据，或无法撤销的操作，请先征得用户同意。

相关技能

• bgpt-paper-search：通过 BGPT MCP 服务搜索科学论文，并获取从全文研究中提取的结构化实验数据。
• systematic-review-prisma：按照 PRISMA 2020 标准规划、开展并报告系统综述和荟萃分析。
• peer-review：撰写有证据依据、具有建设性的同行评审草稿，并对稿件进行结构化评估。