scientific-critical-thinking

科学的クリティカルシンキング

概要

クリティカルシンキングは、科学的な厳密性を評価するための体系的なプロセスです。GRADE および Cochrane ROB のフレームワークを用いて、方法論、実験計画、統計的妥当性、バイアス、交絡、エビデンスの質を評価します。科学的主張を批判的に分析する際に、このスキルを適用してください。

このスキルを使用する場面

以下の場合に、このスキルを使用してください。

• 研究方法論と実験計画を評価する
• 統計的妥当性とエビデンスの質を評価する
• 研究におけるバイアスと交絡を特定する
• 科学的な主張と結論を検証する
• システマティックレビューやメタアナリシスを実施する
• GRADE または Cochrane のバイアスリスク評価を適用する
• 研究論文を批判的に分析する

視覚資料（任意）

図を追加するのは、図表（たとえば、GRADE のフローチャート、バイアスの判断ツリー、エビデンスの質のフレームワーク）をユーザーが明示的に依頼した場合に限ります。

図が役立つ場面：

• クリティカルシンキングのフレームワーク図
• バイアスを特定するための判断ツリー
• エビデンスの質を評価するフローチャート
• GRADE またはバイアスリスク評価のフレームワーク

図の作成方法：

• 推奨： scientific-schematics スキルを使って、自然言語の説明から AI 生成図を作成する
• 代替： 使い慣れたツール（draw.io、PowerPoint、matplotlib など）で図を作成する

OPENROUTER_API_KEY を設定した状態で、scientific-schematics スキルのディレクトリから実行します。

python scripts/generate_schematic.py "GRADE evidence assessment flowchart with downgrade and upgrade factors" -o figures/grade_flowchart.png --doc-type report

開示： AI による模式図の生成では、プロンプトが OpenRouter（サードパーティ API）に送信されます。その送信がプロジェクトに適切でない限り、未公開の機密情報を含めないでください。

---

主な機能

1. 方法論の批評

研究方法論の厳密性、妥当性、潜在的な欠陥を評価します。

適用する場面：

• 研究論文を検証する
• 実験計画を評価する
• 研究プロトコルを評価する
• 新しい研究を計画する

評価フレームワーク：

1. 研究デザインの評価

   • 研究課題に対して適切なデザインですか？
   • 主張されている因果関係を裏付けられるデザインですか？
   • 比較群は適切で十分ですか？
   • 実験的、準実験的、観察的デザインのいずれが妥当か検討します

2. 妥当性の分析

   • 内的妥当性： 因果推論を信頼できますか？
     • ランダム化の質を確認する
     • 交絡の制御を評価する
     • 選択バイアスを評価する
     • 脱落・中断の傾向を確認する
   • 外的妥当性： 結果は一般化できますか？
     • サンプルの代表性を評価する
     • 実施環境の生態学的妥当性を検討する
     • 条件が想定する適用先と一致するか評価する
   • 構成概念妥当性： 測定は意図した構成概念を捉えていますか？
     • 測定の妥当性検証を確認する
     • 操作的定義を確認する
     • 測定が直接測定か代理指標かを評価する
   • 統計的結論の妥当性： 統計的推論は妥当ですか？
     • 検出力とサンプルサイズが十分か確認する
     • 前提条件が満たされているか確認する
     • 検定の適切性を評価する

3. 対照と盲検化

   • ランダム化は適切に実施されましたか（割り付け順序の生成、割り付けの隠蔽）？
   • 盲検化は実施可能で、実際に行われましたか（参加者、提供者、評価者）？
   • 対照条件は適切ですか（プラセボ、実薬対照、無治療）？
   • 実施バイアスや検出バイアスが結果に影響する可能性はありますか？

4. 測定の質

   • 測定器具は妥当性と信頼性が確認されていますか？
   • 可能な場合は客観的な指標を用い、主観的な指標を用いる場合はその限界を明示していますか？
   • アウトカム評価は標準化されていますか？
   • 結果を多角的に検証するために、複数の測定指標を使用していますか？

参考： 詳細な原則については references/scientific_method.md を、包括的なデザインのチェックリストについては references/experimental_design.md を参照してください。

2. バイアス検出

結論を歪める可能性のあるバイアスの発生源を特定し、評価します。

適用するタイミング:

• 発表された研究をレビューするとき
• 新しい研究を設計するとき
• 相反する証拠を解釈するとき
• 研究の質を評価するとき

体系的なバイアスレビュー:

1. 認知バイアス（研究者）

   • 確証バイアス: 支持する結果のみが強調されていないか？
   • HARKing: 仮説は事前に立てられたものか、それとも結果を見た後に形成されたものか？
   • 出版バイアス: 文献に否定的な結果が欠けていないか？
   • チェリーピッキング: 証拠が選択的に報告されていないか？
   • 事前登録と分析計画の透明性を確認します

2. 選択バイアス

   • 標本抽出バイアス: 標本は対象母集団を代表しているか？
   • ボランティアバイアス: 参加者は体系的な方法で自己選択しているか？
   • 脱落バイアス: 群間で脱落の程度に差があるか？
   • 生存者バイアス: 標本には「生存者」しか見えていないか？
   • 参加者フロー図を確認し、ベースライン特性を比較します

3. 測定バイアス

   • 観察者バイアス: 期待が観察に影響している可能性はあるか？
   • 想起バイアス: 回顧的な報告が体系的に不正確になっていないか？
   • 社会的望ましさ: 回答が社会的に受け入れられる方向に偏っていないか？
   • 計測器バイアス: 測定ツールが体系的に誤差を生んでいないか？
   • 盲検化、妥当性、測定の客観性を評価します

4. 分析バイアス

   • P ハッキング: 有意な結果が現れるまで複数の分析を実施していないか？
   • アウトカムの切り替え: 有意でなかったアウトカムが有意なものに置き換えられていないか？
   • 選択的報告: 計画されたすべての分析が報告されているか？
   • サブグループの探索: 補正なしでサブグループ分析が行われていないか？
   • 研究登録を確認し、公表されたアウトカムと比較します

5. 交絡

   • 曝露とアウトカムの両方に影響しうる変数は何か？
   • 交絡因子は測定され、（統計的にまたは研究デザインによって）制御されたか？
   • 測定されていない交絡によって結果が説明されうるか？
   • もっともらしい代替説明はあるか？

参考: 検出方法と軽減策を含む包括的なバイアス分類については references/common_biases.md を参照してください。

3. 統計分析の評価

統計手法、解釈、報告を批判的に評価します。

適用場面:

• 定量的研究のレビュー
• データに基づく主張の評価
• 臨床試験の結果の評価
• メタアナリシスのレビュー

統計レビューのチェックリスト:

1. サンプルサイズと検出力

   • 事前の検出力分析は実施されたか？
   • 意味のある効果を検出するのに十分なサンプルか？
   • 研究の検出力が不足していないか（よくある問題）？
   • 小規模サンプルでの有意な結果は、効果量の過大評価の兆候ではないか？

2. 統計検定

   • 検定はデータの種類と分布に適しているか？
   • 検定の前提条件は確認され、満たされていたか？
   • パラメトリック検定は正当化されているか、それとも ノンパラメトリック手法を使うべきだったか？
   • 分析は研究デザインに合致しているか（例：対応ありと対応なし）？

3. 多重比較

   • 複数の仮説が検定されたか？
   • 補正（Bonferroni、FDR、その他）は適用されたか？
   • 主要アウトカムと副次的・探索的アウトカムは区別されているか？
   • 多重検定による偽陽性の可能性はないか？

4. p値の解釈

   • p値は正しく解釈されているか（帰無仮説が真のときにデータが得られる確率）？
   • 有意でないことを「効果がない」と誤って解釈していないか？
   • 統計的有意性と実質的な重要性を混同していないか？
   • 正確なp値が報告されているか、それとも「p < .05」のみか？
   • .05のすぐ下に不自然な集中がみられないか？

5. 効果量と信頼区間

   • 有意性と併せて効果量が報告されているか？
   • 精度を示すために信頼区間が提示されているか？
   • 効果量は実用的な観点から意味があるか？
   • 標準化された効果量は、その分野固有の文脈を踏まえて解釈されているか？

6. 欠測データ

   • どの程度のデータが欠測しているか？
   • 欠測のメカニズム（MCAR、MAR、MNAR）は考慮されているか？
   • 欠測データはどのように扱われたか（削除、代入、最尤法）？
   • 欠測データが結果にバイアスを与えている可能性はないか？

7. 回帰とモデリング

   • モデルは過剰適合していないか（説明変数が多すぎる、交差検証がない）？
   • データの範囲外での予測（外挿）は行われていないか？
   • 多重共線性の問題は対処されているか？
   • モデルの前提条件は確認されているか？

8. よくある落とし穴

   • 相関を因果と取り違えていないか
   • 平均への回帰を無視していないか
   • 基礎率の無視
   • テキサス狙撃兵の誤謬（ノイズの中にパターンを見出すこと）
   • シンプソンのパラドックス（サブグループによる交絡）

参考: 詳細な落とし穴と正しい実践については references/statistical_pitfalls.md を参照してください。

4. エビデンスの質の評価

エビデンスの強さと質を体系的に評価します。

次の場合に適用します：

• 意思決定のためにエビデンスを比較検討するとき
• 文献レビューを実施するとき
• 相反する知見を比較するとき
• 結論への確信度を判断するとき

エビデンス評価の枠組み：

1. 研究デザインの階層

   • システマティックレビュー／メタアナリシス（介入効果の評価では最も高い）
   • ランダム化比較試験
   • コホート研究
   • 症例対照研究
   • 横断研究
   • 症例集積／症例報告
   • 専門家の意見（最も低い）

   重要： 上位の研究デザインが常に質の高い研究とは限りません。適切に設計された観察研究のほうが、適切に実施されていないランダム化比較試験より強いエビデンスとなる場合があります。

2. 各研究デザインにおける質

   • バイアスリスクの評価（適切なツールを使用します。ランダム化比較試験には Cochrane RoB 2、非ランダム化研究には ROBINS-I、Newcastle-Ottawa など）
   • 方法論の厳密さ
   • 透明性と報告の完全性
   • 利益相反

3. GRADE による評価（該当する場合）

   • 研究デザインの種類を基準に開始します（ランダム化比較試験＝高、観察研究＝低）
   • 以下の場合は評価を下げます：
     • バイアスリスク
     • 研究間の一貫性の欠如
     • 非直接性（対象集団／介入／アウトカムが不適切）
     • 不精確さ（信頼区間が広い、サンプル数が少ない）
     • 出版バイアス
   • 以下の場合は評価を上げます：
     • 効果量が大きい
     • 用量反応関係がある
     • 交絡因子が効果を増大させるのではなく、低減させる場合

4. エビデンスの収束

   • 以下の場合はエビデンスが強まります：
     • 複数回にわたる独立した再現
     • 異なる研究グループや環境での研究
     • 異なる方法論が同じ結論に収束する
     • メカニズムに基づくエビデンスと実証的エビデンスが一致する
   • 以下の場合はエビデンスが弱まります：
     • 研究または研究グループが単一である
     • 文献に相反する知見がある
     • 出版バイアスが明らかである
     • 再現を試みた研究がない

5. 文脈的要因

   • 生物学的／理論的な妥当性
   • 確立された知識との一貫性
   • 時間的先行性（原因が結果に先行すること）
   • 関係の特異性
   • 関連の強さ

参考： 詳細な階層、GRADE システム、質の評価ツールについては、references/evidence_hierarchy.md を参照してください。

5. 論理的誤謬の特定

科学的な論証や主張に含まれる論理的誤りを検出し、その名称を示します。

適用するタイミング:

• 科学的な主張を評価するとき
• 考察・結論のセクションをレビューするとき
• 一般向けの科学コミュニケーションを評価するとき
• 誤った推論を特定するとき

科学分野でよく見られる誤謬:

1. 因果関係の誤謬

   • Post hoc ergo propter hoc（前後即因果）: 「BはAの後に起きた、ゆえにAがBを引き起こした」
   • 相関 = 因果: 関連性と因果関係を混同すること
   • 逆の因果: 原因と結果を取り違えること
   • 単一原因の誤謬: 複雑な結果を一つの要因に帰すること

2. 一般化の誤謬

   • 早まった一般化: 小さなサンプルから広範な結論を導くこと
   • 逸話の誤謬: 個人的な体験談を証拠とみなすこと
   • チェリーピッキング: 支持する証拠だけを選び出すこと
   • 生態学的誤謬: 集団の傾向を個人に当てはめること

3. 権威と情報源に関する誤謬

   • 権威への訴え: 「専門家がそう言ったのだから正しい」（根拠なしに）
   • 人身攻撃（ad hominem）: 論証ではなく人物を攻撃すること
   • 起源の誤謬: 内容の是非ではなく、その起源によって判断すること
   • 自然への訴え: 「自然由来＝良い・安全」

4. 統計的な誤謬

   • 基準率の無視: 事前確率を無視すること
   • テキサスの狙撃兵: ランダムなデータの中にパターンを見いだすこと
   • 多重比較: 複数の検定に対して補正を行わないこと
   • 検察官の誤謬: P(E|H) と P(H|E) を混同すること

5. 構造上の誤謬

   • 偽の二分法: 選択肢が他にもあるのに「AかBか」と限定すること
   • ゴールポストの移動: 証拠の基準が満たされた後で、その基準を変更すること
   • 循環論法（先決問題要求）: 結論を前提として用いる循環的な推論
   • わら人形論法: 相手の主張を歪めて曲解し、それを攻撃すること

6. 科学に特有の誤謬

   • ガリレオ・ギャンビット: 「ガリレオも笑われたのだから、私の異端的な考えも正しい」
   • 無知に基づく論証: 「偽であることが証明されていない、ゆえに真である」
   • ニルヴァーナの誤謬: 不完全な解決策を退けること
   • 反証不可能性: 検証不可能な主張をすること

誤謬を特定するときは:

• 具体的な誤謬の名称を示す
• その推論がなぜ誤っているのかを説明する
• 妥当な推論のために必要となる証拠を明らかにする
• 誤った推論があるからといって結論が偽であることが証明されるわけではなく、この論証がその結論を支持しないにすぎない、と注記する

参考: 例と検出方法を収録した包括的な誤謬カタログについては references/logical_fallacies.md を参照してください。

6. 研究デザインのガイダンス

厳密な研究を計画するための建設的なガイダンスを提供します。

適用場面:

• 新しい実験のデザインを支援するとき
• 研究プロジェクトを計画するとき
• 研究提案をレビューするとき
• 研究プロトコルを改善するとき

デザインのプロセス:

1. 研究課題の精緻化

   • 課題が具体的で、答えが得られ、反証可能であることを確認する
   • 先行研究のギャップや矛盾に対応しているかを検証する
   • 実現可能性（リソース、倫理、時間）を確認する
   • 変数を操作的に定義する

2. デザインの選択

   • 課題に合ったデザインを選ぶ（因果関係 → 実験的研究、関連性 → 観察的研究）
   • 実現可能性と倫理的制約を考慮する
   • 被験者間デザイン、被験者内デザイン、混合デザインから選択する
   • 複数の要因を検証する場合は要因計画を立てる

3. バイアス最小化の戦略

   • 可能な場合はランダム化を実施する
   • 実行可能なすべての段階（被験者、提供者、評価者）で盲検化を計画する
   • 交絡を特定し、その統制を計画する（ランダム化、マッチング、層化、統計的調整）
   • すべての手順を標準化する
   • 脱落を最小限に抑える計画を立てる

4. サンプル計画

   • 事前検定力分析を実施する（想定効果量、目標検定力、有意水準を明示する）
   • サンプルサイズに脱落を織り込む
   • 明確な選択基準・除外基準を定める
   • 募集戦略と実現可能性を検討する
   • サンプルの代表性を確保する計画を立てる

5. 測定の戦略

   • 妥当性と信頼性が検証された測定器を選ぶ
   • 可能な場合は客観的指標を用いる
   • 主要な構成概念について複数の測定を計画する（トライアンギュレーション）
   • 想定される変化に対して測定が感度を持つようにする
   • 評価者間信頼性の手順を確立する

6. 分析計画

   • すべての仮説と分析を事前に特定しておく
   • 主要アウトカムを明確に指定する
   • 前提条件の確認を伴う統計検定を計画する
   • 欠測データの扱いを明記する
   • 効果量と信頼区間を報告する計画を立てる
   • 多重比較の補正を検討する

7. 透明性と厳密性

   • 研究と分析計画を事前登録する
   • 報告ガイドライン（CONSORT、STROBE、PRISMA）を利用する
   • 有意な結果だけでなく、すべてのアウトカムを報告する計画を立てる
   • 検証的分析と探索的分析を区別する
   • データ・コードの共有を約束する

参考: 課題から成果公表までのすべての段階を網羅した包括的なデザインチェックリストについては、references/experimental_design.md を参照してください。

7. 主張の評価

科学的な主張について、妥当性と裏付けを体系的に評価します。

適用場面:

• 論文の結論を評価するとき
• 研究に関するメディア報道を評価するとき
• 要旨や序論の主張を確認するとき
• データが結論を支持しているかを確認するとき

主張の評価プロセス:

1. 主張を特定する

   • 正確には何が主張されているのか?
   • それは因果関係の主張か、関連性の主張か、記述的な主張か?
   • 主張の強さはどの程度か(証明済み、可能性が高い、示唆される、可能性がある)?

2. 根拠を評価する

   • どのような根拠が提示されているか?
   • 根拠は直接的か間接的か?
   • 根拠は主張の強さに見合っているか?
   • 代替的な説明は排除されているか?

3. 論理的なつながりを確認する

   • 結論はデータから導かれているか?
   • 論理の飛躍はないか?
   • 因果関係の主張を、相関データで裏付けようとしていないか?
   • 限界が明示されているか?

4. 妥当性の釣り合いを評価する

   • 確信の度合いは根拠の強さに見合っているか?
   • 留保を示す表現は適切に使われているか?
   • 限界が軽視されていないか?
   • 推測であることが明確に示されているか?

5. 過度な一般化を確認する

   • 主張は調査対象の標本を超えて拡張されていないか?
   • 対象集団の制約が明示されているか?
   • 文脈への依存性が認識されているか?
   • 一般化に関する注意書きが含まれているか?

6. 危険信号

   • 相関研究に基づく因果的な表現
   • 「証明する」や絶対的な確実性の主張
   • 都合のよい引用(チェリーピッキング)
   • 矛盾する根拠の無視
   • 限界の軽視
   • データを超えた外挿

具体的なフィードバックを提供する:

• 問題のある主張を引用する
• 主張を裏付けるためにどのような根拠が必要かを説明する
• 必要に応じて、適切な留保表現を提案する
• データ(何が見つかったか)と解釈(それが何を意味するか)を区別する

適用のガイドライン

一般的なアプローチ

1. 建設的であること

   • 弱点だけでなく強みも指摘する
   • 単に批判するのではなく、改善策を提案する
   • 致命的な欠陥と軽微な限界を区別する
   • すべての研究には限界があることを認識する

2. 具体的であること

   • 具体的な箇所を示す(例:「表2は…を示している」や「方法のセクションでは…」)
   • 問題のある記述を引用する
   • 問題の具体例を挙げる
   • 違反している原則や基準を明示する

3. 釣り合いを保つこと

   • 批判の重大さを問題の重要性に見合ったものにする
   • 妥当性への重大な脅威と些細な懸念を区別する
   • 問題が主要な結論に影響するかを検討する
   • 自身の評価における不確実性を認める

4. 一貫した基準を適用すること

   • すべての研究に同じ基準を用いる
   • 気に入らない結果に対して厳しすぎる基準を適用しない
   • 自身が持つ潜在的なバイアスを認める
   • 結果ではなく方法論に基づいて判断する

5. 文脈を考慮すること

   • 実務上および倫理上の制約を認める
   • 効果量や方法に関する分野固有の慣行を考慮する
   • 探索的な文脈と確証的な文脈を区別する
   • 研究を評価する際には資源の制約を考慮する

批評を行う場合

フィードバックの構成:

1. 要約: 評価の対象となったものの簡潔な概要
2. 強み: うまく行われている点(信頼性と学習のために重要)
3. 懸念事項: 重大度別に整理した問題点
   • 重大な問題(主要な結論の妥当性を脅かすもの)
   • 重要な問題(解釈に影響するが致命的ではないもの)
   • 軽微な問題(言及する価値はあるが結論は変えないもの)
4. 具体的な推奨事項: 改善のための実行可能な提案
5. 総合評価: 根拠の質と、何が結論づけられるかについてのバランスの取れた結論

正確な用語を使用する:

• 特定のバイアス、誤謬、方法論上の問題を明示する
• 確立された基準やガイドラインを参照する
• 科学的方法論の原則を引用する
• 専門用語を正確に使用する

不確実な場合

• 不確実性を認める: 「これは X または Y である可能性があります。必要な追加情報は Z です」
• 確認のための質問をする: 「[方法論の詳細]は実施されましたか？これは解釈に影響します。」
• 条件付きの評価を示す: 「X が実施されていれば Y が成り立ちます。実施されていなければ Z が懸念されます」
• 不確実性を解消するために必要な追加情報を明記する

参考資料

このスキルには、批判的評価のための詳細な枠組みを提供する包括的な参考資料が含まれています。

• references/scientific_method.md - 科学的方法の中核原則、科学的プロセス、批判的評価基準、科学的主張における危険信号、因果推論の基準、査読、オープンサイエンスの原則

• references/common_biases.md - 認知バイアス、実験バイアス、方法論的バイアス、統計的バイアス、分析バイアスの包括的な分類と、検出および軽減の戦略

• references/statistical_pitfalls.md - p値の誤解、多重比較の問題、サンプルサイズの問題、効果量の誤り、相関と因果の混同、回帰の落とし穴、メタanalysisの問題などを含む、一般的な統計的誤りと誤解

• references/evidence_hierarchy.md - 伝統的なエビデンス階層、GRADE システム、研究の質の評価基準、分野別の考慮事項、エビデンス統合の原則、実践的な意思決定の枠組み

• references/logical_fallacies.md - 科学的議論によく見られる論理的誤謬を種類別（因果、一般化、権威、関連性、構造、統計）に整理し、例と検出戦略を示したもの

• references/experimental_design.md - 研究課題、仮説、研究デザインの選択、変数、標本抽出、盲検化、ランダム化、対照群、手順、測定、バイアスの最小化、データ管理、統計的計画、倫理的配慮、妥当性への脅威、報告基準を網羅した包括的な実験デザインのチェックリスト

参考資料を参照するタイミング:

• 詳細な枠組みが必要な場合は、参考資料をコンテキストに読み込む
• 特定のトピックを検索するには grep を使う: grep -r "pattern" references/
• 参考資料は詳細を提供し、SKILL.md は手続き的なガイダンスを提供する
• 包括的なリスト、詳細な基準、具体例は参考資料を参照する

覚えておくべきこと

科学的批判的思考とは:

• 確立された原則を用いた体系的な評価
• 科学を改善する建設的な批評
• エビデンスの強さに見合った確信度
• 不確実性と限界についての透明性
• 基準の一貫した適用
• すべての研究には限界があるという認識
• 懐疑心と、エビデンスに対する受容性のバランス

常に区別すべきこと:

• データ（観察された内容）と解釈（その意味するところ）
• 相関と因果
• 統計的有意性と実質的な重要性
• 探索的な知見と確証的な知見
• 既知のことと不確実なこと
• 主張に対する反証と、帰無仮説を支持する証拠

批判的思考の目標:

1. 長所と短所を正確に特定する
2. どの結論が裏付けられるかを判断する
3. 限界と不確実性を認識する
4. 今後の研究に向けた改善策を提案する
5. 科学的理解を前進させる