scientific-critical-thinking

科学的な批判的思考

概要

批判的思考とは、科学的な厳密さを評価するための体系的なプロセスです。GRADE および Cochrane ROB の枠組みを用いて、方法論、実験計画、統計的妥当性、バイアス、交絡、エビデンスの質を評価します。科学的主張を批判的に分析する際に、このスキルを活用してください。

このスキルを使用する場面

次のような場合に、このスキルを使用してください。

• 研究の方法論や実験計画を評価する
• 統計的妥当性やエビデンスの質を評価する
• 研究におけるバイアスや交絡を特定する
• 科学的な主張や結論を検証する
• システマティックレビューやメタ分析を実施する
• GRADE や Cochrane のバイアスリスク評価を適用する
• 研究論文を批判的に分析する

主な機能

1. 方法論の批評

研究の方法論について、厳密さ、妥当性、潜在的な欠陥を評価します。

適用する場面：

• 研究論文を検証する
• 実験計画を評価する
• 研究プロトコルを評価する
• 新しい研究を計画する

評価の枠組み：

1. 研究デザインの評価

   • 研究課題に適したデザインですか？
   • そのデザインは、提示されている因果関係の主張を裏付けられますか？
   • 比較群は適切で、十分ですか？
   • 実験的、準実験的、観察的なデザインのうち、どれが妥当かを検討します

2. 妥当性の分析

   • 内的妥当性： 因果推論を信頼できますか？
     • ランダム化の質を確認します
     • 交絡因子の制御を評価します
     • 選択バイアスを評価します
     • 脱落・中退のパターンを検証します
   • 外的妥当性： 結果は一般化できますか？
     • サンプルの代表性を評価します
     • 設定の生態学的妥当性を検討します
     • 条件が対象となる用途に合致するかを評価します
   • 構成概念妥当性： 測定値は意図した構成概念を捉えていますか？
     • 測定の妥当性検証を確認します
     • 操作的定義を確認します
     • 測定値が直接指標か代理指標かを評価します
   • 統計的結論の妥当性： 統計的推論は妥当ですか？
     • 検出力・サンプルサイズが十分かを確認します
     • 仮定が満たされているかを確認します
     • 検定が適切かを評価します

3. 対照と盲検化

   • ランダム化は適切に実施されましたか（割り付け順の生成、割り付けの隠蔽）？
   • 盲検化は可能で、実施されていましたか（参加者、提供者、評価者）？
   • 対照条件は適切ですか（プラセボ、実薬対照、無治療）？
   • 実施バイアスや検出バイアスが結果に影響する可能性はありますか？

4. 測定の質

   • 測定器具は妥当性が検証され、信頼性がありますか？
   • 可能な場合は客観的な測定値を使用していますか。主観的な場合は、その限界を認識していますか？
   • アウトカム評価は標準化されていますか？
   • 複数の測定値を用いて、知見を多角的に検証していますか？

参考： 詳細な原則については references/scientific_method.md を、包括的な実験計画チェックリストについては references/experimental_design.md を参照してください。

AI/ML 研究に特有の考慮事項

AI/ML 論文を評価する際には、次の点を確認してください（2025/2026 年には重要性がますます高まっています）。

1. ベンチマーク汚染：テストデータは事前学習に使われていましたか？論文が公開ベンチマークでの結果のみを報告しているのか、非公開のホールドアウトセットでの結果も報告しているのかを確認してください。
2. 都合のよい事例の選択：定性的な事例は、典型的な性能を示していない場合があります。
3. 計算資源の公平性：パラメーター数や計算予算が同程度のモデルと比較していますか？
4. 再現性：コードや重みは公開されていますか？結果を独立して再現できますか？
5. 評価ハーネスの一貫性：同じベンチマークでも、異なるプロンプト戦略が使われるため、結果を比較できない場合があります。
6. 人間の選好データの漏洩：RLHF モデルは、評価ベンチマークと間接的に重複する人間の選好データで調整されている場合があります。
7. 能力と実運用のギャップ：ラボでの評価は、実環境での運用上の制約を反映していない場合があります。

2. バイアス検出

結論を歪める可能性のあるバイアスの発生源を特定し、評価します。

適用するタイミング:

• 発表された研究をレビューするとき
• 新しい研究を設計するとき
• 相反する証拠を解釈するとき
• 研究の質を評価するとき

体系的なバイアスレビュー:

1. 認知バイアス（研究者）

   • 確証バイアス: 支持する結果のみが強調されていないか？
   • HARKing: 仮説は事前に立てられたものか、それとも結果を見た後に形成されたものか？
   • 出版バイアス: 文献に否定的な結果が欠けていないか？
   • チェリーピッキング: 証拠が選択的に報告されていないか？
   • 事前登録と分析計画の透明性を確認します

2. 選択バイアス

   • 標本抽出バイアス: 標本は対象母集団を代表しているか？
   • ボランティアバイアス: 参加者は体系的な方法で自己選択しているか？
   • 脱落バイアス: 群間で脱落の程度に差があるか？
   • 生存者バイアス: 標本には「生存者」しか見えていないか？
   • 参加者フロー図を確認し、ベースライン特性を比較します

3. 測定バイアス

   • 観察者バイアス: 期待が観察に影響している可能性はあるか？
   • 想起バイアス: 回顧的な報告が体系的に不正確になっていないか？
   • 社会的望ましさ: 回答が社会的に受け入れられる方向に偏っていないか？
   • 計測器バイアス: 測定ツールが体系的に誤差を生んでいないか？
   • 盲検化、妥当性、測定の客観性を評価します

4. 分析バイアス

   • P ハッキング: 有意な結果が現れるまで複数の分析を実施していないか？
   • アウトカムの切り替え: 有意でなかったアウトカムが有意なものに置き換えられていないか？
   • 選択的報告: 計画されたすべての分析が報告されているか？
   • サブグループの探索: 補正なしでサブグループ分析が行われていないか？
   • 研究登録を確認し、公表されたアウトカムと比較します

5. 交絡

   • 曝露とアウトカムの両方に影響しうる変数は何か？
   • 交絡因子は測定され、（統計的にまたは研究デザインによって）制御されたか？
   • 測定されていない交絡によって結果が説明されうるか？
   • もっともらしい代替説明はあるか？

参考: 検出方法と軽減策を含む包括的なバイアス分類については references/common_biases.md を参照してください。

3. 統計分析の評価

統計手法、解釈、報告を批判的に評価します。

適用場面:

• 定量的研究のレビュー
• データに基づく主張の評価
• 臨床試験の結果の評価
• メタアナリシスのレビュー

統計レビューのチェックリスト:

1. サンプルサイズと検出力

   • 事前の検出力分析は実施されたか？
   • 意味のある効果を検出するのに十分なサンプルか？
   • 研究の検出力が不足していないか（よくある問題）？
   • 小規模サンプルでの有意な結果は、効果量の過大評価の兆候ではないか？

2. 統計検定

   • 検定はデータの種類と分布に適しているか？
   • 検定の前提条件は確認され、満たされていたか？
   • パラメトリック検定は正当化されているか、それとも ノンパラメトリック手法を使うべきだったか？
   • 分析は研究デザインに合致しているか（例：対応ありと対応なし）？

3. 多重比較

   • 複数の仮説が検定されたか？
   • 補正（Bonferroni、FDR、その他）は適用されたか？
   • 主要アウトカムと副次的・探索的アウトカムは区別されているか？
   • 多重検定による偽陽性の可能性はないか？

4. p値の解釈

   • p値は正しく解釈されているか（帰無仮説が真のときにデータが得られる確率）？
   • 有意でないことを「効果がない」と誤って解釈していないか？
   • 統計的有意性と実質的な重要性を混同していないか？
   • 正確なp値が報告されているか、それとも「p < .05」のみか？
   • .05のすぐ下に不自然な集中がみられないか？

5. 効果量と信頼区間

   • 有意性と併せて効果量が報告されているか？
   • 精度を示すために信頼区間が提示されているか？
   • 効果量は実用的な観点から意味があるか？
   • 標準化された効果量は、その分野固有の文脈を踏まえて解釈されているか？

6. 欠測データ

   • どの程度のデータが欠測しているか？
   • 欠測のメカニズム（MCAR、MAR、MNAR）は考慮されているか？
   • 欠測データはどのように扱われたか（削除、代入、最尤法）？
   • 欠測データが結果にバイアスを与えている可能性はないか？

7. 回帰とモデリング

   • モデルは過剰適合していないか（説明変数が多すぎる、交差検証がない）？
   • データの範囲外での予測（外挿）は行われていないか？
   • 多重共線性の問題は対処されているか？
   • モデルの前提条件は確認されているか？

8. よくある落とし穴

   • 相関を因果と取り違えていないか
   • 平均への回帰を無視していないか
   • 基礎率の無視
   • テキサス狙撃兵の誤謬（ノイズの中にパターンを見出すこと）
   • シンプソンのパラドックス（サブグループによる交絡）

参考: 詳細な落とし穴と正しい実践については references/statistical_pitfalls.md を参照してください。

4. エビデンスの質の評価

エビデンスの強さと質を体系的に評価します。

適用するタイミング:

• 意思決定のためにエビデンスを比較検討するとき
• 文献レビューを実施するとき
• 相反する知見を比較するとき
• 結論に対する確信度を判断するとき

エビデンス評価フレームワーク:

1. 研究デザインの階層

   • システマティックレビュー/メタアナリシス（介入効果については最上位）
   • ランダム化比較試験（RCT）
   • コホート研究 -症例対照研究
   • 横断研究
   • 症例集積/症例報告
   • 専門家の意見（最下位）

   重要: 上位のデザインが常に質が高いとは限りません。適切に設計された観察研究は、質の低い RCT よりも強いエビデンスとなる場合があります。

2. 研究デザイン内での質

   • バイアスリスクの評価（適切なツールを使用: Cochrane ROB、Newcastle-Ottawa など）
   • 方法論的厳密性
   • 透明性と報告の網羅性
   • 利益相反

3. GRADE の検討事項（該当する場合）

   • 研究デザインから開始（RCT = 高、観察研究 = 低）
   • 格下げの要因:
     • バイアスリスク
     • 研究間の非一貫性
     • 間接性（対象集団/介入/アウトカムの不一致）
     • 不精確性（信頼区間が広い、サンプルサイズが小さい）
     • 出版バイアス
   • 格上げの要因:
     • 大きな効果量
     • 用量反応関係
     • 交絡因子によって効果が減少する（増加ではなく）場合

4. エビデンスの収束性

   • より強いとき:
     • 複数の独立した再現研究が存在する
     • 異なる研究グループや設定で検証されている
     • 異なる方法論が同じ結論に収束している
     • 機序に関する証拠と実証的証拠が一致している
   • より弱いとき:
     • 単一の研究または研究グループによるものである
     • 文献中に相反する知見がある
     • 出版バイアスが明らかである
     • 再現の試みがない

5. 文脈的要因

   • 生物学的/理論的な妥当性
   • 既存の知識との整合性
   • 時間的先行性（原因が結果に先行する）
   • 関係の特異性
   • 関連の強さ

参考: 詳細な階層、GRADE システム、質の評価ツールについては references/evidence_hierarchy.md を参照してください。

5. 論理的誤謬の特定

科学的な論証や主張に含まれる論理的誤りを検出し、その名称を示します。

適用するタイミング:

• 科学的な主張を評価するとき
• 考察・結論のセクションをレビューするとき
• 一般向けの科学コミュニケーションを評価するとき
• 誤った推論を特定するとき

科学分野でよく見られる誤謬:

1. 因果関係の誤謬

   • Post hoc ergo propter hoc（前後即因果）: 「BはAの後に起きた、ゆえにAがBを引き起こした」
   • 相関 = 因果: 関連性と因果関係を混同すること
   • 逆の因果: 原因と結果を取り違えること
   • 単一原因の誤謬: 複雑な結果を一つの要因に帰すること

2. 一般化の誤謬

   • 早まった一般化: 小さなサンプルから広範な結論を導くこと
   • 逸話の誤謬: 個人的な体験談を証拠とみなすこと
   • チェリーピッキング: 支持する証拠だけを選び出すこと
   • 生態学的誤謬: 集団の傾向を個人に当てはめること

3. 権威と情報源に関する誤謬

   • 権威への訴え: 「専門家がそう言ったのだから正しい」（根拠なしに）
   • 人身攻撃（ad hominem）: 論証ではなく人物を攻撃すること
   • 起源の誤謬: 内容の是非ではなく、その起源によって判断すること
   • 自然への訴え: 「自然由来＝良い・安全」

4. 統計的な誤謬

   • 基準率の無視: 事前確率を無視すること
   • テキサスの狙撃兵: ランダムなデータの中にパターンを見いだすこと
   • 多重比較: 複数の検定に対して補正を行わないこと
   • 検察官の誤謬: P(E|H) と P(H|E) を混同すること

5. 構造上の誤謬

   • 偽の二分法: 選択肢が他にもあるのに「AかBか」と限定すること
   • ゴールポストの移動: 証拠の基準が満たされた後で、その基準を変更すること
   • 循環論法（先決問題要求）: 結論を前提として用いる循環的な推論
   • わら人形論法: 相手の主張を歪めて曲解し、それを攻撃すること

6. 科学に特有の誤謬

   • ガリレオ・ギャンビット: 「ガリレオも笑われたのだから、私の異端的な考えも正しい」
   • 無知に基づく論証: 「偽であることが証明されていない、ゆえに真である」
   • ニルヴァーナの誤謬: 不完全な解決策を退けること
   • 反証不可能性: 検証不可能な主張をすること

誤謬を特定するときは:

• 具体的な誤謬の名称を示す
• その推論がなぜ誤っているのかを説明する
• 妥当な推論のために必要となる証拠を明らかにする
• 誤った推論があるからといって結論が偽であることが証明されるわけではなく、この論証がその結論を支持しないにすぎない、と注記する

参考: 例と検出方法を収録した包括的な誤謬カタログについては references/logical_fallacies.md を参照してください。

6. 研究デザインのガイダンス

厳密な研究を計画するための建設的なガイダンスを提供します。

適用場面:

• 新しい実験のデザインを支援するとき
• 研究プロジェクトを計画するとき
• 研究提案をレビューするとき
• 研究プロトコルを改善するとき

デザインのプロセス:

1. 研究課題の精緻化

   • 課題が具体的で、答えが得られ、反証可能であることを確認する
   • 先行研究のギャップや矛盾に対応しているかを検証する
   • 実現可能性（リソース、倫理、時間）を確認する
   • 変数を操作的に定義する

2. デザインの選択

   • 課題に合ったデザインを選ぶ（因果関係 → 実験的研究、関連性 → 観察的研究）
   • 実現可能性と倫理的制約を考慮する
   • 被験者間デザイン、被験者内デザイン、混合デザインから選択する
   • 複数の要因を検証する場合は要因計画を立てる

3. バイアス最小化の戦略

   • 可能な場合はランダム化を実施する
   • 実行可能なすべての段階（被験者、提供者、評価者）で盲検化を計画する
   • 交絡を特定し、その統制を計画する（ランダム化、マッチング、層化、統計的調整）
   • すべての手順を標準化する
   • 脱落を最小限に抑える計画を立てる

4. サンプル計画

   • 事前検定力分析を実施する（想定効果量、目標検定力、有意水準を明示する）
   • サンプルサイズに脱落を織り込む
   • 明確な選択基準・除外基準を定める
   • 募集戦略と実現可能性を検討する
   • サンプルの代表性を確保する計画を立てる

5. 測定の戦略

   • 妥当性と信頼性が検証された測定器を選ぶ
   • 可能な場合は客観的指標を用いる
   • 主要な構成概念について複数の測定を計画する（トライアンギュレーション）
   • 想定される変化に対して測定が感度を持つようにする
   • 評価者間信頼性の手順を確立する

6. 分析計画

   • すべての仮説と分析を事前に特定しておく
   • 主要アウトカムを明確に指定する
   • 前提条件の確認を伴う統計検定を計画する
   • 欠測データの扱いを明記する
   • 効果量と信頼区間を報告する計画を立てる
   • 多重比較の補正を検討する

7. 透明性と厳密性

   • 研究と分析計画を事前登録する
   • 報告ガイドライン（CONSORT、STROBE、PRISMA）を利用する
   • 有意な結果だけでなく、すべてのアウトカムを報告する計画を立てる
   • 検証的分析と探索的分析を区別する
   • データ・コードの共有を約束する

参考: 課題から成果公表までのすべての段階を網羅した包括的なデザインチェックリストについては、references/experimental_design.md を参照してください。

7. 主張の評価

科学的な主張について、妥当性と裏付けを体系的に評価します。

適用場面:

• 論文の結論を評価するとき
• 研究に関するメディア報道を評価するとき
• 要旨や序論の主張を確認するとき
• データが結論を支持しているかを確認するとき

主張の評価プロセス:

1. 主張を特定する

   • 正確には何が主張されているのか?
   • それは因果関係の主張か、関連性の主張か、記述的な主張か?
   • 主張の強さはどの程度か(証明済み、可能性が高い、示唆される、可能性がある)?

2. 根拠を評価する

   • どのような根拠が提示されているか?
   • 根拠は直接的か間接的か?
   • 根拠は主張の強さに見合っているか?
   • 代替的な説明は排除されているか?

3. 論理的なつながりを確認する

   • 結論はデータから導かれているか?
   • 論理の飛躍はないか?
   • 因果関係の主張を、相関データで裏付けようとしていないか?
   • 限界が明示されているか?

4. 妥当性の釣り合いを評価する

   • 確信の度合いは根拠の強さに見合っているか?
   • 留保を示す表現は適切に使われているか?
   • 限界が軽視されていないか?
   • 推測であることが明確に示されているか?

5. 過度な一般化を確認する

   • 主張は調査対象の標本を超えて拡張されていないか?
   • 対象集団の制約が明示されているか?
   • 文脈への依存性が認識されているか?
   • 一般化に関する注意書きが含まれているか?

6. 危険信号

   • 相関研究に基づく因果的な表現
   • 「証明する」や絶対的な確実性の主張
   • 都合のよい引用(チェリーピッキング)
   • 矛盾する根拠の無視
   • 限界の軽視
   • データを超えた外挿

具体的なフィードバックを提供する:

• 問題のある主張を引用する
• 主張を裏付けるためにどのような根拠が必要かを説明する
• 必要に応じて、適切な留保表現を提案する
• データ(何が見つかったか)と解釈(それが何を意味するか)を区別する

適用のガイドライン

一般的なアプローチ

1. 建設的であること

   • 弱点だけでなく強みも指摘する
   • 単に批判するのではなく、改善策を提案する
   • 致命的な欠陥と軽微な限界を区別する
   • すべての研究には限界があることを認識する

2. 具体的であること

   • 具体的な箇所を示す(例:「表2は…を示している」や「方法のセクションでは…」)
   • 問題のある記述を引用する
   • 問題の具体例を挙げる
   • 違反している原則や基準を明示する

3. 釣り合いを保つこと

   • 批判の重大さを問題の重要性に見合ったものにする
   • 妥当性への重大な脅威と些細な懸念を区別する
   • 問題が主要な結論に影響するかを検討する
   • 自身の評価における不確実性を認める

4. 一貫した基準を適用すること

   • すべての研究に同じ基準を用いる
   • 気に入らない結果に対して厳しすぎる基準を適用しない
   • 自身が持つ潜在的なバイアスを認める
   • 結果ではなく方法論に基づいて判断する

5. 文脈を考慮すること

   • 実務上および倫理上の制約を認める
   • 効果量や方法に関する分野固有の慣行を考慮する
   • 探索的な文脈と確証的な文脈を区別する
   • 研究を評価する際には資源の制約を考慮する

批評を行う場合

フィードバックの構成:

1. 要約: 評価の対象となったものの簡潔な概要
2. 強み: うまく行われている点(信頼性と学習のために重要)
3. 懸念事項: 重大度別に整理した問題点
   • 重大な問題(主要な結論の妥当性を脅かすもの)
   • 重要な問題(解釈に影響するが致命的ではないもの)
   • 軽微な問題(言及する価値はあるが結論は変えないもの)
4. 具体的な推奨事項: 改善のための実行可能な提案
5. 総合評価: 根拠の質と、何が結論づけられるかについてのバランスの取れた結論

正確な用語を使用する:

• 特定のバイアス、誤謬、方法論上の問題を明示する
• 確立された基準やガイドラインを参照する
• 科学的方法論の原則を引用する
• 専門用語を正確に使用する

不確かな場合

• 不確かさを認める：「これは X の可能性も Y の可能性もあります。判断には Z についての追加情報が必要です」
• 確認の質問をする：「［方法論上の詳細］は実施されましたか？ 解釈に影響します」
• 条件付きで評価する：「X が実施されていれば Y が導かれます。そうでなければ Z が懸念事項です」
• 不確かさを解消するために必要な追加情報を明記する

参考資料

このスキルには、批判的評価の詳細な枠組みを提供する包括的な参考資料が含まれています。

• references/scientific_method.md - 科学的方法論の基本原則、科学的プロセス、批判的評価の基準、科学的主張における危険信号、因果推論の基準、査読、オープンサイエンスの原則

• references/common_biases.md - 認知、実験、方法論、統計、分析におけるバイアスの包括的な分類と、その検出および軽減策

• references/statistical_pitfalls.md - p 値の誤解、多重比較の問題、サンプルサイズの問題、効果量の誤り、相関と因果の混同、回帰分析の落とし穴、メタ分析の問題など、よくある統計上の誤りや誤解釈

• references/evidence_hierarchy.md - 従来のエビデンスの階層、GRADE システム、研究の質を評価する基準、分野固有の考慮事項、エビデンス統合の原則、実践的な意思決定の枠組み

• references/logical_fallacies.md - 因果関係、一般化、権威、関連性、構造、統計の種類ごとに整理した、科学的議論でよく見られる論理的誤謬と、その例および検出方法

• references/experimental_design.md - 研究課題、仮説、研究デザインの選択、変数、サンプリング、盲検化、無作為化、対照群、手順、測定、バイアスの最小化、データ管理、統計計画、倫理的配慮、妥当性への脅威、報告基準を網羅した包括的な実験デザインのチェックリスト

参考資料を参照する場合：

• 詳細な枠組みが必要なときは、参考資料をコンテキストに読み込む
• 特定のトピックを参考資料内で検索するには、grep を使用する：grep -r "pattern" references/
• 参考資料は詳細を提供し、SKILL.md は手順を示します
• 網羅的なリスト、詳細な基準、具体例については参考資料を参照する

忘れないでください

科学的な批判的思考とは、次のことです：

• 確立された原則に基づく体系的な評価
• 科学を発展させる建設的な批評
• エビデンスの強さに応じた確信度
• 不確かさと限界についての透明性
• 基準を一貫して適用すること
• すべての研究には限界があると認識すること
• 懐疑心とエビデンスに対する開放性のバランスを保つこと

以下の区別を常に明確にしてください：

• データ（観察されたこと）と解釈（その意味）
• 相関と因果関係
• 統計的有意性と実践的な重要性
• 探索的知見と確認的知見
• 既知のことと不確かなこと
• 主張に反するエビデンスと帰無仮説を支持するエビデンス

批判的思考の目標：

1. 強みと弱みを正確に特定する
2. どの結論が裏付けられているかを判断する
3. 限界と不確かさを認識する
4. 今後の研究に向けた改善策を提案する
5. 科学的理解を前進させる

迅速評価チェックリスト

論文の一次選別には、次の迅速チェックリストを使用してください。

研究デザイン（5点）

• 研究課題が明確に示され、回答可能ですか？
• 因果関係または関連性に関する主張に適した研究デザインですか？
• サンプルサイズは十分ですか（検出力分析が報告されていますか）？
• 比較群は適切ですか？
• 事前登録されていますか（clinicaltrials.gov、OSF、AsPredicted）？

実施（5点）

• ランダム化と盲検化は適切に実施されていますか？
• 計画されたアウトカムはすべて報告されていますか（選択的な報告はありませんか）？
• 脱落率は許容範囲内で、群間のバランスも取れていますか？
• 測定尺度の妥当性は検証されていますか？
• 交絡因子は特定され、調整されていますか？

分析（5点）

• 統計検定はデータの種類に適していますか？
• p値と併せて効果量が報告されていますか？
• 多重比較の補正は適用されていますか？
• 信頼区間は提示されていますか？
• 欠測データは適切に処理されていますか？

結論（5点）

• 結論は証拠の強さに見合っていますか？
• 限界は誠実に認められていますか？
• 因果関係を示す表現は、研究デザインが裏付ける場合にのみ使われていますか？
• 一般化可能性に関する注意点は示されていますか？
• 利益相反は開示されていますか？

スコアの解釈：18～20＝信頼度が高い、12～17＝注意点はあるものの中程度、12未満＝結論は慎重に扱う