alterlab-scientific-thinking

科学的クリティカルシンキング

概要

クリティカルシンキングは、科学的厳密性を評価するための体系的なプロセスです。GRADE と Cochrane のバイアスリスク評価ツール（ランダム化試験には RoB 2、介入の非ランダム化研究には ROBINS-I）を用いて、方法論、実験計画、統計的妥当性、バイアス、交絡、エビデンスの質を評価します。科学的主張を批判的に分析する際に、このスキルを適用してください。

このスキルを使用する場面

次の場合にこのスキルを使用してください。

• 研究方法論や実験計画を評価する
• 統計的妥当性やエビデンスの質を評価する
• 研究におけるバイアスや交絡を特定する
• 科学的な主張や結論を検討する
• 系統的レビューに含める研究を評価する（バイアスリスク、GRADE による確実性）
• GRADE または Cochrane のバイアスリスク評価を適用する
• 研究論文を批判的に分析する

起動しないケース

シナリオ	代わりに使用
学術誌や研究助成金に提出可能な正式な査読報告書を作成する	alterlab-peer-review
論文全体について、複数の査読者による模擬パネルの判定を行う	alterlab-paper-reviewer
論文、学位論文、研究計画書に評価基準に基づくスコアを付ける	alterlab-scholar-eval
統計検定やモデル自体を実行する	alterlab-statistical-analysis
複数の研究の効果量を統合する（フォレストプロット、異質性、出版バイアス）	alterlab-meta-analysis

主な機能

1. 方法論の批判的検討

研究方法論の厳密性、妥当性、潜在的な欠陥を評価します。

次の場合に適用します。

• 研究論文を検討する
• 実験計画を評価する
• 研究プロトコルを評価する
• 新たな研究を計画する

評価の枠組み：

1. 研究デザインの評価

   • 研究課題に適したデザインですか？
   • このデザインで、主張されている因果関係を裏付けられますか？
   • 比較群は適切で十分ですか？
   • 実験的、準実験的、または観察的なデザインが妥当かどうかを検討します

2. 妥当性の分析

   • 内的妥当性： 因果推論を信頼できますか？
     • ランダム化の質を確認します
     • 交絡の制御を評価します
     • 選択バイアスを評価します
     • 脱落・中断のパターンを検討します
   • 外的妥当性： 結果を一般化できますか？
     • サンプルの代表性を評価します
     • 設定の生態学的妥当性を検討します
     • 条件が適用対象と一致しているかを評価します
   • 構成概念妥当性： 測定項目は意図した構成概念を捉えていますか？
     • 測定の妥当性検証を確認します
     • 操作的定義を確認します
     • 測定が直接的なものか、代替指標かを評価します
   • 統計的結論の妥当性： 統計的推論は適切ですか？
     • 十分な検出力・サンプルサイズがあるか確認します
     • 前提条件が満たされているか確認します
     • 検定が適切かを評価します

3. 対照と盲検化

   • ランダム化は適切に実施されましたか（割り当て順序の生成、割り当ての隠蔽）？
   • 盲検化は実施可能で、実施されていましたか（参加者、提供者、評価者）？
   • 対照条件（プラセボ、実薬対照、無治療）は適切ですか？
   • パフォーマンスバイアスや検出バイアスが結果に影響する可能性はありますか？

4. 測定の質

   • 測定機器は妥当性と信頼性が検証されていますか？
   • 可能な場合は客観的な測定を用い、主観的な測定の場合はその限界が認識されていますか？
   • アウトカム評価は標準化されていますか？
   • 結果を多角的に裏付けるため、複数の測定方法が使われていますか？

参考資料： 詳細な原則については references/scientific_method.md を、包括的なデザインチェックリストについては references/experimental_design.md を参照してください。

2. バイアスの検出

知見を歪める可能性のあるバイアスの要因を特定し、評価します。

次の場合に適用します：

• 公開済みの研究をレビューする場合
• 新たな研究を設計する場合
• 相反するエビデンスを解釈する場合
• 研究の質を評価する場合

体系的なバイアスレビューでは、5 つの分類を扱います。認知バイアス（確証バイアス、HARKing、出版バイアス、都合のよいデータの選択）、選択バイアス（サンプリング、ボランティア、脱落、生存者）、測定バイアス（観察者、想起、社会的望ましさ、測定器）、分析バイアス（p ハッキング、アウトカムの切り替え、選択的報告、サブグループの探索）、交絡（測定済み、未測定、代替説明）です。

**参考：**各分類のすべてのバイアスを対象とした、検出用の質問チェックリスト全体は references/evaluation_checklists.md（バイアス検出のセクション）に移動しました。軽減策を含む包括的なバイアス分類については、references/common_biases.md を参照してください。

3. 統計分析の評価

統計手法、解釈、報告を批判的に評価します。

次の場合に適用します：

• 定量的研究をレビューする場合
• データに基づく主張を評価する場合
• 臨床試験の結果を評価する場合
• メタ分析をレビューする場合

統計レビューのチェックリストでは、8 つの領域を扱います。サンプルサイズと検出力、統計検定の適切さ、多重比較の補正、p 値の解釈、効果量と信頼区間、欠損データの扱い、回帰／モデリングの前提、よくある落とし穴（相関と因果の混同、平均への回帰、ベースレートの無視、テキサスの狙撃手の誤謬、シンプソンのパラドックス）です。

**参考：**8 つの領域すべてを網羅した、項目ごとの質問チェックリスト全体は references/evaluation_checklists.md（統計分析の評価のセクション）に移動しました。落とし穴の詳細と適切な実践については、references/statistical_pitfalls.md を参照してください。

4. エビデンスの質の評価

エビデンスの強さと質を体系的に評価します。

次の場合に適用します：

• 意思決定のためにエビデンスを比較検討する場合
• 文献レビューを実施する場合
• 相反する知見を比較する場合
• 結論に対する確信度を判断する場合

エビデンス評価フレームワークでは、5 つの要素を検討します。研究デザインの階層（メタ分析から専門家の意見まで。ただし、階層が質を保証するわけではありません）、デザインの種類ごとの質（バイアスリスク評価ツール、厳密さ、透明性、利益相反）、GRADE の考慮事項（デザインの種類を起点に、格下げまたは格上げする）、エビデンスの収束（何が強め、何が弱めるか）、文脈的要因（妥当性、一貫性、時間的先行性、特異性、強さ）です。

**参考：**GRADE の完全な格下げ／格上げ基準とエビデンスの収束を示す指標を含む、フレームワーク全体は references/evaluation_checklists.md（エビデンスの質の評価のセクション）に移動しました。詳細な階層、GRADE システム、質の評価ツールについては、references/evidence_hierarchy.md を参照してください。

5. 論理的誤謬の特定

科学的な議論や主張に含まれる論理的な誤りを検出し、名称を示します。

以下の場合に適用します：

• 科学的な主張を評価するとき
• 議論や結論のセクションをレビューするとき
• 一般向けの科学コミュニケーションを評価するとき
• 誤った推論を特定するとき

科学でよく見られる誤謬は、6つのカテゴリーに分類されます。因果関係の誤謬（前後即因果の誤謬、相関関係と因果関係の混同、逆因果、単一原因）、一般化の誤謬（早まった一般化、逸話に基づく推論、つまみ食い、集団に関する誤謬）、権威・出典に関する誤謬（権威への訴え、対人攻撃、起源に基づく誤謬、自然への訴え）、統計的誤謬（ベースレートの無視、テキサスの狙撃兵の誤謬、多重比較、検察官の誤謬）、構造上の誤謬（誤った二分法、論点のすり替え、論点先取、藁人形論法）、科学特有の誤謬（ガリレオ・ガンビット、無知に訴える論証、完全主義の誤謬、反証不能性）です。

**参考：**各誤謬の平易な定義を記載した誤謬の完全な一覧は、references/evaluation_checklists.md（「論理的誤謬の特定」セクション）に移動しました。例と検出方法については、references/logical_fallacies.mdを参照してください。

誤謬を特定するとき：

• 該当する誤謬の名称を示します
• 推論に問題がある理由を説明します
• 妥当な推論に必要な証拠を特定します
• 誤謬を含む推論が結論の誤りを証明するわけではなく、その議論が結論を裏付けていないことを示すにすぎないと明記します

**参考：**例と検出方法を含む誤謬の包括的な一覧については、references/logical_fallacies.mdを参照してください。

6. 研究デザインに関する指針

厳密な研究を計画するための、建設的な指針を提供します。

以下の場合に適用します：

• 新しい実験の設計を支援するとき
• 研究プロジェクトを計画するとき
• 研究計画書をレビューするとき
• 研究プロトコルを改善するとき

設計プロセス：

1. 研究課題の精緻化

   • 課題が具体的で、回答可能かつ反証可能であることを確認します
   • 文献における研究の空白や矛盾に取り組む課題であることを確認します
   • 実施可能性（リソース、倫理、時間）を確認します
   • 変数を操作的に定義します

2. 研究デザインの選択

   • 課題に適したデザインを選びます（因果関係→実験、関連性→観察研究）
   • 実施可能性と倫理的制約を考慮します
   • 被験者間、被験者内、または混合デザインから選びます
   • 複数の要因を検証する場合は、要因計画法を検討します

3. バイアス最小化の方針

   • 可能な場合はランダム化を実施します
   • 実施可能なすべての段階で盲検化を計画します（参加者、実施者、評価者）
   • 交絡因子を特定し、制御する方法を計画します（ランダム化、マッチング、層別化、統計的調整）
   • すべての手順を標準化します
   • 脱落を最小限に抑える計画を立てます

4. サンプル計画

   • 事前に検出力分析を実施します（予想される効果、望ましい検出力、有意水準を指定）
   • サンプルサイズに脱落を見込みます
   • 明確な組み入れ基準と除外基準を定めます
   • 募集方法と実施可能性を検討します
   • サンプルの代表性を確保する計画を立てます

5. 測定方針

   • 妥当性と信頼性が検証された測定手段を選びます
   • 可能な場合は客観的な測定方法を使用します
   • 重要な構成概念を複数の方法で測定する計画を立てます（三角測量）
   • 予想される変化を測定手段で捉えられることを確認します
   • 評価者間信頼性を確保する手順を定めます

6. 分析計画

   • すべての仮説と分析を事前に規定します
   • 主要評価項目を明確に指定します
   • 前提条件の確認を含めて統計的検定を計画します
   • 欠測データの処理方法を明記します
   • 効果量と信頼区間を報告する計画を立てます
   • 多重比較の補正を検討します

7. 透明性と厳密性

   • 研究と分析計画を事前登録します
   • 報告ガイドライン（CONSORT、STROBE、PRISMA）を使用します
   • 有意な結果だけでなく、すべての結果を報告する計画を立てます
   • 確証的分析と探索的分析を区別します
   • データとコードを共有することを約束します

**参考：**研究課題から結果の発信まで、全段階を網羅した包括的な設計チェックリストについては、references/experimental_design.mdを参照してください。

7. 主張の評価

科学的な主張について、妥当性と裏付けを体系的に評価します。

適用場面:

• 論文の結論を評価するとき
• 研究に関するメディア報道を評価するとき
• 要旨や序論の主張を確認するとき
• データが結論を支持しているかを確認するとき

主張の評価プロセス:

1. 主張を特定する

   • 正確には何が主張されているのか?
   • それは因果関係の主張か、関連性の主張か、記述的な主張か?
   • 主張の強さはどの程度か(証明済み、可能性が高い、示唆される、可能性がある)?

2. 根拠を評価する

   • どのような根拠が提示されているか?
   • 根拠は直接的か間接的か?
   • 根拠は主張の強さに見合っているか?
   • 代替的な説明は排除されているか?

3. 論理的なつながりを確認する

   • 結論はデータから導かれているか?
   • 論理の飛躍はないか?
   • 因果関係の主張を、相関データで裏付けようとしていないか?
   • 限界が明示されているか?

4. 妥当性の釣り合いを評価する

   • 確信の度合いは根拠の強さに見合っているか?
   • 留保を示す表現は適切に使われているか?
   • 限界が軽視されていないか?
   • 推測であることが明確に示されているか?

5. 過度な一般化を確認する

   • 主張は調査対象の標本を超えて拡張されていないか?
   • 対象集団の制約が明示されているか?
   • 文脈への依存性が認識されているか?
   • 一般化に関する注意書きが含まれているか?

6. 危険信号

   • 相関研究に基づく因果的な表現
   • 「証明する」や絶対的な確実性の主張
   • 都合のよい引用(チェリーピッキング)
   • 矛盾する根拠の無視
   • 限界の軽視
   • データを超えた外挿

具体的なフィードバックを提供する:

• 問題のある主張を引用する
• 主張を裏付けるためにどのような根拠が必要かを説明する
• 必要に応じて、適切な留保表現を提案する
• データ(何が見つかったか)と解釈(それが何を意味するか)を区別する

適用のガイドライン

一般的なアプローチ

1. 建設的であること

   • 弱点だけでなく強みも指摘する
   • 単に批判するのではなく、改善策を提案する
   • 致命的な欠陥と軽微な限界を区別する
   • すべての研究には限界があることを認識する

2. 具体的であること

   • 具体的な箇所を示す(例:「表2は…を示している」や「方法のセクションでは…」)
   • 問題のある記述を引用する
   • 問題の具体例を挙げる
   • 違反している原則や基準を明示する

3. 釣り合いを保つこと

   • 批判の重大さを問題の重要性に見合ったものにする
   • 妥当性への重大な脅威と些細な懸念を区別する
   • 問題が主要な結論に影響するかを検討する
   • 自身の評価における不確実性を認める

4. 一貫した基準を適用すること

   • すべての研究に同じ基準を用いる
   • 気に入らない結果に対して厳しすぎる基準を適用しない
   • 自身が持つ潜在的なバイアスを認める
   • 結果ではなく方法論に基づいて判断する

5. 文脈を考慮すること

   • 実務上および倫理上の制約を認める
   • 効果量や方法に関する分野固有の慣行を考慮する
   • 探索的な文脈と確証的な文脈を区別する
   • 研究を評価する際には資源の制約を考慮する

批評を行う場合

フィードバックの構成:

1. 要約: 評価の対象となったものの簡潔な概要
2. 強み: うまく行われている点(信頼性と学習のために重要)
3. 懸念事項: 重大度別に整理した問題点
   • 重大な問題(主要な結論の妥当性を脅かすもの)
   • 重要な問題(解釈に影響するが致命的ではないもの)
   • 軽微な問題(言及する価値はあるが結論は変えないもの)
4. 具体的な推奨事項: 改善のための実行可能な提案
5. 総合評価: 根拠の質と、何が結論づけられるかについてのバランスの取れた結論

正確な用語を使用する:

• 特定のバイアス、誤謬、方法論上の問題を明示する
• 確立された基準やガイドラインを参照する
• 科学的方法論の原則を引用する
• 専門用語を正確に使用する

不確かな場合

• 不確かさを認める：「X または Y の可能性があります。判断には Z の追加情報が必要です」
• 明確化のための質問をする：「［方法論上の詳細］は実施されましたか？ これは解釈に影響します」
• 条件付きで評価する：「X が実施されていれば Y が導かれます。そうでなければ Z が懸念されます」
• 不確かさを解消するために必要な追加情報を明示する

参考資料

このスキルには、批判的評価のための詳細なフレームワークを提供する包括的な参考資料が含まれています。

• references/scientific_method.md - 科学的方法論の基本原則、科学的プロセス、批判的評価の基準、科学的主張における危険信号、因果推論の基準、査読、オープンサイエンスの原則

• references/common_biases.md - 認知的、実験的、方法論的、統計的、分析上のバイアスを包括的に分類し、それらの検出と軽減の戦略を解説します

• references/statistical_pitfalls.md - p 値の誤解、多重比較の問題、サンプルサイズの問題、効果量の誤り、相関と因果の混同、回帰分析の落とし穴、メタ分析の問題など、よくある統計上の誤りや誤解

• references/evidence_hierarchy.md - 従来のエビデンス階層、GRADE システム、研究の質を評価する基準、分野固有の考慮事項、エビデンス統合の原則、実践的な意思決定フレームワーク

• references/logical_fallacies.md - 科学的な議論でよく見られる論理的誤謬を、因果関係、一般化、権威、関連性、構造、統計の種類別に整理し、例と検出方法を解説します

• references/experimental_design.md - 研究課題、仮説、研究デザインの選択、変数、サンプリング、盲検化、ランダム化、対照群、手順、測定、バイアスの最小化、データ管理、統計計画、倫理的配慮、妥当性への脅威、報告基準を網羅した包括的な実験デザインのチェックリスト

• references/evaluation_checklists.md - バイアス検出、統計分析評価、エビデンスの質の評価、論理的誤謬の特定の機能に対応する、運用向けの質問形式のレビューチェックリスト（項目ごとの詳細は「コア機能」セクションからこちらに移動しました）

参考資料を参照するタイミング：

• 詳細なフレームワークが必要な場合は、参考資料をコンテキストに読み込みます
• 特定のトピックを参考資料内で検索するには、grep を使用します：grep -r "pattern" references/
• 参考資料では詳細を、SKILL.md では手順を確認できます
• 包括的なリスト、詳細な基準、具体例については参考資料を参照します

覚えておくこと

科学的な批判的思考とは：

• 確立された原則を用いた体系的な評価
• 科学の向上につながる建設的な批評
• エビデンスの強さに応じた確信度
• 不確かさと限界についての透明性
• 基準を一貫して適用すること
• すべての研究には限界があると認識すること
• 懐疑心とエビデンスへの開放性のバランス

以下の点は必ず区別します：

• データ（観察されたこと）と解釈（その意味）
• 相関関係と因果関係
• 統計的有意性と実際的な重要性
• 探索的な知見と確認的な知見
• 既知のことと不確かなこと
• 主張に反するエビデンスと帰無仮説を支持するエビデンス

批判的思考の目標：

1. 長所と短所を正確に特定する
2. どの結論が裏付けられているかを判断する
3. 限界と不確かさを認識する
4. 今後の研究に向けた改善策を提案する
5. 科学的理解を深める

AlterLab Academic Skills スイートの一部です。