scientific-critical-thinking

科学的批判的思考

概要

批判的思考は、科学的厳密さを評価するための体系的なプロセスです。GRADE と Cochrane ROB のフレームワークを用いて、方法論、実験計画、統計的妥当性、バイアス、交絡、エビデンスの質を評価します。科学的主張の批判的分析にこのスキルを適用してください。

このスキルを使用するタイミング

このスキルは次の場合に使用してください：

• 研究方法論と実験計画を評価するとき
• 統計的妥当性とエビデンスの質を評価するとき
• 研究におけるバイアスと交絡を特定するとき
• 科学的主張や結論をレビューするとき
• システマティックレビューやメタアナリシスを実施するとき
• GRADE または Cochrane のバイアスリスク評価を適用するとき
• 研究論文の批判的分析を提供するとき

科学的概略図による視覚的強化

このスキルでドキュメントを作成する際は、視覚的なコミュニケーションを高めるために、科学的な図や概略図の追加を必ず検討してください。

ドキュメントにまだ概略図や図表が含まれていない場合：

• scientific-schematics スキルを使用して、AI による出版品質の図を生成してください
• 希望する図を自然言語で説明するだけでかまいません
• Nano Banana Pro が自動的に図を生成、レビュー、洗練させます

新規ドキュメントの場合: 本文で説明されている主要な概念、ワークフロー、アーキテクチャ、関係性を視覚的に表すため、科学的概略図をデフォルトで生成してください。

概略図の生成方法:

python scripts/generate_schematic.py "your diagram description" -o figures/output.png

AI は自動的に次を行います：

• 適切な書式で出版品質の画像を作成
• 複数回の反復を通じてレビューと洗練を実施
• アクセシビリティを確保（色覚に配慮し、高コントラスト）
• 出力を figures/ ディレクトリに保存

概略図を追加するタイミング:

• 批判的思考のフレームワーク図
• バイアス特定の決定木
• エビデンスの質評価のフローチャート
• GRADE 評価手法の図
• バイアスリスク評価のフレームワーク
• 妥当性評価の可視化
• 視覚化によって理解が深まる複雑な概念すべて

概略図の作成に関する詳細なガイダンスについては、scientific-schematics スキルのドキュメントを参照してください。

---

主要な機能

1. 方法論の批評

研究方法論について、厳密性、妥当性、潜在的な欠陥を評価します。

適用するタイミング:

• 研究論文をレビューするとき
• 実験計画を評価するとき
• 研究プロトコルを評価するとき
• 新しい研究を計画するとき

評価フレームワーク:

1. 研究デザインの評価

   • デザインは研究課題に適切か？
   • 主張されている因果関係を、そのデザインで裏付けられるか？
   • 比較群は適切かつ十分か？
   • 実験的、準実験的、観察的のいずれのデザインが正当化されるかを検討する

2. 妥当性の分析

   • 内的妥当性: 因果推論を信頼できるか？
     • ランダム化の質を確認する
     • 交絡の制御を評価する
     • 選択バイアスを評価する
     • 脱落・離脱のパターンを確認する
   • 外的妥当性: 結果は一般化できるか？
     • 標本の代表性を評価する
     • 設定の生態学的妥当性を検討する
     • 条件が対象の応用先と一致しているかを評価する
   • 構成概念妥当性: 測定は意図した構成概念を捉えているか？
     • 測定の妥当性検証をレビューする
     • 操作的定義を確認する
     • 測定が直接的か代理的かを評価する
   • 統計的結論妥当性: 統計的推論は妥当か？
     • 検出力・標本サイズが十分かを検証する
     • 前提条件の充足を確認する
     • 検定の適切性を評価する

3. 統制と盲検化

   • ランダム化は適切に実施されたか（系列生成、割り付けの隠蔵）？
   • 盲検化は実現可能で実施されたか（参加者、提供者、評価者）？
   • 対照条件は適切か（プラセボ、能動対照、無治療）？
   • 実施バイアスや検出バイアスが結果に影響しうるか？

4. 測定の質

   • 測定器具は妥当性が検証され、信頼性があるか？
   • 測定は可能な限り客観的か、それとも主観的で限界が認められているか？
   • アウトカムの評価は標準化されているか？
   • 複数の測定値を用いて結果を三角測量しているか？

参考: 詳細な原則は references/scientific_method.md、包括的なデザインチェックリストは references/experimental_design.md を参照してください。

2. バイアス検出

結論を歪める可能性のあるバイアスの発生源を特定し、評価します。

適用するタイミング:

• 発表された研究をレビューするとき
• 新しい研究を設計するとき
• 相反する証拠を解釈するとき
• 研究の質を評価するとき

体系的なバイアスレビュー:

1. 認知バイアス（研究者）

   • 確証バイアス: 支持する結果のみが強調されていないか？
   • HARKing: 仮説は事前に立てられたものか、それとも結果を見た後に形成されたものか？
   • 出版バイアス: 文献に否定的な結果が欠けていないか？
   • チェリーピッキング: 証拠が選択的に報告されていないか？
   • 事前登録と分析計画の透明性を確認します

2. 選択バイアス

   • 標本抽出バイアス: 標本は対象母集団を代表しているか？
   • ボランティアバイアス: 参加者は体系的な方法で自己選択しているか？
   • 脱落バイアス: 群間で脱落の程度に差があるか？
   • 生存者バイアス: 標本には「生存者」しか見えていないか？
   • 参加者フロー図を確認し、ベースライン特性を比較します

3. 測定バイアス

   • 観察者バイアス: 期待が観察に影響している可能性はあるか？
   • 想起バイアス: 回顧的な報告が体系的に不正確になっていないか？
   • 社会的望ましさ: 回答が社会的に受け入れられる方向に偏っていないか？
   • 計測器バイアス: 測定ツールが体系的に誤差を生んでいないか？
   • 盲検化、妥当性、測定の客観性を評価します

4. 分析バイアス

   • P ハッキング: 有意な結果が現れるまで複数の分析を実施していないか？
   • アウトカムの切り替え: 有意でなかったアウトカムが有意なものに置き換えられていないか？
   • 選択的報告: 計画されたすべての分析が報告されているか？
   • サブグループの探索: 補正なしでサブグループ分析が行われていないか？
   • 研究登録を確認し、公表されたアウトカムと比較します

5. 交絡

   • 曝露とアウトカムの両方に影響しうる変数は何か？
   • 交絡因子は測定され、（統計的にまたは研究デザインによって）制御されたか？
   • 測定されていない交絡によって結果が説明されうるか？
   • もっともらしい代替説明はあるか？

参考: 検出方法と軽減策を含む包括的なバイアス分類については references/common_biases.md を参照してください。

3. 統計分析の評価

統計手法、解釈、報告を批判的に評価します。

適用場面:

• 定量的研究のレビュー
• データに基づく主張の評価
• 臨床試験の結果の評価
• メタアナリシスのレビュー

統計レビューのチェックリスト:

1. サンプルサイズと検出力

   • 事前の検出力分析は実施されたか？
   • 意味のある効果を検出するのに十分なサンプルか？
   • 研究の検出力が不足していないか（よくある問題）？
   • 小規模サンプルでの有意な結果は、効果量の過大評価の兆候ではないか？

2. 統計検定

   • 検定はデータの種類と分布に適しているか？
   • 検定の前提条件は確認され、満たされていたか？
   • パラメトリック検定は正当化されているか、それとも ノンパラメトリック手法を使うべきだったか？
   • 分析は研究デザインに合致しているか（例：対応ありと対応なし）？

3. 多重比較

   • 複数の仮説が検定されたか？
   • 補正（Bonferroni、FDR、その他）は適用されたか？
   • 主要アウトカムと副次的・探索的アウトカムは区別されているか？
   • 多重検定による偽陽性の可能性はないか？

4. p値の解釈

   • p値は正しく解釈されているか（帰無仮説が真のときにデータが得られる確率）？
   • 有意でないことを「効果がない」と誤って解釈していないか？
   • 統計的有意性と実質的な重要性を混同していないか？
   • 正確なp値が報告されているか、それとも「p < .05」のみか？
   • .05のすぐ下に不自然な集中がみられないか？

5. 効果量と信頼区間

   • 有意性と併せて効果量が報告されているか？
   • 精度を示すために信頼区間が提示されているか？
   • 効果量は実用的な観点から意味があるか？
   • 標準化された効果量は、その分野固有の文脈を踏まえて解釈されているか？

6. 欠測データ

   • どの程度のデータが欠測しているか？
   • 欠測のメカニズム（MCAR、MAR、MNAR）は考慮されているか？
   • 欠測データはどのように扱われたか（削除、代入、最尤法）？
   • 欠測データが結果にバイアスを与えている可能性はないか？

7. 回帰とモデリング

   • モデルは過剰適合していないか（説明変数が多すぎる、交差検証がない）？
   • データの範囲外での予測（外挿）は行われていないか？
   • 多重共線性の問題は対処されているか？
   • モデルの前提条件は確認されているか？

8. よくある落とし穴

   • 相関を因果と取り違えていないか
   • 平均への回帰を無視していないか
   • 基礎率の無視
   • テキサス狙撃兵の誤謬（ノイズの中にパターンを見出すこと）
   • シンプソンのパラドックス（サブグループによる交絡）

参考: 詳細な落とし穴と正しい実践については references/statistical_pitfalls.md を参照してください。

4. エビデンスの質の評価

エビデンスの強さと質を体系的に評価します。

適用するタイミング:

• 意思決定のためにエビデンスを比較検討するとき
• 文献レビューを実施するとき
• 相反する知見を比較するとき
• 結論に対する確信度を判断するとき

エビデンス評価フレームワーク:

1. 研究デザインの階層

   • システマティックレビュー/メタアナリシス（介入効果については最上位）
   • ランダム化比較試験（RCT）
   • コホート研究 -症例対照研究
   • 横断研究
   • 症例集積/症例報告
   • 専門家の意見（最下位）

   重要: 上位のデザインが常に質が高いとは限りません。適切に設計された観察研究は、質の低い RCT よりも強いエビデンスとなる場合があります。

2. 研究デザイン内での質

   • バイアスリスクの評価（適切なツールを使用: Cochrane ROB、Newcastle-Ottawa など）
   • 方法論的厳密性
   • 透明性と報告の網羅性
   • 利益相反

3. GRADE の検討事項（該当する場合）

   • 研究デザインから開始（RCT = 高、観察研究 = 低）
   • 格下げの要因:
     • バイアスリスク
     • 研究間の非一貫性
     • 間接性（対象集団/介入/アウトカムの不一致）
     • 不精確性（信頼区間が広い、サンプルサイズが小さい）
     • 出版バイアス
   • 格上げの要因:
     • 大きな効果量
     • 用量反応関係
     • 交絡因子によって効果が減少する（増加ではなく）場合

4. エビデンスの収束性

   • より強いとき:
     • 複数の独立した再現研究が存在する
     • 異なる研究グループや設定で検証されている
     • 異なる方法論が同じ結論に収束している
     • 機序に関する証拠と実証的証拠が一致している
   • より弱いとき:
     • 単一の研究または研究グループによるものである
     • 文献中に相反する知見がある
     • 出版バイアスが明らかである
     • 再現の試みがない

5. 文脈的要因

   • 生物学的/理論的な妥当性
   • 既存の知識との整合性
   • 時間的先行性（原因が結果に先行する）
   • 関係の特異性
   • 関連の強さ

参考: 詳細な階層、GRADE システム、質の評価ツールについては references/evidence_hierarchy.md を参照してください。

5. 論理的誤謬の特定

科学的な論証や主張に含まれる論理的誤りを検出し、その名称を示します。

適用するタイミング:

• 科学的な主張を評価するとき
• 考察・結論のセクションをレビューするとき
• 一般向けの科学コミュニケーションを評価するとき
• 誤った推論を特定するとき

科学分野でよく見られる誤謬:

1. 因果関係の誤謬

   • Post hoc ergo propter hoc（前後即因果）: 「BはAの後に起きた、ゆえにAがBを引き起こした」
   • 相関 = 因果: 関連性と因果関係を混同すること
   • 逆の因果: 原因と結果を取り違えること
   • 単一原因の誤謬: 複雑な結果を一つの要因に帰すること

2. 一般化の誤謬

   • 早まった一般化: 小さなサンプルから広範な結論を導くこと
   • 逸話の誤謬: 個人的な体験談を証拠とみなすこと
   • チェリーピッキング: 支持する証拠だけを選び出すこと
   • 生態学的誤謬: 集団の傾向を個人に当てはめること

3. 権威と情報源に関する誤謬

   • 権威への訴え: 「専門家がそう言ったのだから正しい」（根拠なしに）
   • 人身攻撃（ad hominem）: 論証ではなく人物を攻撃すること
   • 起源の誤謬: 内容の是非ではなく、その起源によって判断すること
   • 自然への訴え: 「自然由来＝良い・安全」

4. 統計的な誤謬

   • 基準率の無視: 事前確率を無視すること
   • テキサスの狙撃兵: ランダムなデータの中にパターンを見いだすこと
   • 多重比較: 複数の検定に対して補正を行わないこと
   • 検察官の誤謬: P(E|H) と P(H|E) を混同すること

5. 構造上の誤謬

   • 偽の二分法: 選択肢が他にもあるのに「AかBか」と限定すること
   • ゴールポストの移動: 証拠の基準が満たされた後で、その基準を変更すること
   • 循環論法（先決問題要求）: 結論を前提として用いる循環的な推論
   • わら人形論法: 相手の主張を歪めて曲解し、それを攻撃すること

6. 科学に特有の誤謬

   • ガリレオ・ギャンビット: 「ガリレオも笑われたのだから、私の異端的な考えも正しい」
   • 無知に基づく論証: 「偽であることが証明されていない、ゆえに真である」
   • ニルヴァーナの誤謬: 不完全な解決策を退けること
   • 反証不可能性: 検証不可能な主張をすること

誤謬を特定するときは:

• 具体的な誤謬の名称を示す
• その推論がなぜ誤っているのかを説明する
• 妥当な推論のために必要となる証拠を明らかにする
• 誤った推論があるからといって結論が偽であることが証明されるわけではなく、この論証がその結論を支持しないにすぎない、と注記する

参考: 例と検出方法を収録した包括的な誤謬カタログについては references/logical_fallacies.md を参照してください。

6. 研究デザインのガイダンス

厳密な研究を計画するための建設的なガイダンスを提供します。

適用場面:

• 新しい実験のデザインを支援するとき
• 研究プロジェクトを計画するとき
• 研究提案をレビューするとき
• 研究プロトコルを改善するとき

デザインのプロセス:

1. 研究課題の精緻化

   • 課題が具体的で、答えが得られ、反証可能であることを確認する
   • 先行研究のギャップや矛盾に対応しているかを検証する
   • 実現可能性（リソース、倫理、時間）を確認する
   • 変数を操作的に定義する

2. デザインの選択

   • 課題に合ったデザインを選ぶ（因果関係 → 実験的研究、関連性 → 観察的研究）
   • 実現可能性と倫理的制約を考慮する
   • 被験者間デザイン、被験者内デザイン、混合デザインから選択する
   • 複数の要因を検証する場合は要因計画を立てる

3. バイアス最小化の戦略

   • 可能な場合はランダム化を実施する
   • 実行可能なすべての段階（被験者、提供者、評価者）で盲検化を計画する
   • 交絡を特定し、その統制を計画する（ランダム化、マッチング、層化、統計的調整）
   • すべての手順を標準化する
   • 脱落を最小限に抑える計画を立てる

4. サンプル計画

   • 事前検定力分析を実施する（想定効果量、目標検定力、有意水準を明示する）
   • サンプルサイズに脱落を織り込む
   • 明確な選択基準・除外基準を定める
   • 募集戦略と実現可能性を検討する
   • サンプルの代表性を確保する計画を立てる

5. 測定の戦略

   • 妥当性と信頼性が検証された測定器を選ぶ
   • 可能な場合は客観的指標を用いる
   • 主要な構成概念について複数の測定を計画する（トライアンギュレーション）
   • 想定される変化に対して測定が感度を持つようにする
   • 評価者間信頼性の手順を確立する

6. 分析計画

   • すべての仮説と分析を事前に特定しておく
   • 主要アウトカムを明確に指定する
   • 前提条件の確認を伴う統計検定を計画する
   • 欠測データの扱いを明記する
   • 効果量と信頼区間を報告する計画を立てる
   • 多重比較の補正を検討する

7. 透明性と厳密性

   • 研究と分析計画を事前登録する
   • 報告ガイドライン（CONSORT、STROBE、PRISMA）を利用する
   • 有意な結果だけでなく、すべてのアウトカムを報告する計画を立てる
   • 検証的分析と探索的分析を区別する
   • データ・コードの共有を約束する

参考: 課題から成果公表までのすべての段階を網羅した包括的なデザインチェックリストについては、references/experimental_design.md を参照してください。

7. 主張の評価

科学的な主張について、妥当性と裏付けを体系的に評価します。

適用場面:

• 論文の結論を評価するとき
• 研究に関するメディア報道を評価するとき
• 要旨や序論の主張を確認するとき
• データが結論を支持しているかを確認するとき

主張の評価プロセス:

1. 主張を特定する

   • 正確には何が主張されているのか?
   • それは因果関係の主張か、関連性の主張か、記述的な主張か?
   • 主張の強さはどの程度か(証明済み、可能性が高い、示唆される、可能性がある)?

2. 根拠を評価する

   • どのような根拠が提示されているか?
   • 根拠は直接的か間接的か?
   • 根拠は主張の強さに見合っているか?
   • 代替的な説明は排除されているか?

3. 論理的なつながりを確認する

   • 結論はデータから導かれているか?
   • 論理の飛躍はないか?
   • 因果関係の主張を、相関データで裏付けようとしていないか?
   • 限界が明示されているか?

4. 妥当性の釣り合いを評価する

   • 確信の度合いは根拠の強さに見合っているか?
   • 留保を示す表現は適切に使われているか?
   • 限界が軽視されていないか?
   • 推測であることが明確に示されているか?

5. 過度な一般化を確認する

   • 主張は調査対象の標本を超えて拡張されていないか?
   • 対象集団の制約が明示されているか?
   • 文脈への依存性が認識されているか?
   • 一般化に関する注意書きが含まれているか?

6. 危険信号

   • 相関研究に基づく因果的な表現
   • 「証明する」や絶対的な確実性の主張
   • 都合のよい引用(チェリーピッキング)
   • 矛盾する根拠の無視
   • 限界の軽視
   • データを超えた外挿

具体的なフィードバックを提供する:

• 問題のある主張を引用する
• 主張を裏付けるためにどのような根拠が必要かを説明する
• 必要に応じて、適切な留保表現を提案する
• データ(何が見つかったか)と解釈(それが何を意味するか)を区別する

適用のガイドライン

一般的なアプローチ

1. 建設的であること

   • 弱点だけでなく強みも指摘する
   • 単に批判するのではなく、改善策を提案する
   • 致命的な欠陥と軽微な限界を区別する
   • すべての研究には限界があることを認識する

2. 具体的であること

   • 具体的な箇所を示す(例:「表2は…を示している」や「方法のセクションでは…」)
   • 問題のある記述を引用する
   • 問題の具体例を挙げる
   • 違反している原則や基準を明示する

3. 釣り合いを保つこと

   • 批判の重大さを問題の重要性に見合ったものにする
   • 妥当性への重大な脅威と些細な懸念を区別する
   • 問題が主要な結論に影響するかを検討する
   • 自身の評価における不確実性を認める

4. 一貫した基準を適用すること

   • すべての研究に同じ基準を用いる
   • 気に入らない結果に対して厳しすぎる基準を適用しない
   • 自身が持つ潜在的なバイアスを認める
   • 結果ではなく方法論に基づいて判断する

5. 文脈を考慮すること

   • 実務上および倫理上の制約を認める
   • 効果量や方法に関する分野固有の慣行を考慮する
   • 探索的な文脈と確証的な文脈を区別する
   • 研究を評価する際には資源の制約を考慮する

批評を行う場合

フィードバックの構成:

1. 要約: 評価の対象となったものの簡潔な概要
2. 強み: うまく行われている点(信頼性と学習のために重要)
3. 懸念事項: 重大度別に整理した問題点
   • 重大な問題(主要な結論の妥当性を脅かすもの)
   • 重要な問題(解釈に影響するが致命的ではないもの)
   • 軽微な問題(言及する価値はあるが結論は変えないもの)
4. 具体的な推奨事項: 改善のための実行可能な提案
5. 総合評価: 根拠の質と、何が結論づけられるかについてのバランスの取れた結論

正確な用語を使用する:

• 特定のバイアス、誤謬、方法論上の問題を明示する
• 確立された基準やガイドラインを参照する
• 科学的方法論の原則を引用する
• 専門用語を正確に使用する

不確実な場合

• 不確実性を認める: 「これは X または Y である可能性があります。必要な追加情報は Z です」
• 確認のための質問をする: 「[方法論の詳細]は実施されましたか？これは解釈に影響します。」
• 条件付きの評価を示す: 「X が実施されていれば Y が成り立ちます。実施されていなければ Z が懸念されます」
• 不確実性を解消するために必要な追加情報を明記する

参考資料

このスキルには、批判的評価のための詳細な枠組みを提供する包括的な参考資料が含まれています。

• references/scientific_method.md - 科学的方法の中核原則、科学的プロセス、批判的評価基準、科学的主張における危険信号、因果推論の基準、査読、オープンサイエンスの原則

• references/common_biases.md - 認知バイアス、実験バイアス、方法論的バイアス、統計的バイアス、分析バイアスの包括的な分類と、検出および軽減の戦略

• references/statistical_pitfalls.md - p値の誤解、多重比較の問題、サンプルサイズの問題、効果量の誤り、相関と因果の混同、回帰の落とし穴、メタanalysisの問題などを含む、一般的な統計的誤りと誤解

• references/evidence_hierarchy.md - 伝統的なエビデンス階層、GRADE システム、研究の質の評価基準、分野別の考慮事項、エビデンス統合の原則、実践的な意思決定の枠組み

• references/logical_fallacies.md - 科学的議論によく見られる論理的誤謬を種類別（因果、一般化、権威、関連性、構造、統計）に整理し、例と検出戦略を示したもの

• references/experimental_design.md - 研究課題、仮説、研究デザインの選択、変数、標本抽出、盲検化、ランダム化、対照群、手順、測定、バイアスの最小化、データ管理、統計的計画、倫理的配慮、妥当性への脅威、報告基準を網羅した包括的な実験デザインのチェックリスト

参考資料を参照するタイミング:

• 詳細な枠組みが必要な場合は、参考資料をコンテキストに読み込む
• 特定のトピックを検索するには grep を使う: grep -r "pattern" references/
• 参考資料は詳細を提供し、SKILL.md は手続き的なガイダンスを提供する
• 包括的なリスト、詳細な基準、具体例は参考資料を参照する

覚えておくべきこと

科学的批判的思考とは:

• 確立された原則を用いた体系的な評価
• 科学を改善する建設的な批評
• エビデンスの強さに見合った確信度
• 不確実性と限界についての透明性
• 基準の一貫した適用
• すべての研究には限界があるという認識
• 懐疑心と、エビデンスに対する受容性のバランス

常に区別すべきこと:

• データ（観察された内容）と解釈（その意味するところ）
• 相関と因果
• 統計的有意性と実質的な重要性
• 探索的な知見と確証的な知見
• 既知のことと不確実なこと
• 主張に対する反証と、帰無仮説を支持する証拠

批判的思考の目標:

1. 長所と短所を正確に特定する
2. どの結論が裏付けられるかを判断する
3. 限界と不確実性を認識する
4. 今後の研究に向けた改善策を提案する
5. 科学的理解を前進させる