scientific-critical-thinking

科学的クリティカルシンキング

概要

クリティカルシンキングは、科学的な厳密性を評価するための体系的なプロセスです。GRADE と Cochrane ROB のフレームワークを用いて、方法論、実験計画、統計的妥当性、バイアス、交絡、エビデンスの質を評価します。科学的主張を批判的に分析する際に、このスキルを活用してください。

このスキルを使用する場面

このスキルは、次のような場合に使用してください。

• 研究の方法論や実験計画を評価するとき
• 統計的妥当性やエビデンスの質を評価するとき
• 研究におけるバイアスや交絡を特定するとき
• 科学的主張や結論を検証するとき
• システマティックレビューやメタアナリシスを実施するとき
• GRADE または Cochrane のバイアスリスク評価を適用するとき
• 研究論文を批判的に分析するとき

視覚資料（任意）

ユーザーが図を明示的に求めた場合（たとえば、GRADE のフローチャート、バイアス判定ツリー、エビデンスの質のフレームワーク）のみ、図を追加してください。

図が役立つ場合：

• クリティカルシンキングのフレームワーク図
• バイアス特定の判定ツリー
• エビデンスの質を評価するフローチャート
• GRADE またはバイアスリスク評価のフレームワーク

図の作成方法：

• 推奨： scientific-schematics スキルを使い、自然言語による説明から AI 生成の図を作成します
• 代替手段： 使い慣れたツール（draw.io、PowerPoint、matplotlib など）で図を作成します

OPENROUTER_API_KEY を設定し、リポジトリのルートから実行します。

python skills/scientific-schematics/scripts/generate_schematic.py "GRADE evidence assessment flowchart with downgrade and upgrade factors" -o figures/grade_flowchart.png --doc-type report

開示事項： AI による図の生成では、プロンプトが OpenRouter（サードパーティ API）に送信されます。その送信がプロジェクトに適切でない限り、未公開の機密情報を含めないでください。

---

主な機能

質問項目と回答が示唆する内容を含む 7 つの機能領域については、 references/core_capabilities.md を参照してください。

1. 方法論の批評 — 研究デザイン、対照、交絡、および手法が問われている問題に答えられるかどうか。
2. バイアスの検出 — 選択バイアス、測定バイアス、出版バイアス、認知バイアス。
3. 統計解析の評価 — 検出力、多重性、p 値の誤用、効果量。
4. エビデンスの質の評価 — 研究の階層、再現性、推論の強さ。
5. 論理的誤謬の特定 — 科学的な議論で繰り返し見られる誤謬。
6. 研究デザインに関する指針 — データ収集前にデザインを強化する方法。
7. 主張の評価 — 示されたことと、主張されていることを区別します。

トピックごとの詳細については、references/scientific_method.md、 references/common_biases.md、 references/statistical_pitfalls.md、 references/evidence_hierarchy.md、 references/logical_fallacies.md、および references/experimental_design.md を参照してください。

適用ガイドライン

一般的なアプローチ

1. 建設的であること

   • 強みと弱みの両方を指摘する
   • 批判するだけでなく、改善案を提案する
   • 致命的な欠陥と軽微な制約を区別する
   • すべての研究には限界があることを認識する

2. 具体的であること

   • 具体的な箇所を示す（例：「表2では……」「方法のセクションでは……」）
   • 問題のある記述を引用する
   • 問題の具体例を挙げる
   • 違反している具体的な原則や基準を参照する

3. 釣り合いを保つこと

   • 問題の重要性に応じて、批判の深刻さを調整する
   • 妥当性に対する重大な脅威と軽微な懸念を区別する
   • 問題が主要な結論に影響するかどうかを検討する
   • 自身の評価にも不確実性があることを認める

4. 一貫した基準を適用すること

   • すべての研究に同じ基準を用いる
   • 気に入らない研究結果に対して、より厳しい基準を適用しない
   • 自身に潜在的なバイアスがあることを認める
   • 結果ではなく、方法論に基づいて判断する

5. 文脈を考慮すること

   • 実務上および倫理上の制約を認める
   • 効果量や手法について、その分野固有の規範を考慮する
   • 探索的な研究と確認的な研究を区別する
   • 研究を評価する際に、リソースの制約を考慮する

批評を行う際

以下の構成でフィードバックをまとめます。

1. 要約： 評価対象の概要を簡潔に述べる
2. 強み： 適切に行われた点を述べる（信頼性と学びを高めるために重要）
3. 懸念事項： 深刻度に応じて問題を整理する
   • 重大な問題（主な結論の妥当性を脅かす）
   • 重要な問題（解釈に影響するが、致命的ではない）
   • 軽微な問題（指摘する価値はあるが、結論を変えるものではない）
4. 具体的な推奨事項： 実行可能な改善案を提示する
5. 総合評価： 証拠の質と、そこから導ける結論について、バランスの取れた評価を示す

正確な用語を使います。

• 具体的なバイアス、誤謬、方法論上の問題に名前を付ける
• 確立された基準やガイドラインを参照する
• 科学的方法論の原則を引用する
• 専門用語を正確に使う

不確実な場合

• 不確実性を認めます。「これはXともYとも考えられます。判断にはZについての追加情報が必要です」
• 明確化を求めます。「［方法論上の詳細］は実施されましたか？ 解釈に影響します」
• 条件付きの評価を示します。「Xが実施されていればYとなります。実施されていなければZが懸念されます」
• 不確実性の解消に必要な追加情報を示します

参考資料

このスキルには、批判的評価のための詳細なフレームワークを提供する包括的な参考資料が含まれています。

• references/scientific_method.md - 科学的方法論の中核原則、科学的プロセス、批判的評価の基準、科学的主張における危険信号、因果推論の基準、査読、オープンサイエンスの原則

• references/common_biases.md - 認知、実験、方法論、統計、分析に関するバイアスの包括的な分類と、それらの検出・軽減策

• references/statistical_pitfalls.md - p値の誤解、多重比較の問題、サンプルサイズの問題、効果量の誤り、相関と因果の混同、回帰分析の落とし穴、メタ分析の問題など、よくある統計上の誤りと誤解

• references/evidence_hierarchy.md - 従来のエビデンス階層、GRADEシステム、研究の質を評価する基準、分野固有の考慮事項、エビデンス統合の原則、実践的な意思決定フレームワーク

• references/logical_fallacies.md - 因果関係、一般化、権威、関連性、構造、統計の種類別に整理した、科学的議論でよく見られる論理的誤謬と、その例および検出方法

• references/experimental_design.md - 研究課題、仮説、研究デザインの選択、変数、サンプリング、盲検化、ランダム化、対照群、手順、測定、バイアスの最小化、データ管理、統計計画、倫理的配慮、妥当性への脅威、報告基準を網羅する包括的な実験デザインのチェックリスト

参考資料を参照する場合：

• 詳細なフレームワークが必要なときは、参考資料をコンテキストに読み込みます
• 特定のトピックを参考資料から検索するには、grepを使用します：grep -r "pattern" references/
• 参考資料は詳細な情報を提供し、SKILL.mdは手順を説明します
• 包括的な一覧、詳細な基準、具体例については、参考資料を参照します

心に留めておくこと

科学的な批判的思考とは、次のことです。

• 確立された原則に基づいて体系的に評価すること
• 科学の発展につながる建設的な批評を行うこと
• エビデンスの強さに応じた確信度を示すこと
• 不確実性と限界について透明性を保つこと
• 基準を一貫して適用すること
• すべての研究に限界があると認識すること
• 懐疑的な姿勢とエビデンスを受け入れる姿勢のバランスを取ること

常に次の違いを区別します。

• データ（観察されたこと）と解釈（その意味）
• 相関と因果関係
• 統計的有意性と実践的な重要性
• 探索的知見と検証的知見
• 既知のことと不確実なこと
• 主張に反するエビデンスと帰無仮説を支持するエビデンス

批判的思考の目標：

1. 強みと弱みを正確に特定する
2. どの結論がエビデンスによって支持されているかを判断する
3. 限界と不確実性を認識する
4. 今後の研究に向けた改善策を提案する
5. 科学的理解を深める

エージェントの作業手順

1. 環境を確認します。 作業を始める前に、ユーザーの原稿、データ、図表、投稿先を収集します。
2. 入力内容を明確にします。 データまたはユーザーに確認して、形式、識別子、パラメーターを確定します。結果を左右する値を推測せず、ユーザーに尋ねてください。
3. まず小規模に実行します。 1つのセクションまたは段落を作成し、文体、構成、用語をユーザーに確認します。
4. 上記の指示と参考資料を使って、タスク全体を実行します。
5. 結果を検証します。 すべての主張がユーザーのデータまたは検証済みの情報源に基づいていること、数値が表や図と一致していること、引用が実在することを確認します（citation-verification）。
6. 報告します。 実行した内容（バージョン、コマンド、パラメーター）、確認した事項、未確定の事項を明記します。

このような場合	対応
主張に裏付けとなるデータや引用がない	裏付けを捏造せず、本文中に [citation needed] などの注記を付けます。
この手順に記載された関数、フラグ、エンドポイントがインストール済みバージョンにない	インストール済みバージョンの公式ドキュメント（help()、--help、公式ドキュメント）を確認し、適宜対応してユーザーに伝えます。APIを捏造してはいけません。
必須の入力、識別子、パラメーターが曖昧	ユーザーに尋ねるか、実行前に仮定を明示します。

インテグリティに関するルール

• 結果、パラメーター、識別子、引用、統計値を決して捏造しないでください。実行または検証できない場合は、その旨を明確に伝えます。
• 執筆者はユーザーです。ユーザーが提供または承認していない結果、参考文献、主張を追加してはいけません。
• ここに記載されたバージョン固有の情報は古くなっている可能性があるため、インストール済みバージョンの公式ドキュメントで確認します。
• 費用が発生する操作、共有GPUやクラウドの利用枠を消費する操作、個人データや患者データに触れる操作、元に戻せない操作を行う前に、ユーザーの許可を得てください。

関連スキル

• bgpt-paper-search：BGPT MCP サーバーを通じて科学論文を検索し、全文研究から抽出された構造化実験データを取得します。
• systematic-review-prisma：PRISMA 2020 基準に沿って、システマティックレビューとメタ分析を計画、実施、報告します。
• peer-review：根拠に基づいた建設的な査読原稿と、構造化された論文評価を作成します。