peer-review

科学論文の批判的評価と査読

概要

査読は、科学論文を評価するための体系的なプロセスです。方法論、統計、研究デザイン、再現性、倫理、報告基準を評価します。分野を問わず、論文や研究助成金の審査にこのスキルを活用し、建設的かつ厳密な評価を行ってください。

このスキルを使用する場面

このスキルは、次の場合に使用してください：

• 学術誌に投稿された科学論文の査読を行う
• 研究助成金の申請書や研究計画を評価する
• 方法論と実験デザインの厳密さを評価する
• 統計解析と報告基準を査読する
• 再現性とデータの利用可能性を評価する
• 報告ガイドライン（CONSORT、STROBE、PRISMA）への準拠を確認する
• 科学的な文章について建設的なフィードバックを提供する

査読ワークフロー

論文の種類や分野に応じて評価の深さと焦点を調整しながら、以下の段階に沿って体系的に査読を行ってください。

ステージ 1：初期評価

まず論文の範囲、新規性、全体的な質を判断するために、概括的な評価を行います。

主な確認事項：

• 中心となる研究上の問い、または仮説は何ですか？
• 主な知見と結論は何ですか？
• 研究は科学的に妥当で、重要なものですか？
• 研究は投稿先に適していますか？
• 掲載を妨げるような重大な欠陥がすぐに見つかりますか？

出力： 論文の要点と初期評価をまとめた簡潔な要約（2～3文）。

ステージ 2：各セクションの詳細な査読

論文の各セクションを綿密に評価し、具体的な懸念事項と長所を記録します。

抄録とタイトル

• 正確性： 抄録は研究の内容と結論を正確に反映していますか？
• 明瞭さ： タイトルは具体的で、正確かつ有益ですか？
• 網羅性： 主な知見と方法が適切に要約されていますか？
• 読みやすさ： 抄録は幅広い科学分野の読者に理解できますか？

序論

• 背景： 背景情報は十分で、最新のものですか？
• 論拠： 研究上の問いの動機と妥当性が明確に示されていますか？
• 新規性： 研究の独自性と重要性が明確に述べられていますか？
• 文献： 関連する先行研究が適切に引用されていますか？
• 目的： 研究目的や仮説が明確に示されていますか？

方法

• 再現性： 別の研究者が記載された説明に基づいて研究を再現できますか？
• 厳密性： 研究上の問いに答えるうえで、方法は適切ですか？
• 詳細： プロトコル、試薬、機器、パラメーターは十分に記述されていますか？
• 倫理： 倫理審査の承認、同意、データ管理について適切に記録されていますか？
• 統計： 統計手法は適切で、明確に記述され、妥当性が示されていますか？
• 検証： 対照、反復、検証方法は十分ですか？

確認すべき重要な要素：

• サンプルサイズと検出力計算
• 無作為化と盲検化の手順
• 選択基準と除外基準
• データ収集プロトコル
• 計算手法とソフトウェアのバージョン
• 統計検定と多重比較の補正

結果

• 提示方法： 結果は論理的かつ明瞭に提示されていますか？
• 図表： 図表は適切で、明瞭かつ適切にラベル付けされていますか？
• 統計： 統計結果（効果量、信頼区間、p 値）は適切に報告されていますか？
• 客観性： 過剰な解釈を避けて結果が提示されていますか？
• 網羅性： 否定的な結果も含め、関連する結果がすべて記載されていますか？
• 再現性： 生データまたは要約統計量が提示されていますか？

よくある問題点：

• 結果の選択的な報告
• 不適切な統計検定
• エラーバーや変動性の指標の欠落
• 過剰適合または循環論法的な解析
• バッチ効果や交絡変数
• 対照群または検証実験の欠落

考察

• 解釈： 結論はデータによって裏付けられていますか？
• 限界： 研究の限界が認識され、議論されていますか？
• 文脈： 知見は既存の文献の中に適切に位置づけられていますか？
• 推測： 推測とデータに裏付けられた結論は明確に区別されていますか？
• 重要性： 意義と重要性は明確に示されていますか？
• 今後の方向性： 次の段階や未解決の疑問が議論されていますか？

懸念事項：

• 結論の誇張
• 矛盾する証拠の無視
• 相関データからの因果関係の主張
• 限界に関する議論の不足
• メカニズムの証拠がないままの機序に関する主張

参考文献

• 網羅性： 関連する重要な論文が引用されていますか？
• 新しさ： 最近の重要な研究が含まれていますか？
• バランス： 異なる見解が適切に引用されていますか？
• 正確性： 引用は正確かつ適切ですか？
• 自己引用： 過剰または不適切な自己引用はありませんか？

ステージ 3：方法論と統計の厳密性

よくある落とし穴に特に注意しながら、研究の技術的な品質と厳密性を評価します。

統計評価：

• 統計的な仮定（正規性、独立性、等分散性）は満たされていますか？
• p 値と併せて効果量が報告されていますか？
• 多重検定の補正は適切に適用されていますか？
• 信頼区間が示されていますか？
• サンプルサイズは検出力分析によって正当化されていますか？
• パラメトリック検定とノンパラメトリック検定は適切に選択されていますか？
• 欠測データは適切に処理されていますか？
• 探索的解析と確認的解析は区別されていますか？

実験計画：

• 対照は適切かつ十分ですか？
• 反復は十分ですか（生物学的および技術的）？
• 潜在的な交絡因子が特定され、制御されていますか？
• ランダム化は適切に実施されていますか？
• 盲検化の手順は十分ですか？
• 実験計画は研究課題に対して最適ですか？

計算・バイオインフォマティクス：

• 計算手法は明確に説明され、正当化されていますか？
• ソフトウェアのバージョンとパラメーターが記録されていますか？
• 再現性を確保するためにコードが公開されていますか？
• アルゴリズムとモデルは適切に検証されていますか？
• 計算手法の前提は満たされていますか？
• バッチ補正は適切に適用されていますか？

ステージ 4：再現性と透明性

研究が、再現性とオープンサイエンスに関する現代の基準を満たしているか評価します。

データの利用可能性：

• 生データは適切なリポジトリに登録されていますか？
• 公開データベースのアクセッション番号が記載されていますか？
• データ共有の制限（例：患者のプライバシー）は正当化されていますか？
• データ形式は標準的で、利用しやすいものですか？

コードと資料：

• 解析コードは公開されていますか（GitHub、Zenodo など）？
• 独自の資料は利用可能ですか、または再作成に十分な詳細が記載されていますか？
• プロトコルは十分に詳細に記載されていますか？

報告基準：

• 原稿は分野固有の報告ガイドライン（CONSORT、PRISMA、ARRIVE、MIAME、MINSEQE など）に従っていますか？
• 一般的なガイドラインについては references/reporting_standards.md を参照してください
• 該当するチェックリストのすべての項目に対応していますか？

ステージ 5：図表とデータの提示

データの可視化の品質、明瞭さ、完全性を評価します。

品質の確認：

• 図は高解像度で、明確にラベル付けされていますか？
• 軸には単位を含め、適切にラベル付けされていますか？
• 誤差範囲（SD、SEM、CI）の定義は示されていますか？
• 統計的有意性を示す指標について説明されていますか？
• 配色は適切で、誰もが見やすいもの（色覚多様性に配慮したもの）ですか？
• 画像にスケールバーは含まれていますか？
• データの種類に適した可視化方法が使われていますか？

完全性の確認：

• 画像の改変（重複、継ぎ合わせ）の兆候はありますか？
• ウェスタンブロットやゲルは適切に提示されていますか？
• 代表画像は本当に代表的なものですか？
• すべての条件が示されていますか（選択的な提示はありませんか）？

明瞭さ：

• 図は凡例と合わせて単独で理解できますか？
• 各図のメッセージは一目で明確に伝わりますか？
• 重複する図やパネルはありませんか？
• データは図より表で示すほうが適切ではありませんか？

ステージ 6：倫理的配慮

研究が倫理基準およびガイドラインを満たしているか確認します。

ヒトを対象とする研究：

• IRB／倫理委員会の承認が記載されていますか？
• インフォームド・コンセントについて説明されていますか？
• 脆弱な立場にある集団は適切に保護されていますか？
• 患者のプライバシーは十分に保護されていますか？
• 潜在的な利益相反は開示されていますか？

動物実験：

• IACUCまたは同等の機関による承認が記載されていますか？
• 実験手順は人道的で、正当化されていますか？
• 3R（代替、削減、改善）は考慮されていますか？
• 安楽死の方法は適切ですか？

研究の公正性：

• データの捏造または改ざんに関する懸念はありますか？
• 著者資格は適切で、正当化されていますか？
• 利益相反は開示されていますか？
• 資金源は開示されていますか？
• 盗用または重複出版に関する懸念はありますか？

ステージ 7：文章の質と明瞭さ

原稿の明瞭さ、構成、読みやすさを評価します。

構成と整理：

• 原稿は論理的に構成されていますか？
• 各節は一貫性を保って展開されていますか？
• 考えから考えへのつながりは明確ですか？
• 論旨は説得力があり、明瞭ですか？

文章の質：

• 表現は明瞭で、正確かつ簡潔ですか？
• 専門用語や略語は最小限に抑えられ、定義されていますか？
• 文法とスペルは正確ですか？
• 不必要に複雑な文はありませんか？
• 受動態を使いすぎていませんか？

アクセシビリティ：

• 専門家でない読者も主な知見を理解できますか？
• 専門用語は説明されていますか？
• 幅広い読者にとって、その意義は明確ですか？

査読レポートの構成

問題の優先度を示し、実行可能な指針を提示できるよう、階層的な構成でフィードバックを整理します。

要約

全体的な評価を簡潔に述べます（1～2段落）。

• 研究の簡潔な概要
• 全体的な推奨（採択、軽微な修正、大幅な修正、却下）
• 主な長所（箇条書きで2～3点）
• 主な短所（箇条書きで2～3点）
• 重要性と妥当性に関する総合評価

主要なコメント

原稿の妥当性、解釈可能性、または重要性に大きく影響する重大な問題を列挙します。参照しやすいよう、順番に番号を付けます。

主要なコメントに含まれるもの：

• 根本的な方法論上の欠陥
• 不適切な統計解析
• 裏付けのない、または誇張された結論
• 重要な対照条件や実験の欠如
• 再現性に関する重大な懸念
• 文献レビューにおける重大な不足
• 倫理上の懸念

主要なコメントごとに：

1. 問題点を明確に述べます
2. なぜ問題なのかを説明します
3. 具体的な解決策または追加実験を提案します
4. 対応が出版に不可欠かどうかを示します

軽微なコメント

明確さ、網羅性、または見せ方を改善する、比較的重要度の低い問題を列挙してください。番号は順番に付けてください。

軽微なコメントに含まれることが多いもの：

• 図のラベルや凡例が不明確
• 方法の詳細が不足している
• 誤字や文法上の誤り
• データの提示方法を改善する提案
• 軽微な統計報告上の問題
• 結論を強化する補足解析
• 説明を求める質問

各軽微なコメントについて：

1. 該当箇所（セクション、段落、図）を特定する
2. 問題を明確に述べる
3. 対処方法を提案する

具体的な行ごとのコメント（任意）

詳細なフィードバックが必要な原稿については、セクション別または行ごとのコメントを記載してください。

• 該当するページ／行番号またはセクションを示す
• 事実誤認、不明確な記述、または引用の欠落を指摘する
• 明確さを高めるための具体的な修正を提案する

著者への質問

説明が必要な具体的な質問を列挙してください。

• 不明確な方法の詳細
• 一見矛盾している結果
• 研究を評価するうえで必要な情報の欠落
• 追加のデータや解析を求める質問

トーンとアプローチ

査読全体を通じて、建設的で、専門的かつ協調的なトーンを保ってください。

望ましい実践：

• 建設的であること： 批判を改善の機会として提示する
• 具体的であること： 具体例を挙げ、実行可能な提案をする
• バランスを保つこと： 長所と短所の両方に言及する
• 敬意を払うこと： 著者が多大な労力を費やしていることを忘れない
• 客観的であること： 研究者ではなく、科学的内容に焦点を当てる
• 徹底すること： 問題を見落とさず、優先順位を適切に付ける
• 明確であること： 曖昧な批判や漠然とした批判を避ける

避けるべきこと：

• 個人攻撃や見下すような表現
• 皮肉や横柄な態度
• 具体例のない曖昧な批判
• 研究の範囲を超える不要な実験の要求
• ベストプラクティスではなく個人的な好みへの準拠を要求すること
• ダブルブラインド査読の場合に身元を明かすこと

原稿の種類別の留意点

原著論文

• 厳密性、再現性、新規性を重視する
• 重要性と影響を評価する
• 結論がデータに基づいていることを確認する
• 方法と適切な対照が十分に記載されているか確認する

レビューおよびメタアナリシス

• 文献調査の網羅性を評価する
• 検索戦略と採用／除外基準を評価する
• 体系的なアプローチと偏りの有無を確認する
• 単なる要約ではなく、批判的な分析が行われているか確認する
• メタアナリシスでは、統計的手法と異質性を評価する

方法論論文

• 検証と既存手法との比較を重視する
• 再現性とプロトコル／コードの利用可能性を評価する
• 既存のアプローチに対する改善点を評価する
• 実装に必要な詳細が十分に記載されているか確認する

短報／レター

• 簡潔さを考慮して期待水準を調整する
• 中核となる知見の厳密性と重要性を確保する
• 形式が知見に適していることを確認する

プレプリント

• 正式な査読を受けていないことを認識する
• ジャーナルへの投稿原稿よりも推敲が不十分な場合がある
• 科学的妥当性については、引き続き厳格な基準を適用する
• 著者がジャーナル投稿前に改善できるよう、建設的なフィードバックを検討する

リソース

このスキルには、包括的な査読を支援する参考資料が含まれています。

references/reporting_standards.md

方法と結果の報告の網羅性を評価するための、各分野における主要な報告基準（CONSORT、PRISMA、ARRIVE、MIAME、STROBE など）のガイドライン。

references/common_issues.md

査読でよく見られる方法論上および統計上の問題の一覧と、その特定および対処に関するガイダンス。

最終チェックリスト

レビューを確定する前に、以下を確認してください。

• 要約文で全体的な評価が明確に伝わっている
• 重大な懸念点が明確に特定され、その根拠が示されている
• 修正案が具体的で、実行可能である
• 軽微な問題も指摘され、適切に分類されている
• 統計手法が評価されている
• 再現性とデータの利用可能性が評価されている
• 倫理的な考慮事項が確認されている
• 図表の品質と信頼性が評価されている
• 文章の質が評価されている
• 全体を通して、建設的で専門的な口調が保たれている
• 原稿の範囲に対して、レビューが十分でありながら過度になっていない
• 推奨事項が、特定された問題と一致している