peer-review

科学的批判的評価と査読

概要

査読は、科学論文を体系的に評価するプロセスです。方法論、統計、研究デザイン、再現性、倫理、報告基準を評価します。このスキルは、分野を問わず、建設的で厳密な評価を行うための原稿審査および助成金審査に適用してください。

このスキルを使用するタイミング

このスキルは、次の場合に使用してください:

• ジャーナル向けの科学論文の査読を行う場合
• 助成金の提案書や研究申請書を評価する場合
• 方法論および実験デザインの厳密さを評価する場合
• 統計解析と報告基準を審査する場合
• 再現性とデータの利用可能性を評価する場合
• 報告ガイドライン(CONSORT、STROBE、PRISMA)への準拠を確認する場合
• 科学的な文章に対して建設的なフィードバックを提供する場合

科学的図式による視覚的強化

このスキルを使って文書を作成する際は、視覚的な伝達を高めるために、科学的な図やスキーマティクスの追加を必ず検討してください。

文書にまだスキーマティクスや図が含まれていない場合:

• scientific-schematics スキルを使用して、AI による出版品質の図を生成してください
• 希望する図を自然言語で説明するだけでかまいません
• Nano Banana Pro が自動的に図を生成し、レビューし、洗練させます

新規文書の場合: 本文で説明されている主要な概念、ワークフロー、アーキテクチャ、または関係性を視覚的に表現するため、科学的なスキーマティクスをデフォルトで生成してください。

スキーマティクスの生成方法:

python scripts/generate_schematic.py "your diagram description" -o figures/output.png

AI は自動的に次の処理を行います:

• 適切な書式で出版品質の画像を作成する
• 複数回の反復を通じてレビューと改良を行う
• アクセシビリティを確保する(色覚多様性に配慮し、高コントラストにする)
• 出力を figures/ ディレクトリに保存する

スキーマティクスを追加するタイミング:

• 査読ワークフローの図
• 評価基準の決定木
• 査読プロセスのフローチャート
• 方法論評価のフレームワーク
• 品質評価の可視化
• 報告ガイドラインへの準拠を示す図
• 視覚化によって理解が深まる複雑な概念すべて

スキーマティクスの作成に関する詳細なガイダンスについては、scientific-schematics スキルのドキュメントを参照してください。

---

査読ワークフロー

以下の段階を経て、体系的に査読を行ってください。原稿の種類と分野に応じて、深さと焦点を調整してください。

段階 1: 初期評価

高いレベルでの評価から始め、原稿の範囲、新規性、全体的な品質を判断します。

主要な質問:

• 研究の中心的な問いor仮説は何か?
• 主な知見と結論は何か?
• 研究は科学的に妥当で、重要性があるか?
• 研究は想定された掲載先に適しているか?
• 出版を妨げるような、即座に判明する重大な欠陥はあるか?

出力: 原稿の本質と初期の印象を捉えた簡潔な要約(2〜3 文)。

段階 2: セクションごとの詳細な査読

各原稿セクションについて徹底的に評価し、具体的な懸念点と長所を記録します。

要旨とタイトル

• 正確性: 要旨は研究の内容と結論を正確に反映しているか?
• 明確さ: タイトルは具体的で、正確かつ有益か?
• 完全性: 主要な知見と方法は適切に要約されているか?
• アクセシビリティ: 要旨は幅広い科学的読者層にとって理解しやすいか?

序論

• 背景: 背景情報は十分で最新のものか?
• 根拠: 研究の問いは明確に動機づけられ、正当化されているか?
• 新規性: 研究の独創性と重要性は明確に述べられているか?
• 文献: 関連する先行研究は適切に引用されているか?
• 目的: 研究の目的・仮説は明確に述べられているか?

Methods

• 再現性: 別の研究者が、提供された説明から研究を再現できるか？
• 厳密性: 手法は研究課題に取り組むのに適切か？
• 詳細さ: プロトコル、試薬、機器、パラメータが十分に記述されているか？
• 倫理: 倫理審査の承認、同意、データの取り扱いが適切に文書化されているか？
• 統計: 統計手法は適切で、明確に記述され、正当化されているか？
• 検証: 対照、反復、検証のアプローチは十分か？

確認すべき重要事項:

• サンプルサイズと検出力計算
• ランダム化とブラインド化の手順
• 組み入れ基準・除外基準
• データ収集プロトコル
• 計算手法とソフトウェアのバージョン
• 統計検定と多重比較の補正

Results

• 提示: 結果は論理的かつ明確に提示されているか？
• 図表: 可視化は適切で、明瞭に、適切にラベル付けされているか？
• 統計: 統計結果（効果量、信頼区間、p 値）は適切に報告されているか？
• 客観性: 結果は過度な解釈なしに提示されているか？
• 網羅性: 負の結果を含め、関連するすべての結果が含まれているか？
• 再現性: 生データまたは要約統計量が提供されているか？

特定すべき一般的な問題:

• 結果の選択的報告
• 不適切な統計検定
• エラーバーやばらつきの指標の欠如
• 過剰適合または循環解析
• バッチ効果または交絡変数
• 対照実験または検証実験の欠如

Discussion

• 解釈: 結論はデータによって裏付けられているか？
• 限界: 研究の限界が認識され、議論されているか？
• 文脈: 知見は既存の文献の中で適切に位置づけられているか？
• 推測: 推測がデータに基づく結論と明確に区別されているか？
• 意義: 含意と重要性が明確に述べられているか？
• 今後の方向性: 次のステップや未解決の問いが議論されているか？

警戒すべき兆候:

• 結論の誇張
• 矛盾する証拠の無視
• 相関データからの因果関係の主張
• 限界の不十分な議論
• メカニズムの証拠なしのメカニズムに関する主張

References

• 網羅性: 主要な関連論文が引用されているか？
• 最新性: 近年の重要な研究が含まれているか？
• バランス: 反対の見解が適切に引用されているか？
• 正確性: 引用は正確で適切か？
• 自己引用: 過度または不適切な自己引用はないか？

Stage 3: 方法論および統計的厳密性

一般的な落とし穴に特に注意しながら、研究の技術的な質と厳密性を評価します。

統計的評価:

• 統計的前提（正規性、独立性、等分散性）は満たされているか？
• 効果量は p 値とともに報告されているか？
• 多重検定の補正は適切に適用されているか？
• 信頼区間は示されているか？
• サンプルサイズは検出力分析によって正当化されているか？
• パラメトリック検定とノンパラメトリック検定は適切に選択されているか？
• 欠測データは適切に扱われているか？
• 探索的解析と検証的解析は区別されているか？

実験デザイン:

• 対照は適切で十分か？
• 反復（生物学的および技術的）は十分か？
• 潜在的な交絡因子は特定され、制御されているか？
• ランダム化は適切に実施されているか？
• ブラインド化の手順は十分か？
• 実験デザインは研究課題に対して最適か？

計算・バイオインフォマティクス:

• 計算手法は明確に記述され、正当化されているか？
• ソフトウェアのバージョンとパラメータは文書化されているか？
• 再現性のためにコードは公開されているか？
• アルゴリズムとモデルは適切に検証されているか？
• 計算手法の前提は満たされているか？
• バッチ補正は適切に適用されているか？

Stage 4: 再現性と透明性

研究が再現性とオープンサイエンスに関する現代的な基準を満たしているかを評価します。

データの利用可能性:

• 生データは適切なリポジトリに預託されているか？
• 公的データベースのアクセッション番号が提供されているか？
• データ共有の制限は正当化されているか（例: 患者のプライバシー）？
• データ形式は標準的でアクセス可能か？

コードと材料:

• 解析コードは公開されているか（GitHub、Zenodo など）？
• 独自の材料は入手可能か、または再現に十分な説明がなされているか？
• プロトコルは十分な詳細さで記述されているか？

報告基準:

• 原稿は分野固有の報告ガイドライン（CONSORT、PRISMA、ARRIVE、MIAME、MINSEQE など）に従っているか？
• 一般的なガイドラインについては references/reporting_standards.md を参照してください
• 該当するチェックリストの全項目が網羅されているか？

Stage 5: 図とデータの提示

データの可視化の質、明瞭さ、および信頼性を評価します。

品質チェック:

• 図は高解像度で、明確にラベル付けされているか？
• 軸には単位を含む適切なラベルが付いているか？
• エラーバーは定義されているか（SD、SEM、CI）？
• 統計的有意性の指標は説明されているか？
• 配色は適切で、アクセシブル（色覚多様性に配慮）になっているか？
• 画像にはスケールバーが含まれているか？
• データの可視化は、データの種類に適したものになっているか？

信頼性チェック:

• 画像の改ざん（重複、切り貼り）の兆候はないか？
• ウエスタンブロットやゲルは適切に提示されているか？
• 代表的な画像は本当に代表的か？
• すべての条件が示されているか（選択的な提示がないか）？

明瞭さ:

• 図は凡例だけで単独でも理解できるか？
• 各図の主張は直ちに明らかか？
• 冗長な図やパネルはないか？
• データは表と図のどちらでより良く提示できるか？

Stage 6: 倫理的配慮

研究が倫理基準およびガイドラインを満たしているかを確認します。

ヒト被験者:

• IRB/倫理審査の承認が記載されているか？
• インフォームド・コンセントについて記述されているか？
• 脆弱な集団は適切に保護されているか？
• 患者のプライバシーは十分に保護されているか？
• 潜在的な利益相反は開示されているか？

動物実験:

• IACUC またはそれに相当する承認が記載されているか？
• 手技は人道的で、正当化されているか？
• 3R（代替、削減、洗練）が考慮されているか？
• 安楽死の方法は適切か？

研究の健全性:

• データの捏造や改ざんについて懸念はないか？
• 著者資格は適切で、正当化されているか？
• 利益相反は開示されているか？
• 資金源は開示されているか？
• 剽窃や二重出版について懸念はないか？

Stage 7: 文章の質と明瞭さ

原稿の明瞭さ、構成、そして読みやすさを評価します。

構成と体系:

• 原稿は論理的に構成されているか？
• 各セクションは一貫した流れになっているか？
• 考え同士の移行は明確か？
• 論の展開は説得力があり、分かりやすいか？

文章の質:

• 言語は明確、正確かつ簡潔か？
• 専門用語や頭字語は最小限に抑えられ、定義されているか？
• 文法とつづりは正しいか？
• 不必要に複雑な文はないか？
• 受動態が多用されていないか？

アクセシビリティ:

• 専門家でない読者が主要な知見を理解できるか？
• 専門用語は説明されているか？
• 研究の意義は幅広い読者にとって明確か？

査読報告書の構成

優先度に基づいて問題を階層的に整理し、実行可能な指針を示す形で所見をまとめます。

総括

全体的な評価を簡潔に示します（1〜2 段落）:

• 研究の概要の簡単な要約
• 総合的な推奨（受理、軽微な修正、大幅な修正、リジェクト）
• 主な長所（箇条書き 2〜3 点）
• 主な短所（箇条書き 2〜3 点）
• 研究の意義と妥当性に関する結論的な評価

主要なコメント

原稿の妥当性、解釈可能性、または重要性に大きく影響する重大な問題を列挙してください。参照しやすいよう、連番を付けてください。

主なコメントに含まれる問題の例：

• 根本的な方法論上の欠陥
• 不適切な統計解析
• 根拠のない、または誇張された結論
• 重要な対照実験または実験の欠如
• 深刻な再現性に関する懸念
• 関連文献の重大な不足
• 倫理上の懸念

各コメントでは、以下の点を記載してください：

1. 問題点を明確に述べる
2. なぜ問題なのかを説明する
3. 具体的な解決策や追加実験を提案する
4. 出版に必須の対応かどうかを示す

軽微なコメント

明確さ、網羅性、または提示方法を改善するための、重要度が比較的低い問題を列挙してください。連番を付けてください。

軽微なコメントに含まれる問題の例：

• 図のラベルや凡例が不明瞭
• 方法の詳細が不足している
• 誤字脱字や文法上の誤り
• データの提示方法を改善する提案
• 軽微な統計報告上の問題
• 結論を補強する追加解析
• 明確化を求める質問

各コメントでは、以下の点を記載してください：

1. 該当箇所（セクション、段落、図）を特定する
2. 問題点を明確に述べる
3. 対応方法を提案する

具体的な箇所ごとのコメント（任意）

詳細なフィードバックが必要な原稿では、セクションごと、または行ごとのコメントを記載してください：

• 該当するページ／行番号またはセクションを示す
• 事実誤認、不明瞭な記述、引用文献の不足を指摘する
• 明確さを高めるための具体的な修正を提案する

著者への質問

明確化が必要な具体的な質問を列挙してください：

• 不明瞭な方法の詳細
• 一見矛盾している結果
• 研究の評価に必要な情報の不足
• 追加データや解析の要望

トーンと進め方

査読全体を通じて、建設的で専門的かつ協力的なトーンを保ってください。

推奨事項：

• 建設的にする： 批判を改善の機会として提示する
• 具体的にする： 具体例を挙げ、実行可能な提案をする
• バランスを保つ： 弱点だけでなく長所も認める
• 敬意を払う： 著者が多大な労力を注いできたことを念頭に置く
• 客観的にする： 科学的内容に焦点を当て、研究者個人に言及しない
• 丁寧に確認する： 問題を見落とさないようにしつつ、適切に優先順位を付ける
• 明確にする： 曖昧な批判や漠然とした批判を避ける

避けるべきこと：

• 個人攻撃や見下した表現
• 皮肉や高圧的な言い回し
• 具体例を伴わない曖昧な批判
• 研究の範囲を超えた不要な実験の要求
• 推奨される慣行ではなく、個人的な好みへの準拠を求めること
• ダブルブラインド査読の場合に、査読者の身元を明かすこと

原稿の種類ごとの留意点

原著論文

• 厳密性、再現性、新規性を重視する
• 重要性と影響を評価する
• 結論がデータに基づいていることを確認する
• 方法と適切な対照が十分に記載されているか確認する

総説およびメタアナリシス

• 文献が網羅的に扱われているか評価する
• 検索方法と採択／除外基準を評価する
• 体系的なアプローチが取られ、偏りがないか確認する
• 単なる要約ではなく、批判的な分析が行われているか確認する
• メタアナリシスでは、統計手法と異質性を評価する

方法論に関する論文

• 妥当性の検証と既存手法との比較を重視する
• 再現性とプロトコル／コードの利用可能性を評価する
• 既存のアプローチに対する改善点を評価する
• 実装に必要な詳細が十分に記載されているか確認する

短報／レター

• 簡潔さを考慮して評価基準を調整する
• 中核となる知見が依然として厳密で重要か確認する
• 研究結果に適した形式か確認する

プレプリント

• 正式な査読を経ていないことを認識する
• 学術誌への投稿原稿より完成度が低い場合がある
• 科学的妥当性については、引き続き厳格な基準を適用する
• 著者が学術誌への投稿前に改善できるよう、建設的なフィードバックを検討する

プレゼンテーションとスライドデッキ

⚠️ 重要: プレゼンテーションでは、PDF を直接読み込まないでください。必ず先に画像に変換してください。

科学系のプレゼンテーション（PowerPoint、Beamer、スライドデッキ）をレビューする場合:

必須の画像ベースレビューワークフロー

プレゼンテーションの PDF を直接読み込もうとしないでください。バッファオーバーフローエラーが発生し、視覚的な書式の問題も確認できなくなります。

必要な手順:

1. Python を使用して PDF を画像に変換します:

   python skills/scientific-slides/scripts/pdf_to_images.py presentation.pdf review/slide --dpi 150
   # Creates: review/slide-001.jpg, review/slide-002.jpg, etc.
   

2. 各スライドの画像ファイルを順番に読み込み、内容を確認します
3. 問題をスライド番号とともに記録します
4. 視覚的な書式と内容についてフィードバックを提供します

レビューを開始するときに出力する:

[HH:MM:SS] PEER REVIEW: Presentation detected - converting to images for review
[HH:MM:SS] PDF REVIEW: NEVER reading PDF directly - using image-based inspection

プレゼンテーション固有の評価基準

視覚デザインと読みやすさ:

• テキストが十分に大きい（本文は最低 18pt、理想は 24pt 以上）
• テキストと背景のコントラストが高い（最低 4.5:1、推奨 7:1）
• 配色がプロフェッショナルで、色覚多様性に配慮している
• すべてのスライドで視覚デザインが一貫している
• 余白が十分にある（詰め込みすぎていない）
• フォントが明瞭でプロフェッショナルである

レイアウトと書式（すべてのスライド画像を確認）:

• スライドの端でテキストがはみ出したり切れたりしていない
• 要素の重なりがない（画像の上のテキスト、重なった図形など）
• タイトルの位置が一貫している
• 内容が適切に揃えられている
• 箇条書きやテキストが途切れていない
• 図がスライドの範囲内に収まっている
• キャプションとラベルが見えて読める

内容の質:

• 1 スライドに主要な考えは 1 つ（詰め込みすぎていない）
• テキストは最小限（1 スライドあたり最大 3〜6 項目の箇条書き）
• 箇条書きは簡潔である（各項目 5〜7 語）
• 図は簡略化されて明瞭である（論文からのコピペではない）
• データの可視化で、ラベルが大きく読みやすい
• 引用が存在し、適切な形式で記載されている
• 結果・データのスライドがプレゼンテーションの大部分を占めている（内容の 40〜50%）

構成と流れ:

• 明確な物語の流れがある（導入 → 方法 → 結果 → 考察）
• スライド間の論理的な展開がある
• スライド数が発表時間に適している（約 1 分につき 1 スライド）
• タイトルスライドに著者、所属、日付が含まれている
• 導入部で関連する背景文献を引用している（3〜5 本の論文）
• 考察部で比較対象の論文を引用している（3〜5 本の論文）
• 結論スライドで主要な知見を要約している
• 最後に謝辞・資金提供のスライドがある

科学的な内容:

• 研究課題が明確に示されている
• 方法が適切に要約されている（過度に詳細ではない）
• 結果が論理的な順序で、明確な可視化とともに提示されている
• 統計的有意性が適切に示されている
• 結論が示されたデータによって裏付けられている
• 必要に応じて研究の限界が述べられている
• 今後の方向性や広範な影響が論じられている

指摘すべき一般的なプレゼンテーションの問題:

重大な問題（必ず修正）:

• テキストのはみ出しにより内容が読めない
• フォントサイズが小さすぎる（18pt 未満）
• 要素の重なりによりデータが見えない
• コントラスト不足（テキストが読みにくい）
• 図が複雑すぎる、または判読できない
• 引用がない（根拠のない主張が完全に裏付けられていない）
• スライド数が発表時間と大きく合っていない

主要な問題（修正すべき）:

• スライド間でデザインが一貫していない
• テキストが多すぎる（箇条書きではなく文章の塊になっている）
• 図の簡略化が不十分（軸ラベルが小さすぎる）
• 余白が不足し、レイアウトが詰め込みすぎている
• 重要な構成要素が欠けている（結論スライドがないなど）
• 配色が不適切（色覚多様性に配慮していない）
• 結果の内容が少ない（スライドの 30% 未満）

軽微な問題（改善の提案）:

• 画像や図表をさらに増やせる
• 一部のスライドがやや文字过多である
• 軽微な配置の不統一
• 余白をさらに増やすとよい
• 追加の引用があると主張の裏付けが強まる
• 配色をより現代的にできる

プレゼンテーションのレビューレポート形式

総括:

• プレゼンテーション品質に対する全体的な印象
• 対象とする聴衆と発表時間への適合性
• 主な長所（視覚デザイン、内容、明瞭さ）
• 主な短所（書式の問題、内容の欠落）
• 推奨事項（そのまま発表可能、軽微な修正が必要、大幅な修正が必要）

レイアウトと書式の問題（スライド番号別）:

Slide 3: Text overflow - bullet point 4 extends beyond right margin
Slide 7: Element overlap - figure overlaps with caption text
Slide 12: Font size - axis labels too small to read from distance
Slide 18: Alignment - title not centered

内容と構成のフィードバック:

• 背景説明と引用の十分性
• 研究課題と目的の明確さ
• 方法の概要の質
• 結果提示の効果
• 結論と示唆の説得力

デザインとアクセシビリティ:

• 全体的な視覚的魅力と専門性
• 色のコントラストと読みやすさ
• 色覚多様性への配慮
• スライド間の一貫性

時間配分と範囲:

• スライド枚数が想定発表時間に適合しているか
• 発表形式に対して適切な詳細度か
• セクション間のバランス

画像ベースのレビュー手順の例

[14:30:00] PEER REVIEW: Starting review of presentation
[14:30:05] PEER REVIEW: Presentation detected - converting to images
[14:30:10] PDF REVIEW: Running pdf_to_images.py on presentation.pdf
[14:30:15] PDF REVIEW: Converted 25 slides to images in review/ directory
[14:30:20] PDF REVIEW: Inspecting slide 1/25 - title slide
[14:30:25] PDF REVIEW: Inspecting slide 2/25 - introduction
...
[14:35:40] PDF REVIEW: Inspecting slide 25/25 - acknowledgments
[14:35:45] PDF REVIEW: Completed image-based review
[14:35:50] PEER REVIEW: Found 8 layout issues, 3 content issues
[14:35:55] PEER REVIEW: Generating structured feedback by slide number

注意: プレゼンテーションについては、画像による目視確認が必須です。プレゼンテーションのPDFをテキストとして読み込むことは絶対に行わないでください。失敗し、書式上の視覚的な問題をすべて見落とします。

リソース

このスキルには、包括的な査読を支援する参考資料が含まれています。

references/reporting_standards.md

方法と結果の報告の完全性を評価するための、各分野の主要な報告基準（CONSORT、PRISMA、ARRIVE、MIAME、STROBEなど）に関するガイドラインです。

references/common_issues.md

査読で頻繁に見られる方法論および統計上の問題のカタログであり、それらを特定し対処するための指針を示します。

最終チェックリスト

レビューを確定する前に、次の点を確認してください。

• 総括が全体的な評価を明確に伝えているか
• 主要な懸念点が明確に特定され、根拠が示されているか
• 提案された修正が具体的で実行可能か
• 軽微な問題に注記がされ、適切に分類されているか
• 統計手法が評価されているか
• 再現性とデータの利用可能性が評価されているか
• 倫理的な配慮が確認されているか
• 図表の質と完全性が評価されているか
• 文章の質が評価されているか
• 全体を通して、口調が建設的かつ専門的であるか
• レビューが十分に徹底しつつ、原稿の範囲に見合っているか
• 推奨事項が特定された問題と整合しているか