academic-paper-review

学術論文レビューのスキル

概要

このスキルは、学術論文や研究出版物について、体系的で査読品質の分析を行います。NeurIPS、ICML、ACL、Nature、IEEE などの一流の投稿先で用いられる確立された学術レビュー基準に従い、厳密で建設的かつバランスの取れた評価を提供します。

レビューでは、要約、長所、短所、方法論の評価、貢献の評価、関連研究における位置づけ、実行可能な提案を取り上げ、いずれも論文自体の記述を根拠とします。

主な機能

• アップロードされた PDF や取得した URL から学術論文を解析して理解する
• 一流の投稿先のレビュー用テンプレートに沿って、体系的なレビューを作成する
• 方法論の厳密さを評価する（実験設計、統計的妥当性、再現性）
• 貢献の新規性と重要性を評価する
• 焦点を絞った文献検索を通じて、より広い研究動向の中に研究を位置づける
• 限界、見落とし、改善の可能性を特定する
• 詳細なレビューと簡潔なエグゼクティブサマリーの両方を作成する
• あらゆる科学分野（CS、生物学、物理学、社会科学など）の論文に対応する

このスキルを使用する場面

次の場合は、必ずこのスキルを読み込んでください。

• ユーザーが論文の URL（arXiv、DOI、学会論文集、学術誌のリンク）を提示する
• ユーザーが研究論文やプレプリントの PDF をアップロードする
• ユーザーが研究論文の「レビュー」「分析」「批評」「評価」「要約」を依頼する
• ユーザーが研究の長所と短所を理解したいと希望する
• ユーザーが学術研究について査読形式の評価を依頼する
• ユーザーが学会や学術誌への投稿に向けたレビューの準備を支援してほしいと依頼する

レビューの方法論

フェーズ 1：論文の理解

判断を下す前に、論文を十分に読み、理解してください。

ステップ 1.1：論文のメタデータを特定する

以下を抽出して記録します。

項目	説明
タイトル	論文の正式なタイトル
著者	著者一覧と所属
投稿先／状況	掲載先、プレプリントサーバー、または投稿状況
年	出版年または投稿年
分野	研究分野と下位分野
論文の種類	実証研究、理論研究、サーベイ、ポジションペーパー、システム論文など

ステップ 1.2：精読

論文を体系的に読みます。

1. 要旨と序論 — 主張されている貢献と研究の動機を特定する
2. 関連研究 — 著者が先行研究との関係で自らの研究をどのように位置づけているかを確認する
3. 方法論 — 提案手法、モデル、またはフレームワークを詳しく理解する
4. 実験／結果 — データセット、ベースライン、評価指標、報告された結果を調べる
5. 考察と限界 — 著者自身が認識している限界を確認する
6. 結論 — 結論での主張と、実際に提示された根拠を比較する

ステップ 1.3：主要な主張の抽出

論文の主な主張を明示的に列挙します。

Claim 1: [Specific claim about contribution or finding]
Evidence: [What evidence supports this claim in the paper]
Strength: [Strong / Moderate / Weak]

Claim 2: [...]
...

フェーズ 2：批判的分析

ステップ 2.1：研究動向の調査

ウェブ検索を使って研究動向を把握します。

Search queries:
- "[paper topic] state of the art [current year]"
- "[key method name] comparison benchmark"
- "[authors] previous work [topic]"
- "[specific technique] limitations criticism"
- "survey [research area] recent advances"

関連性の高い論文やサーベイを web_fetch で取得し、この研究がどのように位置づけられるかを理解します。

ステップ 2.2：方法論の評価

以下の枠組みを使って方法論を評価します。

基準	確認する質問	評価
妥当性	手法は技術的に正しいか。論理的な欠陥はないか。	1-5
新規性	真に新しい点は何か。漸進的な改善にとどまる点は何か。	1-5
再現性	再現に必要な詳細は十分か。コードやデータは利用可能か。	1-5
実験設計	ベースラインは公平か。アブレーションは十分か。データセットは適切か。	1-5
統計的厳密さ	結果は統計的に有意か。誤差範囲は報告されているか。複数回の実行は行われているか。	1-5
スケーラビリティ	手法はスケールするか。計算コストは議論されているか。	1-5

ステップ 2.3: 貢献の重要性評価

重要性のレベルを評価します:

レベル	説明	基準
画期的	分野を根本から変える	新しいパラダイム、広く適用可能なブレークスルー
重要	最先端を前進させる強い貢献	確固たる証拠を伴う明確な改善
中程度	いくつかの限界はあるものの有用な貢献	漸進的だが妥当な改善
わずか	既存研究に対するわずかな前進	小さな利得、狭い適用範囲
基準未満	出版基準を満たさない	根本的な欠陥、不十分な証拠

ステップ 2.4: 強みと弱みの分析

それぞれの強みまたは弱みについて、以下を提供します:

• 何を: 具体的な観察
• どこで: 節・図・表への参照
• なぜ重要か: 論文の主張や有用性への影響

フェーズ 3: レビューの統合

ステップ 3.1: 構造化されたレビューの組み立て

以下のテンプレートを使用して最終的なレビューを作成します。

レビュー出力テンプレート

# Paper Review: [Paper Title]

## Paper Metadata
- **Authors**: [Author list]
- **Venue**: [Publication venue or preprint server]
- **Year**: [Year]
- **Domain**: [Research field]
- **Paper Type**: [Empirical / Theoretical / Survey / Systems / Position]

## Executive Summary

[2-3 paragraph summary of the paper's core contribution, approach, and main findings.
State your overall assessment upfront: what the paper does well, where it falls short,
and whether the contribution is sufficient for the claimed venue/impact level.]

## Summary of Contributions

1. [First claimed contribution — one sentence]
2. [Second claimed contribution — one sentence]
3. [Additional contributions if any]

## Strengths

### S1: [Concise strength title]
[Detailed explanation with specific references to sections, figures, or tables in the paper.
Explain WHY this is a strength and its significance.]

### S2: [Concise strength title]
[...]

### S3: [Concise strength title]
[...]

## Weaknesses

### W1: [Concise weakness title]
[Detailed explanation with specific references. Explain the impact of this weakness on
the paper's claims. Suggest how it could be addressed.]

### W2: [Concise weakness title]
[...]

### W3: [Concise weakness title]
[...]

## Methodology Assessment

| Criterion | Rating (1-5) | Assessment |
|-----------|:---:|------------|
| Soundness | X | [Brief justification] |
| Novelty | X | [Brief justification] |
| Reproducibility | X | [Brief justification] |
| Experimental Design | X | [Brief justification] |
| Statistical Rigor | X | [Brief justification] |
| Scalability | X | [Brief justification] |

## Questions for the Authors

1. [Specific question that would clarify a concern or ambiguity]
2. [Question about methodology choices or alternative approaches]
3. [Question about generalizability or practical applicability]

## Minor Issues

- [Typos, formatting issues, unclear figures, notation inconsistencies]
- [Missing references that should be cited]
- [Suggestions for improved clarity]

## Literature Positioning

[How does this work relate to the current state of the art?
Are key related works cited? Are comparisons fair and comprehensive?
What important related work is missing?]

## Recommendations

**Overall Assessment**: [Accept / Weak Accept / Borderline / Weak Reject / Reject]

**Confidence**: [High / Medium / Low] — [Justification for confidence level]

**Contribution Level**: [Landmark / Significant / Moderate / Marginal / Below threshold]

### Actionable Suggestions for Improvement
1. [Specific, constructive suggestion]
2. [Specific, constructive suggestion]
3. [Specific, constructive suggestion]

レビューの原則

建設的な批判

• 常に修正方法を提案する — 問題を指摘するだけでなく、解決策を提案する
• 正当な評価を与える — 欠陥のある論文であっても、真摯な貢献は認める
• 具体的に述べる — 正確な節、式、図、表を参照する
• 軽微な点と重大な点を分ける — 致命的な欠陥と修正可能な問題を区別する

客観性の基準

• ❌ 「この論文は書き方が下手である」(曖昧で役に立たない)
• ✅ 「3.2 節は記法 X を形式的な定義なしに導入しているため、定理 1 の証明を理解しにくくしています。問題定式化の後に記法表を追加することを検討してください。」(具体的で実行可能)

倫理的なレビュー慣行

• 著者の評判や所属に基づいて研究を退けてはならない
• 研究をそれ自体の価値に基づいて評価する
• 潜在的な倫理的問題(データセットのバイアス、デュアルユースの含意)を建設的に指摘する
• 未発表の研究の機密性を維持する

論文の種類に応じた適応

論文の種類	重点領域
実証	実験計画、ベースライン、統計的有意性、アブレーション、再現性
理論	証明の正しさ、仮定の妥当性、境界の厳密さ、実践との関連
サーベイ	網羅性、分類の質、最近の研究の網羅、統合からの洞察
システム	アーキテクチャの決定、スケーラビリティの証拠、実世界への展開、エンジニアリング上の貢献
ポジション	議論の一貫性、主張の証拠、影響の可能性、特徴づけの公平性

避けるべきよくある落とし穴

• ❌ 提出された論文ではなく、書かれていてほしかった論文をレビューする
• ❌ 範囲として不合理な追加実験を要求する
• ❌ 別の問題を解決していないことで論文を減点する
• ❌ 技術的貢献よりも文章の質に過度に影響される
• ❌ 自分の研究との比較の欠如を弱みとして扱う
• ❌ 批判的分析なしに要約のみを提供する

品質チェックリスト

レビューを確定する前に、以下を確認します:

• 論文を完全に読んだ(要旨と序論だけでなく)
• すべての主要な主張を特定し、証拠に照らして評価した
• 具体的な参照を伴う少なくとも 3 つの強みと 3 つの弱みを提供した
• 方法論評価表が評価と根拠を伴って完成している
• 著者への質問が修辞的な批判ではなく、真の曖昧さを対象としている
• 貢献を位置づけるために文献調査を実施した
• 推奨事項が実行可能かつ建設的である
• 全体評価が特定された強みと弱みと一致している
• レビューの口調が専門的で敬意あるものである
• 軽微な問題が重大な懸念から分離されている

出力形式

• レビュー全文をMarkdown形式で出力します
• サンドボックスで作業する場合は、レビューを /mnt/user-data/outputs/review-{paper-topic}.md に保存します
• present_files ツールを使って、レビューをユーザーに提示します

注意事項

• 論文をより広い分野の文脈でレビューする場合は、このスキルと deep-research スキルの両方を読み込みます
• ペイウォールのある論文については、アクセス可能なコンテンツ（要旨、公開版、プレプリントのミラーなど）を利用します
• ユーザーのニーズに合わせてレビューの深さを調整します。迅速な選別には簡潔な評価を、投稿準備には詳細なレビューを行います
• 複数の論文を比較する場合は、すべてのレビューで一貫した評価基準を用います
• レビューの限界（例：「付録Bの証明は詳細に検証できませんでした」）を必ず明示します