paper-review

学術論文レビュー スキル

概要

このスキルは、トップクラスのコンピューターサイエンス分野の会議およびジャーナル向けに、学術論文の包括的な査読を行います。独創性、技術的品質、実験による検証、明確さ、重要性など、標準的な学術的基準に照らして論文を評価します。

対応する入力形式

1. PDF ファイル：コンパイル済み論文を直接分析します
2. LaTeX ファイル：ソースの .tex ファイルを分析します

査読プロセス

ステップ 1：査読のコンテキストを収集する

査読を開始する前に、AskUserQuestion を使用して以下の情報を収集します。

1. 出力言語：査読を中国語と英語のどちらで行うかを尋ねます
2. 対象の会議・ジャーナル：会議またはジャーナル名を尋ねます（例：「NeurIPS 2026」、「CVPR 2026」、「ICML 2026」、「TPAMI」）

やり取りの例：

AskUserQuestion with two questions:
1. "What language should the review be written in?"
   - Options: "English", "Chinese (中文)"
2. "What is the target conference or journal for this paper?"
   - Options: "NeurIPS", "CVPR", "ICML", "ICLR", "Other (please specify)"

ステップ 2：論文の内容を抽出する

PDF ファイルの場合：

import pdfplumber

with pdfplumber.open(pdf_path) as pdf:
    full_text = ""
    for page in pdf.pages:
        full_text += page.extract_text() + "\n\n"

LaTeX ファイルの場合：

# Read main .tex file and any \input or \include files
import re

def read_latex_file(filepath):
    with open(filepath, 'r', encoding='utf-8') as f:
        content = f.read()

    # Find \input{} and \include{} commands
    includes = re.findall(r'\\(?:input|include)\{([^}]+)\}', content)

    # Read included files recursively
    for inc in includes:
        if not inc.endswith('.tex'):
            inc += '.tex'
        inc_path = os.path.join(os.path.dirname(filepath), inc)
        if os.path.exists(inc_path):
            inc_content = read_latex_file(inc_path)
            content = content.replace(f'\\input{{{inc}}}', inc_content)
            content = content.replace(f'\\include{{{inc}}}', inc_content)

    return content

ステップ 3：論文の構成を分析する

主要なセクションを抽出して特定します。

• 要旨
• 序論
• 関連研究
• 手法／アプローチ
• 実験／結果
• 考察
• 結論
• 参考文献

ステップ 4：包括的な査読を行う

以下の観点から論文を評価します。

1. 独創性と新規性（スコア：X/10）

• 問題またはアプローチに新規性はありますか？
• 既存の研究とどのように異なりますか？
• 貢献は明確に述べられていますか？
• 確信度：1～5（1＝詳しくない、5＝専門家）

2. 技術的品質と妥当性（スコア：X/10）

• 手法は技術的に妥当ですか？
• 主張は理論または証拠によって裏付けられていますか？
• 技術的な誤りや不足はありますか？
• 確信度：1～5

3. 実験による検証（スコア：X/10）

• 実験は包括的で、適切に設計されていますか？
• ベースラインは適切で、比較は公平ですか？
• 結果は統計的に有意ですか？
• アブレーション研究は含まれていますか？
• 確信度：1～5

4. 明確さと表現（スコア：X/10）

• 論文は読みやすく、構成も適切ですか？
• 概念は明確に説明されていますか？
• 記法に一貫性はありますか？
• 文法や言語上の問題はありますか？
• 確信度：1～5

5. 重要性と影響（スコア：X/10）

• この研究は分野にとってどれほど重要ですか？
• どのような影響が期待されますか？
• 新たな研究の方向性を切り開きますか？
• 確信度：1～5

6. 再現性（スコア：X/10）

以下を確認します。

• コードの公開状況（言及または提供の有無）
• データセットの説明と公開状況
• ハイパーパラメーターの詳細
• 実験設定の完全性
• 必要な計算資源
• 確信度：1～5

7. 視覚要素の品質

以下を評価します。

• 図：明確さ、関連性、品質
• 表：網羅性、書式、読みやすさ
• 図解：正確さ、有用性
• キャプション：情報の豊富さ

8. 倫理と限界

以下を評価します。

• 限界についての考察
• 社会に悪影響を及ぼす可能性
• 倫理的な考慮事項
• より広範な影響に関する記述（会議・ジャーナルで求められる場合）

ステップ 5：総合評価を作成する

加重平均を使って総合スコアを算出します。

• 独創性：20%
• 技術的品質：25%
• 実験による検証：20%
• 明確さ：15%
• 重要性：15%
• 再現性：5%

推奨判定を提示します。

• 強く採択（9～10）：卓越した論文。明確に採択
• 採択（8～8.9）：優れた論文。採択すべき
• 弱く採択（7～7.9）：採択基準を上回っており、採択寄り
• ボーダーライン（6～6.9）：判断が分かれ、どちらの可能性もある
• 弱く不採択（5～5.9）：採択基準を下回っており、不採択寄り
• 不採択（4～4.9）：明確な不採択。重大な問題がある
• 強く不採択（1～3.9）：根本的な欠陥があり、強く不採択

ステップ 6：査読文書を作成する

以下の構成で review-{paper-name}-{timestamp}.md を作成します。

# Paper Review: [Paper Title]

**Venue:** [Conference/Journal Name]
**Review Date:** [YYYY-MM-DD HH:MM]
**Review Language:** [Chinese/English]
**Reviewer:** Claude AI Assistant

---

## Overall Recommendation

- **Decision:** [Strong Accept / Accept / Weak Accept / Borderline / Weak Reject / Reject / Strong Reject]
- **Overall Score:** [X.X/10]
- **Confidence:** [5-Expert in this area / 4-Knowledgeable / 3-Familiar / 2-Somewhat familiar / 1-Not familiar]

---

## Summary

[2-3 paragraph summary covering:
- What the paper is about
- Main contributions
- Key strengths and weaknesses
- Overall assessment]

---

## Strengths

- [Strength 1]
- [Strength 2]
- [Strength 3]
- ...

---

## Weaknesses

- [Weakness 1]
- [Weakness 2]
- [Weakness 3]
- ...

---

## Detailed Evaluation

### 1. Originality & Novelty
**Score:** X/10 | **Confidence:** X/5

[Detailed assessment of novelty, comparison with related work, clarity of contributions]

### 2. Technical Quality & Soundness
**Score:** X/10 | **Confidence:** X/5

[Assessment of technical correctness, theoretical foundations, methodology soundness]

### 3. Experimental Validation
**Score:** X/10 | **Confidence:** X/5

[Evaluation of experimental design, baselines, results, ablation studies, statistical significance]

### 4. Clarity & Presentation
**Score:** X/10 | **Confidence:** X/5

[Assessment of writing quality, organization, notation, figures, readability]

### 5. Significance & Impact
**Score:** X/10 | **Confidence:** X/5

[Evaluation of importance, potential impact, relevance to community]

### 6. Reproducibility
**Score:** X/10 | **Confidence:** X/5

[Assessment of code availability, dataset details, hyperparameters, experimental setup]

### 7. Visual Elements Quality

[Analysis of figures, tables, and diagrams - clarity, completeness, appropriateness]

### 8. Ethics & Limitations

[Discussion of ethical considerations, limitations, broader impact, potential negative consequences]

---

## Questions for Authors

1. [Question 1]
2. [Question 2]
3. [Question 3]
...

---

## Suggestions for Rebuttal

[Constructive guidance on how authors might address the main concerns raised in this review. Focus on the most critical issues that could change the recommendation if addressed.]

---

## Minor Issues

- [Typo/formatting issue 1]
- [Reference issue 2]
- [Minor suggestion 3]
...

---

## Detailed Comments by Section

### Abstract
[Comments on abstract]

### Introduction
[Comments on introduction]

### Related Work
[Comments on related work section]

### Methodology
[Comments on methodology]

### Experiments
[Comments on experiments]

### Conclusion
[Comments on conclusion]

---

**End of Review**

ステップ 7：改善計画を作成する

カテゴリ別の TODO 項目を含む improvements-{paper-name}-{timestamp}.md を作成します。

# Paper Improvement Plan

**Paper:** [Paper Title]
**Generated:** [YYYY-MM-DD HH:MM]

This document provides a structured improvement plan based on the review. Items are categorized by priority and type.

---

## 🔴 Critical Issues (Must Address)

These issues significantly impact the paper's acceptance chances and must be addressed.

- [ ] **[Issue 1 Title]**
  - **Location:** [Section/Page]
  - **Problem:** [Description of the issue]
  - **Suggested Fix:** [How to address it]
  - **Estimated Effort:** [High/Medium/Low]

- [ ] **[Issue 2 Title]**
  - **Location:** [Section/Page]
  - **Problem:** [Description]
  - **Suggested Fix:** [Solution]
  - **Estimated Effort:** [High/Medium/Low]

---

## 🟡 Major Improvements (Strongly Recommended)

These improvements would significantly strengthen the paper.

- [ ] **[Improvement 1 Title]**
  - **Location:** [Section/Page]
  - **Current State:** [What's there now]
  - **Suggested Enhancement:** [What to add/change]
  - **Expected Impact:** [How this helps]
  - **Estimated Effort:** [High/Medium/Low]

- [ ] **[Improvement 2 Title]**
  - **Location:** [Section/Page]
  - **Current State:** [Description]
  - **Suggested Enhancement:** [Enhancement]
  - **Expected Impact:** [Impact]
  - **Estimated Effort:** [High/Medium/Low]

---

## 🟢 Minor Suggestions (Nice to Have)

These are polish items that would improve the paper but aren't critical.

- [ ] **[Suggestion 1]** - [Brief description]
- [ ] **[Suggestion 2]** - [Brief description]
- [ ] **[Suggestion 3]** - [Brief description]

---

## 📝 Writing & Presentation

- [ ] **Grammar and Language**
  - [List specific issues with line numbers if possible]

- [ ] **Notation and Terminology**
  - [Inconsistencies or unclear notation]

- [ ] **Figure and Table Improvements**
  - [Specific suggestions for visual elements]

---

## 🔬 Experimental Enhancements

- [ ] **Additional Experiments**
  - [What experiments to add and why]

- [ ] **Baseline Comparisons**
  - [Missing baselines to include]

- [ ] **Ablation Studies**
  - [What ablations would be valuable]

---

## 📚 Related Work & Citations

- [ ] **Missing References**
  - [Important papers to cite]

- [ ] **Related Work Discussion**
  - [Gaps in related work coverage]

---

## 🎯 Priority Roadmap

### Phase 1: Critical Fixes (Before Resubmission)
1. [Critical issue 1]
2. [Critical issue 2]
3. [Critical issue 3]

### Phase 2: Major Improvements (Strengthen Paper)
1. [Major improvement 1]
2. [Major improvement 2]
3. [Major improvement 3]

### Phase 3: Polish (If Time Permits)
1. [Minor suggestion 1]
2. [Minor suggestion 2]
3. [Minor suggestion 3]

---

## 📊 Estimated Impact on Review Score

If all critical issues and major improvements are addressed:
- **Current Overall Score:** X.X/10
- **Potential Score After Improvements:** Y.Y/10
- **Expected Recommendation Change:** [Current] → [Potential]

---

**End of Improvement Plan**

レビューのトーンに関するガイドライン

全体を通して、建設的でバランスの取れたトーンを保ってください。

1. 具体的にする：可能な場合は、具体例や行番号を示してください
2. 公平を期す：長所と短所の両方に言及してください
3. 建設的にする：批判だけでなく、実行可能な提案をしてください
4. プロフェッショナルにする：敬意を払い、客観的な表現を保ってください
5. 励ます：良い点や可能性を認めてください

使用例

# User invokes the skill
/paper-review path/to/paper.pdf

# Or with LaTeX
/paper-review path/to/paper.tex

出力ファイル

このスキルは、現在のディレクトリに次の2つのファイルを生成します。

1. review-{paper-name}-{timestamp}.md - レビュー全文
2. improvements-{paper-name}-{timestamp}.md - 改善計画

注意事項

• レビューを始める前に、論文全体を必ず読んでください
• LaTeX ファイルの場合は、\input および \include コマンドをたどって、複数ファイルからなるプロジェクトを処理してください
• 論文の長さに応じて、レビューの深さを調整してください（会議論文とジャーナル論文の違いなど）
• 会議ごとの要件を考慮してください（例：NeurIPS では再現性、CVPR では実験結果が重視されます）
• CS 論文によくある落とし穴に注意してください：過剰な主張、不十分なベースライン、不明瞭な表記法、アブレーションの欠如

CS 分野の主な会議の基準

• NeurIPS：再現性、コードの提出、理論的な妥当性を重視
• CVPR/ICCV/ECCV：実験結果、視覚的な品質、ベンチマーク性能に重点
• ICML：理論と実験のバランス、統計的有意性
• ICLR：オープンレビューのプロセス、再現性、コードの利用可能性
• ACL/EMNLP：言語品質、言語学的分析、データセットの詳細
• SIGIR/WWW：実社会での適用可能性、スケーラビリティ、ユーザー調査

効果的なレビューのヒント

1. まず要旨と結論を読む：全体像を把握します
2. 図表に目を通す：実験設定を理解します
3. 序論を読む：動機と貢献を理解します
4. 手法を詳しく確認する：技術的な妥当性を確かめます
5. 実験を分析する：主張が裏付けられているか確認します
6. 関連研究を確認する：適切な位置づけになっているか確かめます
7. 文章の質を確認する：明瞭さに関する問題を記録します
8. 再現性を考慮する：不足している詳細がないか確認します