scholar-evaluation

学術研究の評価

概要

ScholarEval フレームワークを適用し、学術研究や研究成果を体系的に評価します。このスキルでは、査読済みの研究評価基準に基づいた構造化された評価手法を提供し、複数の品質側面から学術論文、研究提案、文献レビュー、学術的な文章を包括的に分析できます。

このスキルを使用する場面

次の場合に、このスキルを使用してください。

• 研究論文の品質と厳密さを評価する
• 文献レビューの網羅性と品質を評価する
• 研究方法の設計をレビューする
• データ分析のアプローチを採点する
• 学術的な文章や発表を評価する
• 学術研究に対して構造化されたフィードバックを提供する
• 確立された基準に照らして研究の品質をベンチマークする
• 対象とする発表先への投稿準備が整っているか評価する
• 定性的な査読を補完する定量的な評価を提供する

科学的な図解による視覚的な強化

このスキルで文書を作成する際は、視覚的な伝達を高めるため、科学的な図や模式図を追加することを常に検討してください。

文書に模式図や図がまだ含まれていない場合は、次のようにしてください。

• scientific-schematics スキルを使用して、AI を活用した出版品質の図を生成する
• 希望する図を自然言語で説明するだけでかまいません
• Nano Banana Pro が自動的に模式図を生成し、レビューして改良します

新しい文書の場合： テキストで説明されている主要な概念、ワークフロー、アーキテクチャ、関係を視覚的に表すため、科学的な模式図を標準で生成してください。

模式図の生成方法：

python scripts/generate_schematic.py "your diagram description" -o figures/output.png

AI が自動的に次の処理を行います。

• 適切な書式で出版品質の画像を作成する
• 複数回の反復を通じてレビューと改良を行う
• アクセシビリティを確保する（色覚多様性に配慮した配色、高いコントラスト）
• 出力を figures/ ディレクトリに保存する

模式図を追加する場面：

• 評価フレームワークの図
• 品質評価基準のディシジョンツリー
• 学術的なワークフローの可視化
• 評価手法のフローチャート
• 採点基準の可視化
• 評価プロセスの図
• 視覚化によって理解が深まる複雑な概念

模式図の作成について詳しくは、scientific-schematics スキルのドキュメントを参照してください。

---

評価ワークフロー

ステップ 1：初期評価と範囲の定義

評価対象となる学術研究の種類と評価範囲を特定することから始めます。

研究の種類：

• 研究論文全文（実証研究、理論研究、またはレビュー）
• 研究提案またはプロトコル
• 文献レビュー（システマティック、ナラティブ、またはスコーピング）
• 論文または学位論文の章
• 学会の要旨またはショートペーパー

評価範囲：

• 包括的（すべての側面）
• 対象を限定（方法論や文章表現など、特定の側面）
• 比較（他の研究を基準にベンチマーク）

範囲が曖昧な場合は、ユーザーに明確化を求めてください。

Step 2: 次元別評価

ScholarEval の各次元に沿って、研究を体系的に評価します。該当する各次元について、質を評価し、強みと弱みを特定したうえで、適切な場合はスコアを付けます。

各次元の詳細な評価基準とルーブリックについては、references/evaluation_framework.md を参照してください。

主な評価次元：

1. 問題設定と研究課題

   • 研究課題の明確さと具体性
   • 理論的または実践的な重要性
   • 実現可能性と範囲の適切さ
   • 新規性と貢献の可能性

2. 文献レビュー

   • 網羅性
   • 単なる要約ではなく、批判的な統合ができているか
   • 研究上の空白の特定
   • 情報源の最新性と関連性
   • 適切な文脈づけ

3. 方法論と研究デザイン

   • 研究課題への適切さ
   • 厳密性と妥当性
   • 再現性と透明性
   • 倫理的配慮
   • 限界の認識

4. データ収集と情報源

   • データの質と適切さ
   • サンプルサイズと代表性
   • データ収集手順
   • 情報源の信頼性と確実性

5. 分析と解釈

   • 分析手法の適切さ
   • 分析の厳密性
   • 論理的な一貫性
   • 代替説明を考慮しているか
   • 結果と主張の整合性

6. 結果と知見

   • 提示の明確さ
   • 統計的または質的な厳密性
   • 可視化の質
   • 解釈の正確さ
   • 含意に関する考察

7. 学術的な文章とプレゼンテーション

   • 明確さと構成
   • 学術的な語調と文体
   • 文法と表記
   • 論理の流れ
   • 対象読者にとっての分かりやすさ

8. 引用と参考文献

   • 引用の網羅性
   • 情報源の質と適切さ
   • 引用の正確さ
   • 視点のバランス
   • 引用規則への準拠

Step 3: スコア付けと評価

評価した各次元について、以下を提示します。

定性的評価：

• 主な強み（具体的な点を2～3個）
• 改善点（具体的な点を2～3個）
• 重大な問題（該当する場合）

定量的スコア（任意）： 該当する場合は、5段階評価を使用します。

• 5：非常に優れている — 卓越した質で、トップクラスの学会や学術誌での発表に値する
• 4：良好 — 質が高く、必要な改善は軽微
• 3：適切 — 許容できる質だが、改善すべき点が目立つ
• 2：要改善 — 大幅な改訂が必要
• 1：不十分 — 根本的な問題があり、大幅な修正が必要

スコアをプログラムで集計するには、scripts/calculate_scores.py を使用します。

Step 4: 総合評価の統合

統合的な評価の要約を提示します。

1. 総合的な質の評価 — 研究の学術的価値に関する総合的な判断
2. 主な強み — 複数の次元にわたる主な強みを3～5点
3. 重大な弱点 — 対応が必要な主な課題を3～5点
4. 優先度の高い提案 — 影響度の高い順に改善案を列挙
5. 出版準備状況（該当する場合）— 対象とする出版先に適しているかを評価

Step 5: 実行可能なフィードバックの提示

評価結果を、建設的で実行可能なフィードバックにまとめます。

フィードバックの構成：

• 具体的 — 該当する節、段落、ページ番号を明記する
• 実行可能 — 具体的な改善案を提示する
• 優先順位を明確に — 重要度と実現可能性に応じて提案を順位付けする
• バランスよく — 弱点を指摘しつつ、強みも認める
• 根拠に基づく — 評価基準に基づいてフィードバックする

フィードバック形式の選択肢：

• 次元ごとの分析を含む構造化レポート
• 文書の該当箇所に対応付けた注釈付きコメント
• 主な知見と提案をまとめたエグゼクティブサマリー
• ベンチマーク基準との比較分析

Step 6: コンテキストに関する考慮事項

以下に基づいて評価方法を調整します。

開発段階：

• 初期ドラフト：概念面および構成面の問題に重点を置きます
• 高度なドラフト：改善と仕上げに重点を置きます
• 最終提出：包括的な品質チェックを行います

目的と発表の場：

• 学術誌論文：厳密さと貢献度に関する高い基準を適用します
• 学会論文：新規性と発表の明瞭さのバランスを取ります
• 学生の成果物：成長を重視した教育的なフィードバックを行います
• 助成金申請書：実現可能性とインパクトを重視します

分野固有の規範：

• STEM 分野：再現性と統計的な厳密さを重視します
• 社会科学：定量的基準と定性的基準のバランスを取ります
• 人文学：論証と学術的解釈に重点を置きます

リソース

references/evaluation_framework.md

ScholarEval の各評価項目について、詳細な評価基準、ルーブリック、品質指標をまとめています。評価を実施する際にこのリファレンスを読み込むと、具体的な評価ガイドラインと採点ルーブリックを確認できます。

すばやくアクセスするための検索パターン：

• "Problem Formulation criteria"
• "Literature Review rubric"
• "Methodology assessment"
• "Data quality indicators"
• "Analysis rigor standards"
• "Writing quality checklist"

scripts/calculate_scores.py

各評価項目の評価から総合評価スコアを計算する Python スクリプトです。加重平均、しきい値分析、スコアの可視化に対応しています。

使用方法：

python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>

ベストプラクティス

1. 客観性を保つ - 個人的な好みではなく、確立された基準に基づいて評価します
2. 包括的に評価する - 該当するすべての評価項目を体系的に評価します
3. 根拠を示す - 成果物から具体例を挙げて評価を裏付けます
4. 建設的な姿勢を保つ - 弱点を改善の機会として伝えます
5. 文脈を考慮する - 成果物の段階と目的に応じて期待値を調整します
6. 理由を記録する - 評価やスコアの根拠を説明します
7. 長所を認める - 成果物の優れた点を明示的に伝えます
8. フィードバックに優先順位を付ける - 影響の大きい改善点から取り上げます

評価ワークフローの例

ユーザーの依頼：「創薬における機械学習に関するこの研究論文を評価してください」

対応プロセス：

1. 成果物の種類（実証研究論文）と範囲（包括的な評価）を特定します
2. 詳細な基準を確認するため、references/evaluation_framework.md を読み込みます
3. 各評価項目を体系的に評価します：
   • 問題の定式化：ML モデルの性能に関する研究課題が明確です
   • 文献レビュー：ML と創薬に関する近年の研究を網羅しています
   • 方法論：検証手順を備えた適切なディープラーニングアーキテクチャを採用しています
   • ［すべての評価項目について同様に続けます…］
4. 各評価項目のスコアと総合評価を算出します
5. 以下の点を明示する構造化レポートに評価結果をまとめます：
   • 方法論が優れており、コードを再現できます
   • より多様なデータセットでの評価が必要です
   • 結果セクションの文章をより明瞭にできます
6. 具体的な提案を添えて、優先順位を付けた推奨事項を提示します

Scientific Writer との統合

このスキルは、Scientific Writer のワークフローとシームレスに連携します。

論文生成後：

• Scholar Evaluation を、査読の代替または補完として使用します
• PEER_REVIEW.md と並行して SCHOLAR_EVALUATION.md を生成します
• 改訂を重ねる中での改善を追跡するため、定量的なスコアを提示します

改訂中：

• フィードバックに対応した後、特定の評価項目を再評価します
• 複数のバージョンにわたってスコアの改善を追跡します
• 対処が必要な継続的な弱点を特定します

出版準備：

• 目標とする学術誌や学会への投稿準備が整っているかを評価します
• 投稿前に不足点を特定します
• 出版基準と照らし合わせて評価します

注記

• 評価の厳密さは、研究の目的と段階に合わせる必要があります
• 研究の種類によっては、一部の評価軸が当てはまらない場合があります（例：純粋な理論論文におけるデータ収集）
• 学術的な規範における文化的・分野的な違いを考慮する必要があります
• このフレームワークは、分野固有の専門知識を補完するものであり、置き換えるものではありません
• 包括的な評価を行うには、ピアレビューのスキルと併用してください

引用

このスキルは、以下で紹介された ScholarEval フレームワークに基づいています。

Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval: Research Idea Evaluation Grounded in Literature. arXiv preprint arXiv:2510.16234. https://arxiv.org/abs/2510.16234

概要： ScholarEval は、2 つの基本的な基準に基づいて研究アイデアを評価する、検索拡張型の評価フレームワークです。基準とは、妥当性（既存の文献に基づく提案手法の実証的な妥当性）と貢献度（先行研究と比較した、さまざまな側面におけるアイデアの進展の度合い）です。このフレームワークは、専門家が注釈を付けた評価項目を従来のシステムより大幅に幅広く網羅し、評価の実用性、深さ、根拠の裏付けにおいて、ベースラインシステムより一貫して高く評価されています。