scholar-evaluation

学術評価

概要

ScholarEval フレームワークを適用して、学術研究や研究成果を体系的に評価します。このスキルでは、査読済み研究の評価基準に基づく構造化された評価方法を提供し、複数の品質側面から学術論文、研究提案、文献レビュー、学術的な執筆物を包括的に分析できます。

このスキルを使用する場面

次のような場合に、このスキルを使用します：

• 研究論文の品質と厳密さを評価する
• 文献レビューの網羅性と品質を評価する
• 研究方法の設計をレビューする
• データ分析のアプローチを採点する
• 学術的な執筆物や発表を評価する
• 学術的な成果物に対して体系的なフィードバックを提供する
• 確立された基準に照らして研究の品質をベンチマークする

評価ワークフロー

ステップ 1：初期評価と範囲の定義

まず、評価対象となる学術的な成果物の種類と評価範囲を特定します：

成果物の種類：

• 研究論文全体（実証研究、理論研究、またはレビュー）
• 研究提案または研究計画書
• 文献レビュー（系統的、ナラティブ、またはスコーピング）
• 学位論文または博士論文の章
• 学会抄録またはショートペーパー

評価範囲：

• 包括的（すべての側面）
• 対象を限定（方法論や執筆などの特定の側面）
• 比較（他の成果物とのベンチマーク）

範囲が曖昧な場合は、ユーザーに明確化を求めます。

ステップ 2：側面別評価

ScholarEval の各側面に沿って、成果物を体系的に評価します。該当する各側面について、品質を評価し、強みと弱みを特定し、適切な場合はスコアを提示します。

各側面の詳細な基準と評価尺度については、references/evaluation_framework.md を参照してください。

評価の主な側面：

1. 問題の定式化と研究課題

   • 研究課題の明確さと具体性
   • 理論的または実践的な重要性
   • 実現可能性と範囲の適切さ
   • 新規性と貢献の可能性

2. 文献レビュー

   • 対象範囲の網羅性
   • 単なる要約ではなく批判的な統合が行われているか
   • 研究ギャップの特定
   • 情報源の新しさと関連性
   • 適切な文脈づけ

3. 方法論と研究設計

   • 研究課題への適合性
   • 厳密性と妥当性
   • 再現性と透明性
   • 倫理的な配慮
   • 限界の明示

4. データ収集と情報源

   • データの品質と適切さ
   • サンプルサイズと代表性
   • データ収集の手順
   • 情報源の信頼性と確実性

5. 分析と解釈

   • 分析手法の適切さ
   • 分析の厳密さ
   • 論理的一貫性
   • 代替的な説明の検討
   • 結果と主張の整合性

6. 結果と知見

   • 発表の明確さ
   • 統計的または質的な厳密さ
   • 可視化の品質
   • 解釈の正確さ
   • 含意に関する考察

7. 学術的な執筆と発表

   • 明確さと構成
   • 学術的な語調と文体
   • 文法と表記
   • 論理の流れ
   • 対象読者にとっての分かりやすさ

8. 引用と参考文献

   • 引用の網羅性
   • 情報源の品質と適切さ
   • 引用の正確さ
   • 見解のバランス
   • 引用規則への準拠

ステップ 3：採点と評価

評価する各側面について、次の内容を提示します：

定性的評価：

• 主な強み（具体的な点を2～3個）
• 改善すべき点（具体的な点を2～3個）
• 重大な問題（該当する場合）

定量的な採点（任意）： 該当する場合は、5段階評価を使用します：

• 5：非常に優れている — 模範的な品質で、トップクラスの媒体に掲載できる水準
• 4：良好 — 品質が高く、必要な改善は軽微
• 3：十分 — 許容できる品質だが、改善すべき点が目立つ
• 2：改善が必要 — 大幅な修正が必要
• 1：不十分 — 大幅な改訂を要する根本的な問題がある

プログラムを使用して総合スコアを計算するには、scripts/calculate_scores.py を使用します。

ステップ 4：総合評価の作成

統合的な評価の要約を提示します。

1. 総合的な品質評価 - 研究成果としての価値を総合的に判断します
2. 主な強み - 各評価軸にわたる主な強みを3～5点挙げます
3. 重大な弱点 - 対応が必要な主な課題を3～5点挙げます
4. 優先度の高い提言 - 改善の効果が高いものから順に提言を並べます
5. 出版準備状況（該当する場合） - 対象となる発表先への適合性を評価します

ステップ 5：実行可能なフィードバックの提示

評価結果を、建設的で実行可能なフィードバックにまとめます。

フィードバックの構成：

• 具体的 - 該当するセクション、段落、ページ番号を示します
• 実行可能 - 具体的な改善案を提示します
• 優先順位を明確に - 重要度と実現可能性に基づいて提言を順位付けします
• バランスを取る - 弱点を指摘する一方で、強みも認めます
• 根拠に基づく - 評価基準に基づいてフィードバックを提示します

フィードバックの形式：

• 評価軸ごとの分析を含む構造化レポート
• 文書の該当箇所に対応付けた注釈
• 主な所見と提言をまとめたエグゼクティブサマリー
• ベンチマーク基準との比較分析

ステップ 6：状況に応じた考慮事項

以下の点に応じて、評価方法を調整します。

作成段階：

• 初期草稿：概念面と構成面の課題に重点を置きます
• 仕上げ段階の草稿：洗練と推敲に重点を置きます
• 最終提出稿：品質を包括的に確認します

目的と発表先：

• 学術誌論文：厳格さと貢献度に高い基準を設けます
• 学会論文：新規性と明瞭な提示のバランスを取ります
• 学生の研究成果：学習を促す、成長を重視したフィードバックを行います
• 研究助成金申請書：実現可能性とインパクトを重視します

分野ごとの慣例：

• STEM 分野：再現性と統計的厳密さを重視します
• 社会科学：量的基準と質的基準のバランスを取ります
• 人文学：論証と学術的解釈を重視します

リソース

references/evaluation_framework.md

ScholarEval の各評価軸について、詳細な評価基準、ルーブリック、品質指標を記載しています。評価を行う際は、このリファレンスを読み込み、具体的な評価ガイドラインと採点ルーブリックを参照してください。

すばやく参照するための検索パターン：

• 「Problem Formulation criteria」
• 「Literature Review rubric」
• 「Methodology assessment」
• 「Data quality indicators」
• 「Analysis rigor standards」
• 「Writing quality checklist」

scripts/calculate_scores.py

評価軸ごとの評点から総合評価スコアを計算する Python スクリプトです。加重平均、しきい値分析、スコアの可視化に対応しています。

使用方法：

python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>

ベストプラクティス

1. 客観性を保つ - 個人的な好みではなく、確立された基準に基づいて評価します
2. 網羅的に評価する - 該当するすべての評価軸を体系的に評価します
3. 根拠を示す - 成果物から具体例を挙げて評価を裏付けます
4. 建設的な姿勢を保つ - 弱点を改善の機会として伝えます
5. 状況を考慮する - 作成段階と目的に応じて期待値を調整します
6. 判断の根拠を記録する - 評価とスコアの根拠を説明します
7. 強みを伸ばす - 成果物の優れた点を明確に認めます
8. フィードバックに優先順位を付ける - 効果の大きい改善を優先します

評価ワークフローの例

ユーザーの依頼：「創薬における機械学習に関するこの研究論文を評価してください」

応答プロセス：

1. 研究の種類（実証研究論文）と範囲（包括的な評価）を特定します
2. 詳細な基準を確認するため、references/evaluation_framework.md を読み込みます
3. 各評価項目を体系的に評価します：
   • 問題設定：機械学習モデルの性能に関する明確な研究課題
   • 文献レビュー：機械学習と創薬に関する近年の研究を網羅
   • 方法論：検証手順を備えた適切な深層学習アーキテクチャ
   • ［すべての評価項目について続けます…］
4. 評価項目ごとのスコアと総合評価を算出します
5. 以下の点を強調した、構成の整ったレポートに評価結果をまとめます：
   • 優れた方法論と再現可能なコード
   • より多様なデータセットを用いた評価が必要
   • 結果のセクションは、文章をより明確にするとよい
6. 具体的な提案を含む、優先順位付けされた推奨事項を提示します

注記

• 評価の厳密さは、研究の目的と段階に合わせる必要があります
• すべての研究の種類に当てはまるとは限らない評価項目もあります（例：純粋に理論的な論文におけるデータ収集）
• 学術的な規範における文化や分野の違いを考慮する必要があります
• このフレームワークは、分野固有の専門知識を補完するものであり、置き換えるものではありません

引用

このスキルは、以下で紹介されている ScholarEval フレームワークに基づいています。

Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval: Research Idea Evaluation Grounded in Literature. arXiv プレプリント arXiv:2510.16234. https://arxiv.org/abs/2510.16234

要旨： ScholarEval は、既存の文献に基づく提案手法の実証的妥当性である「健全性」と、先行研究と比較した際にさまざまな評価項目においてアイデアがもたらす進歩の度合いである「貢献度」という、2 つの基本的な基準に基づいて研究アイデアを評価する、検索拡張型の評価フレームワークです。このフレームワークは、専門家が注釈を付けた評価ポイントを大幅に高い割合で網羅し、評価の実行可能性、深さ、根拠の裏付けにおいて、ベースラインシステムよりも一貫して高く評価されています。