alterlab-scholar-eval

学術研究の評価

概要

学術論文、研究提案、文献レビュー、学位論文を対象に、8つの評価軸からなる構造化されたルーブリックを用いて、学術研究を体系的に評価します。各評価軸に1～5点を付け、重み付けした総合評価と、優先順位を付けたフィードバックを提示します。このルーブリックは本スキル独自のものです。名称と、文献に根ざした考え方は、研究のアイデアの妥当性と貢献度を評価する ScholarEval（Moussa et al., 2025）に由来します。詳しくは「引用」セクションを参照してください。

このスキルを使用する場面

次のような場合にこのスキルを使用します。

• 研究論文の質と厳密さを評価する
• 文献レビューの網羅性と質を評価する
• 研究方法の設計をレビューする
• データ分析のアプローチを採点する
• 学術的な文章と発表を評価する
• 学術研究に対して構造化されたフィードバックを提供する
• 確立された基準に照らして研究の質をベンチマークする
• 対象とする投稿先への掲載準備状況を評価する
• 質的な査読を補完する定量的な評価を提供する

該当しない場合

状況	代わりに使用
学術誌または助成金審査委員会向けの、叙述形式でチェックリストに基づく査読報告書	alterlab-peer-review
編集上の採択・修正・却下の判断を含む、複数の査読者による模擬審査	alterlab-paper-reviewer
特定の主張が裏付けられているかどうかを判断する場合（エビデンスの評価、バイアス、交絡因子）	alterlab-scientific-thinking
コースや課題の採点ルーブリックを設計する場合	alterlab-teaching-design

評価ワークフロー

ステップ 1：初期評価と範囲の定義

まず、評価対象となる学術研究の種類と評価範囲を特定します。

研究の種類：

• 研究論文（実証研究、理論研究、またはレビュー）
• 研究提案またはプロトコル
• 文献レビュー（システマティック、ナラティブ、またはスコーピング）
• 学位論文または博士論文の章
• 学会要旨または短報

評価範囲：

• 包括的（すべての評価軸）
• 特定項目（方法論や文章など、特定の側面）
• 比較（他の研究とのベンチマーク）

範囲が曖昧な場合は、ユーザーに明確化を求めます。

Step 2: 次元別評価

ScholarEval の各次元に沿って、研究を体系的に評価します。該当する各次元について、質を評価し、強みと弱みを特定したうえで、適切な場合はスコアを付けます。

各次元の詳細な評価基準とルーブリックについては、references/evaluation_framework.md を参照してください。

主な評価次元：

1. 問題設定と研究課題

   • 研究課題の明確さと具体性
   • 理論的または実践的な重要性
   • 実現可能性と範囲の適切さ
   • 新規性と貢献の可能性

2. 文献レビュー

   • 網羅性
   • 単なる要約ではなく、批判的な統合ができているか
   • 研究上の空白の特定
   • 情報源の最新性と関連性
   • 適切な文脈づけ

3. 方法論と研究デザイン

   • 研究課題への適切さ
   • 厳密性と妥当性
   • 再現性と透明性
   • 倫理的配慮
   • 限界の認識

4. データ収集と情報源

   • データの質と適切さ
   • サンプルサイズと代表性
   • データ収集手順
   • 情報源の信頼性と確実性

5. 分析と解釈

   • 分析手法の適切さ
   • 分析の厳密性
   • 論理的な一貫性
   • 代替説明を考慮しているか
   • 結果と主張の整合性

6. 結果と知見

   • 提示の明確さ
   • 統計的または質的な厳密性
   • 可視化の質
   • 解釈の正確さ
   • 含意に関する考察

7. 学術的な文章とプレゼンテーション

   • 明確さと構成
   • 学術的な語調と文体
   • 文法と表記
   • 論理の流れ
   • 対象読者にとっての分かりやすさ

8. 引用と参考文献

   • 引用の網羅性
   • 情報源の質と適切さ
   • 引用の正確さ
   • 視点のバランス
   • 引用規則への準拠

Step 3: スコア付けと評価

評価した各次元について、以下を提示します。

定性的評価：

• 主な強み（具体的な点を2～3個）
• 改善点（具体的な点を2～3個）
• 重大な問題（該当する場合）

定量的スコア（任意）： 該当する場合は、5段階評価を使用します。

• 5：非常に優れている — 卓越した質で、トップクラスの学会や学術誌での発表に値する
• 4：良好 — 質が高く、必要な改善は軽微
• 3：適切 — 許容できる質だが、改善すべき点が目立つ
• 2：要改善 — 大幅な改訂が必要
• 1：不十分 — 根本的な問題があり、大幅な修正が必要

スコアをプログラムで集計するには、scripts/calculate_scores.py を使用します。

Step 4: 総合評価の統合

統合的な評価の要約を提示します。

1. 総合的な質の評価 — 研究の学術的価値に関する総合的な判断
2. 主な強み — 複数の次元にわたる主な強みを3～5点
3. 重大な弱点 — 対応が必要な主な課題を3～5点
4. 優先度の高い提案 — 影響度の高い順に改善案を列挙
5. 出版準備状況（該当する場合）— 対象とする出版先に適しているかを評価

Step 5: 実行可能なフィードバックの提示

評価結果を、建設的で実行可能なフィードバックにまとめます。

フィードバックの構成：

• 具体的 — 該当する節、段落、ページ番号を明記する
• 実行可能 — 具体的な改善案を提示する
• 優先順位を明確に — 重要度と実現可能性に応じて提案を順位付けする
• バランスよく — 弱点を指摘しつつ、強みも認める
• 根拠に基づく — 評価基準に基づいてフィードバックする

フィードバック形式の選択肢：

• 次元ごとの分析を含む構造化レポート
• 文書の該当箇所に対応付けた注釈付きコメント
• 主な知見と提案をまとめたエグゼクティブサマリー
• ベンチマーク基準との比較分析

ステップ 6：文脈に応じた考慮事項

以下に応じて評価方法を調整します。

開発段階：

• 初期ドラフト：概念面および構成面の問題に重点を置きます
• 進んだ段階のドラフト：推敲と仕上げに重点を置きます
• 最終提出物：包括的な品質チェックを行います

目的と発表の場：

• 学術誌の記事：厳密性と貢献度に高い水準を求めます
• 学会論文：新規性と明確な提示のバランスを取ります
• 学生の研究：成長を促すことを重視した教育的なフィードバックを行います
• 研究助成金の申請書：実現可能性と影響に重点を置きます

分野ごとの規範：

• STEM 分野：再現性と統計的厳密性を重視します
• 社会科学：定量的基準と定性的基準のバランスを取ります
• 人文学：論証と学術的解釈に重点を置きます

リソース

references/evaluation_framework.md

ScholarEval の各評価軸に関する詳細な評価基準、ルーブリック、品質指標です。評価を実施する際にこのリファレンスを読み込み、具体的な評価ガイドラインと採点ルーブリックを確認してください。

すばやく参照するための検索語：

• "Problem Formulation criteria"
• "Literature Review rubric"
• "Methodology assessment"
• "Data quality indicators"
• "Analysis rigor standards"
• "Writing quality checklist"

scripts/calculate_scores.py

評価軸ごとの評点から総合評価スコアを計算する Python スクリプトです。加重平均、しきい値分析、スコアの可視化に対応しています。

使用方法：

python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>

ベストプラクティス

1. 客観性を保つ - 個人的な好みではなく、確立された基準に基づいて評価します
2. 網羅的に評価する - 該当するすべての評価軸を体系的に評価します
3. 根拠を示す - 対象の成果物から具体例を挙げて評価を裏付けます
4. 建設的な姿勢を保つ - 弱点を改善の機会として伝えます
5. 文脈を考慮する - 成果物の段階と目的に応じて期待水準を調整します
6. 判断の根拠を記録する - 評価やスコアに至った理由を説明します
7. 強みを伝える - 成果物の優れた点を明確に認めます
8. フィードバックに優先順位を付ける - 影響の大きい改善点から取り上げます

評価ワークフローの例

ユーザーの依頼：「創薬における機械学習に関するこの研究論文を評価してください」

応答のプロセス：

1. 成果物の種類（実証研究論文）と範囲（包括的な評価）を特定します
2. 詳細な基準を確認するため、references/evaluation_framework.md を読み込みます
3. 各評価軸を体系的に評価します：
   • 問題設定：機械学習モデルの性能に関する研究課題が明確です
   • 文献レビュー：機械学習と創薬に関する最近の研究を幅広く取り上げています
   • 方法論：検証手順を備えた適切なディープラーニングのアーキテクチャを採用しています
   • ［すべての評価軸について同様に評価を続けます……］
4. 評価軸ごとのスコアと総合評価を算出します
5. 調査結果を構造化したレポートにまとめ、以下の点を示します：
   • 方法論が優れており、コードが再現可能です
   • より多様なデータセットでの評価が必要です
   • 結果のセクションは、より明確に書くとよいでしょう
6. 具体的な提案を添えて、優先順位付きの推奨事項を提示します

Scientific Writer との連携

このスキルは、Scientific Writer のワークフローにシームレスに統合できます。

論文生成後：

• Scholar Evaluation を、査読の代替または補完として使用します
• PEER_REVIEW.md とともに SCHOLAR_EVALUATION.md を生成します
• 改訂ごとの改善状況を追跡するため、定量的なスコアを提示します

改訂中：

• フィードバックへの対応後に、特定の評価軸を再評価します
• 複数のバージョンにわたってスコアの改善状況を追跡します
• 対応が必要な、継続している弱点を特定します

出版準備：

• 投稿先の学術誌や学会に向けた準備状況を評価します
• 投稿前に不足点を特定します
• 出版基準と照らし合わせて評価します

注意事項

• 評価の厳密さは、成果物の目的と段階に合わせる必要があります
• すべての評価軸が、あらゆる種類の成果物に当てはまるとは限りません（例：純粋に理論的な論文におけるデータ収集）
• 学術的な規範における文化的・学問分野的な違いを考慮する必要があります
• このフレームワークは、専門分野固有の専門知識を補完するものであり、置き換えるものではありません
• 包括的な評価を行うには、alterlab-peer-review と併用してください

引用

このスキルの名称と文献に基づくアプローチは、以下で紹介された ScholarEval に由来します。

Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval: Research Idea Evaluation Grounded in Literature. arXiv プレプリント arXiv:2510.16234. https://arxiv.org/abs/2510.16234

概要： ScholarEval は、2 つの基本的な基準に基づいて研究アイデアを評価する、検索拡張型の評価フレームワークです。2 つの基準とは、妥当性（既存の文献に基づく提案手法の実証的な妥当性）と貢献度（先行研究と比べて、アイデアがさまざまな側面でどの程度進展をもたらすか）です。このフレームワークは、専門家が注釈を付けた評価項目を大幅に多く網羅し、評価の実用性、深さ、エビデンスによる裏付けの点で、ベースラインシステムより一貫して高く評価されています。

このスキルとの関係： 論文のシステムは、文献検索を用いて研究の アイデア を評価します。8 つの評価軸からなる 1～5 の評価基準と、scripts/calculate_scores.py に記載された重みは、完成した学術成果物を採点するためにこのスキルが独自に応用したものであり、論文で公開された評価基準ではありません。そのため、ScholarEval はアイデア評価の手法にのみ引用し、初期段階の研究アイデアを採点する際は、論文と同様に、検索した文献に基づいて妥当性と貢献度を判断してください。

AlterLab Academic Skills スイートの一部です。