alterlab-scholar-eval

学术研究评估

概述

使用包含八个维度的结构化评分标准，系统评估学术与研究成果，得出 1-5 分的评分、加权总分和按优先级排列的反馈，适用于学术论文、研究提案、文献综述和学位论文。本评分标准由此技能自行制定；其名称和植根于文献的理念源自 ScholarEval（Moussa 等人，2025 年）。ScholarEval 评估研究构想的可靠性和贡献度——请参阅“引用”部分。

何时使用此技能

在以下情况下使用此技能：

• 评估研究论文的质量和严谨性
• 评估文献综述的全面性和质量
• 审查研究方法设计
• 为数据分析方法评分
• 评估学术写作和呈现效果
• 为学术成果提供结构化反馈
• 根据既定标准衡量研究质量
• 评估研究成果是否达到目标发表渠道的要求
• 提供量化评估，补充定性同行评审

不适用的情况

场景	请改用
为期刊或资助评审小组撰写叙述式、基于检查清单的评审报告	alterlab-peer-review
模拟多位评审组成的评审小组，并作出编辑层面的接受、修改或拒稿决定	alterlab-paper-reviewer
判断具体论点是否有依据——评估证据、偏见和混杂因素	alterlab-scientific-thinking
为课程或作业设计评分标准	alterlab-teaching-design

评估工作流

步骤 1：初步评估与范围界定

首先确定待评估学术成果的类型和评估范围：

成果类型：

• 完整研究论文（实证、理论或综述）
• 研究提案或方案
• 文献综述（系统性、叙述性或范围综述）
• 学位论文或博士论文的章节
• 会议摘要或短篇论文

评估范围：

• 全面评估（涵盖所有维度）
• 定向评估（针对方法或写作等特定方面）
• 对比评估（与其他成果进行基准比较）

如果范围不明确，请用户进一步说明。

步骤 2：基于维度的评估

按照 ScholarEval 的各项维度系统地评估作品。对于每个适用维度，评估质量、指出优势和不足，并在适当时给出评分。

请参阅 references/evaluation_framework.md，了解各维度的详细标准和评分准则。

核心评估维度：

1. 问题构建与研究问题

   • 研究问题是否清晰具体
   • 理论或实践意义
   • 可行性与范围是否恰当
   • 新颖性与贡献潜力

2. 文献综述

   • 覆盖是否全面
   • 是否进行批判性综合，而非仅仅总结
   • 是否识别研究空白
   • 来源是否新颖且相关
   • 是否进行了恰当的背景阐释

3. 方法与研究设计

   • 是否适用于研究问题
   • 严谨性与有效性
   • 可复现性与透明度
   • 伦理考量
   • 是否承认局限性

4. 数据收集与来源

   • 数据质量与适用性
   • 样本量与代表性
   • 数据收集程序
   • 来源的可信度与可靠性

5. 分析与解释

   • 分析方法是否恰当
   • 分析的严谨性
   • 逻辑连贯性
   • 是否考虑其他解释
   • 结果与主张是否一致

6. 结果与发现

   • 呈现是否清晰
   • 统计或定性分析是否严谨
   • 可视化质量
   • 解释是否准确
   • 对影响的讨论

7. 学术写作与呈现

   • 清晰度与组织结构
   • 学术语气与风格
   • 语法与写作规范
   • 逻辑流畅性
   • 目标受众是否易于理解

8. 引文与参考文献

   • 引文是否完整
   • 来源的质量与适用性
   • 引文是否准确
   • 观点是否均衡
   • 是否遵循引文规范

步骤 3：评分与评级

对于评估的每个维度，请提供：

定性评估：

• 主要优势（2–3 个具体要点）
• 改进空间（2–3 个具体要点）
• 关键问题（如有）

定量评分（可选）： 适用时使用 5 分制：

• 5：优秀——质量卓越，可发表于顶级刊物
• 4：良好——质量扎实，只需少量改进
• 3：合格——质量可接受，但有明显的改进空间
• 2：有待改进——需要进行重大修改
• 1：较差——存在根本性问题，需要大幅修改

如需通过程序计算综合评分，请使用 scripts/calculate_scores.py。

步骤 4：综合整体评估

提供整合后的评估摘要：

1. 整体质量评估——对作品学术价值的综合判断
2. 主要优势——各维度中 3–5 个关键优势
3. 关键不足——3–5 个需要重点关注的主要问题
4. 优先改进建议——按影响程度排序的改进清单
5. 发表准备度（如适用）——评估作品是否适合目标刊物

步骤 5：提供可执行的反馈

将评估结果转化为建设性且可执行的反馈：

反馈结构：

• 具体明确——指出确切的章节、段落或页码
• 可执行——提供具体的改进建议
• 有优先级——按照重要性和可行性排列建议
• 客观均衡——肯定优势，同时指出不足
• 以证据为依据——依据评估标准提出反馈

反馈格式选项：

• 按维度逐项分析的结构化报告
• 对照文档具体章节添加的批注
• 包含关键发现和建议的执行摘要
• 与基准标准进行对比分析

第 6 步：背景因素考量

根据以下因素调整评估方法：

开发阶段：

• 早期草稿：侧重概念和结构问题
• 高级草稿：侧重完善和润色
• 最终提交稿：进行全面质量检查

目的和投稿场合：

• 期刊论文：对严谨性和贡献提出高标准
• 会议论文：兼顾新颖性和表达清晰度
• 学生作品：提供注重发展的教育性反馈
• 资助申请：强调可行性和影响力

学科特定规范：

• STEM 领域：强调可复现性和统计严谨性
• 社会科学：兼顾定量和定性标准
• 人文学科：侧重论证和学术阐释

资源

references/evaluation_framework.md

详细列出 ScholarEval 各个维度的评估标准、评分细则和质量指标。进行评估时加载此参考资料，以获取具体的评估指南和评分细则。

快速查找的搜索词：

• "Problem Formulation criteria"
• "Literature Review rubric"
• "Methodology assessment"
• "Data quality indicators"
• "Analysis rigor standards"
• "Writing quality checklist"

scripts/calculate_scores.py

用于根据各维度评分计算总体评估分数的 Python 脚本。支持加权平均、阈值分析和分数可视化。

用法：

python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>

最佳实践

1. 保持客观——依据既定标准进行评估，而非个人偏好
2. 全面评估——系统地评估所有适用维度
3. 提供依据——用作品中的具体示例支持评估
4. 保持建设性——将不足表述为改进机会
5. 考虑背景——根据作品阶段和目的调整预期
6. 记录理由——解释评估和评分背后的依据
7. 肯定优点——明确指出作品的长处
8. 优先处理反馈——先关注影响最大的改进

评估工作流示例

用户请求：“评估这篇关于药物发现中机器学习的研究论文”

响应流程：

1. 确定作品类型（实证研究论文）和范围（全面评估）
2. 加载 references/evaluation_framework.md，获取详细标准
3. 系统地评估各个维度：
   • 问题构建：围绕 ML 模型性能提出明确的研究问题
   • 文献综述：全面涵盖近期机器学习和药物发现研究
   • 方法：采用适当的深度学习架构和验证流程
   • [继续评估所有维度……]
4. 计算各维度的分数并给出总体评估
5. 综合评估结果，形成结构化报告，重点指出：
   • 方法扎实，代码可复现
   • 需要使用更多样化的数据集进行评估
   • 结果部分的表述还可以更清晰
6. 提供按优先级排列的建议，并附上具体改进意见

与 Scientific Writer 集成

此技能可无缝集成到 Scientific Writer 工作流中：

论文生成后：

• 使用 Scholar Evaluation 作为同行评审的替代或补充
• 同时生成 SCHOLAR_EVALUATION.md 和 PEER_REVIEW.md
• 提供定量评分，以跟踪多轮修订中的改进

修订期间：

• 处理反馈后，重新评估特定维度
• 跟踪多个版本之间的分数变化
• 找出需要进一步关注的持续性弱点

投稿准备：

• 评估是否符合目标期刊或会议的投稿要求
• 在提交前找出差距
• 对照出版标准进行基准评估

注意事项

• 评估的严格程度应与工作的目的和阶段相匹配
• 某些维度可能不适用于所有工作类型（例如，纯理论论文可能不涉及数据收集）
• 应考虑学术规范中的文化和学科差异
• 此框架用于补充而非取代特定领域的专业知识
• 与 alterlab-peer-review 配合使用，以进行全面评估

引用

此技能的名称及其以文献为基础的方法源自 ScholarEval，该研究发表于：

Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval：以文献为基础的研究想法评估。arXiv 预印本 arXiv:2510.16234。https://arxiv.org/abs/2510.16234

摘要： ScholarEval 是一个检索增强型评估框架，依据两个基本标准评估研究想法：可靠性（根据现有文献判断所提方法的实证有效性）和贡献度（相较于先前研究，该想法在不同维度上取得的进展程度）。与基线系统相比，该框架覆盖了更多由专家标注的评估要点，并且在评估的可操作性、深度和证据支持方面始终更受青睐。

此技能与该研究的关系： 该论文中的系统通过检索文献来评估研究想法。scripts/calculate_scores.py 中的八维度、1-5 分评分标准及权重，是此技能针对已完成学术成果的评分改编，并非论文发表的评分标准。因此，仅在介绍想法评估方法时引用 ScholarEval；对于早期研究想法的评分，应像论文中那样，基于检索到的文献判断其可靠性和贡献度。

属于 AlterLab Academic Skills 套件。