scholar-evaluation

学术评估

概述

运用 ScholarEval 框架对学术和研究工作进行系统评估。本技能提供基于同行评审研究评估标准的结构化评估方法，可从多个质量维度全面分析学术论文、研究提案、文献综述和学术写作。

何时使用此技能

在以下情况下使用此技能：

• 评估研究论文的质量和严谨性
• 评估文献综述的全面性和质量
• 审查研究方法设计
• 为数据分析方法评分
• 评估学术写作和呈现
• 为学术工作提供结构化反馈
• 根据既定标准对研究质量进行基准比较

评估工作流

第 1 步：初步评估并明确范围

首先确定所评估的学术工作类型和评估范围：

工作类型：

• 完整研究论文（实证、理论或综述）
• 研究提案或方案
• 文献综述（系统性、叙述性或范围综述）
• 学位论文或博士论文的章节
• 会议摘要或短篇论文

评估范围：

• 全面评估（所有维度）
• 定向评估（特定方面，例如方法或写作）
• 比较评估（与其他工作进行基准比较）

如果范围不明确，请让用户进一步说明。

第 2 步：按维度评估

按照 ScholarEval 的各个维度对工作进行系统评估。对于每个适用维度，评估其质量，指出优势和不足，并在适当时给出评分。

有关各维度的详细标准和评分量表，请参阅 references/evaluation_framework.md。

核心评估维度：

1. 问题界定与研究问题

   • 研究问题的清晰度和具体性
   • 理论或实践意义
   • 可行性和范围适切性
   • 创新性和潜在贡献

2. 文献综述

   • 覆盖范围的全面性
   • 批判性综合，而非单纯概述
   • 对研究空白的识别
   • 来源的时效性和相关性
   • 恰当的背景说明

3. 方法与研究设计

   • 对研究问题的适切性
   • 严谨性和有效性
   • 可复现性和透明度
   • 伦理考量
   • 对局限性的说明

4. 数据收集与来源

   • 数据的质量和适切性
   • 样本量和代表性
   • 数据收集流程
   • 来源的可信度和可靠性

5. 分析与阐释

   • 分析方法的适切性
   • 分析的严谨性
   • 逻辑连贯性
   • 对其他解释的考量
   • 结果与论断的一致性

6. 结果与发现

   • 呈现的清晰度
   • 统计或定性分析的严谨性
   • 可视化质量
   • 阐释的准确性
   • 对影响的讨论

7. 学术写作与呈现

   • 清晰度和组织性
   • 学术语气和风格
   • 语法和语言规范
   • 逻辑流畅性
   • 对目标受众的易读性

8. 引文与参考文献

   • 引文的完整性
   • 来源的质量和适切性
   • 引文的准确性
   • 观点的平衡性
   • 对引用规范的遵循

第 3 步：评分与评级

对每个已评估维度，提供：

定性评估：

• 主要优势（2-3 个具体要点）
• 改进方向（2-3 个具体要点）
• 关键问题（如有）

定量评分（可选）： 在适用时使用 5 分制：

• 5：优秀——质量卓越，可在顶级刊物或会议上发表
• 4：良好——质量较高，仅需小幅改进
• 3：合格——质量可接受，但仍有明显的改进空间
• 2：有待改进——需要进行重大修改
• 1：较差——存在根本性问题，需要大幅修改

如需通过程序计算综合得分，请使用 scripts/calculate_scores.py。

第 4 步：综合总体评估

提供综合评价摘要：

1. 总体质量评估 - 对作品学术价值的整体判断
2. 主要优势 - 跨维度总结 3-5 项关键优势
3. 关键弱点 - 列出 3-5 项亟待关注的主要问题
4. 优先建议 - 按影响力排序的改进建议
5. 发表准备度（如适用）- 评估作品是否适合目标发表渠道

第 5 步：提供可执行的反馈

将评估结果转化为建设性、可执行的反馈：

反馈结构：

• 具体 - 指明确切的章节、段落或页码
• 可执行 - 提供具体的改进建议
• 有优先级 - 按重要性和可行性对建议排序
• 平衡 - 肯定优势，同时指出不足
• 基于证据 - 依据评估标准提出反馈

反馈格式选项：

• 按维度分析的结构化报告
• 对应文档具体部分的批注
• 包含主要发现和建议的执行摘要
• 与基准标准的对比分析

第 6 步：考虑具体情境

根据以下因素调整评估方法：

开发阶段：

• 早期草稿：侧重概念和结构问题
• 进阶草稿：侧重完善和润色
• 最终投稿：进行全面质量检查

目的和发表渠道：

• 期刊论文：对严谨性和贡献提出较高要求
• 会议论文：兼顾创新性和表达清晰度
• 学生作业：提供具有教育意义、侧重发展的反馈
• 基金申请：着重评估可行性和影响

学科规范：

• STEM 领域：侧重可复现性和统计严谨性
• 社会科学：兼顾定量与定性标准
• 人文学科：侧重论证和学术阐释

资源

references/evaluation_framework.md

详细列出 ScholarEval 各评估维度的评估标准、评分细则和质量指标。进行评估时请加载此参考文件，以获取具体的评估指南和评分细则。

快速查找的搜索词：

• “Problem Formulation criteria”
• “Literature Review rubric”
• “Methodology assessment”
• “Data quality indicators”
• “Analysis rigor standards”
• “Writing quality checklist”

scripts/calculate_scores.py

用于根据各维度评分计算综合评估分数的 Python 脚本。支持加权平均、阈值分析和分数可视化。

用法：

python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>

最佳实践

1. 保持客观 - 依据既定标准进行评估，而非个人偏好
2. 全面评估 - 系统地评估所有适用维度
3. 提供证据 - 用作品中的具体示例支撑评估
4. 保持建设性 - 将弱点表述为改进机会
5. 考虑情境 - 根据作品阶段和目的调整预期
6. 记录评估依据 - 解释评估结果和分数背后的理由
7. 肯定优势 - 明确指出作品的出色之处
8. 优先处理反馈 - 优先关注影响最大的改进项

示例评估工作流

用户请求：“评估这篇关于机器学习用于药物发现的研究论文”

响应流程：

1. 确定作品类型（实证研究论文）和范围（全面评估）
2. 加载 references/evaluation_framework.md，查看详细标准
3. 系统地评估各个维度：
   • 问题表述：关于机器学习模型性能的研究问题清晰明确
   • 文献综述：全面涵盖近期机器学习和药物发现领域的研究
   • 方法论：采用合适的深度学习架构，并设置验证流程
   • [继续评估所有维度……]
4. 计算各维度得分和总体评估结果
5. 综合评估结果，形成结构化报告，重点指出：
   • 方法论扎实，代码可复现
   • 需要使用更多样化的数据集进行评估
   • 结果部分的写作可以更加清晰
6. 提供有优先级的改进建议，并给出具体指导

备注

• 评估的严谨程度应与作品的目的和阶段相匹配
• 某些维度可能不适用于所有类型的作品（例如，纯理论论文无需收集数据）
• 应考虑学术规范方面的文化和学科差异
• 此框架旨在补充而非取代领域专业知识

引用

此技能基于以下文献中介绍的 ScholarEval 框架：

Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval：基于文献的研究构想评估。arXiv 预印本 arXiv:2510.16234。https://arxiv.org/abs/2510.16234

摘要： ScholarEval 是一个检索增强型评估框架，依据两项基本标准评估研究构想：可靠性（基于现有文献判断所提方法的实证有效性）和贡献（与先前研究相比，该构想在不同维度上取得的进展程度）。与基线系统相比，该框架覆盖的专家标注评估要点显著更多，并且在评估的可操作性、深度和证据支持方面始终更受青睐。