scholar-evaluation

Scholar Evaluation

概述

运用 ScholarEval 框架，系统地评估学术与研究成果。本技能基于同行评审的研究评估标准，提供结构化的评估方法，可从多个质量维度全面分析学术论文、研究提案、文献综述和学术写作。

何时使用此技能

在以下情况使用此技能：

• 评估研究论文的质量与严谨性
• 评估文献综述的全面性与质量
• 审查研究方法设计
• 对数据分析方法进行评分
• 评估学术写作与呈现效果
• 为学术成果提供结构化反馈
• 根据既定标准对研究质量进行基准比较
• 评估作品是否已达到目标发表平台的发表要求
• 提供量化评估，以补充定性同行评审

使用科学示意图增强视觉效果

使用此技能创建文档时，请始终考虑添加科学图表和示意图，以增强视觉传达效果。

如果文档中尚无示意图或图表：

• 使用 scientific-schematics 技能生成 AI 驱动的出版级图表
• 只需用自然语言描述所需的图表
• Nano Banana Pro 将自动生成、审查并优化示意图

对于新文档： 默认应生成科学示意图，以直观呈现文本中描述的关键概念、工作流、架构或关系。

如何生成示意图：

python scripts/generate_schematic.py "your diagram description" -o figures/output.png

AI 将自动：

• 创建格式规范的出版级图像
• 通过多轮迭代进行审查和优化
• 确保无障碍性（色盲友好、高对比度）
• 将输出保存到 figures/ 目录中

何时添加示意图：

• 评估框架图
• 质量评估标准决策树
• 学术工作流可视化图
• 评估方法流程图
• 评分标准可视化图
• 评估流程图
• 任何适合通过可视化呈现的复杂概念

有关创建示意图的详细指南，请参阅 scientific-schematics 技能文档。

---

评估工作流

步骤 1：初步评估与范围界定

首先确定待评估学术成果的类型和评估范围：

成果类型：

• 完整研究论文（实证、理论或综述）
• 研究提案或方案
• 文献综述（系统性、叙述性或范围综述）
• 学位论文或博士论文的章节
• 会议摘要或短篇论文

评估范围：

• 全面评估（涵盖所有维度）
• 针对性评估（聚焦方法或写作等特定方面）
• 比较评估（与其他成果进行基准比较）

如果范围不明确，请用户进一步说明。

步骤 2：基于维度的评估

按照 ScholarEval 的各项维度系统地评估作品。对于每个适用维度，评估质量、指出优势和不足，并在适当时给出评分。

请参阅 references/evaluation_framework.md，了解各维度的详细标准和评分准则。

核心评估维度：

1. 问题构建与研究问题

   • 研究问题是否清晰具体
   • 理论或实践意义
   • 可行性与范围是否恰当
   • 新颖性与贡献潜力

2. 文献综述

   • 覆盖是否全面
   • 是否进行批判性综合，而非仅仅总结
   • 是否识别研究空白
   • 来源是否新颖且相关
   • 是否进行了恰当的背景阐释

3. 方法与研究设计

   • 是否适用于研究问题
   • 严谨性与有效性
   • 可复现性与透明度
   • 伦理考量
   • 是否承认局限性

4. 数据收集与来源

   • 数据质量与适用性
   • 样本量与代表性
   • 数据收集程序
   • 来源的可信度与可靠性

5. 分析与解释

   • 分析方法是否恰当
   • 分析的严谨性
   • 逻辑连贯性
   • 是否考虑其他解释
   • 结果与主张是否一致

6. 结果与发现

   • 呈现是否清晰
   • 统计或定性分析是否严谨
   • 可视化质量
   • 解释是否准确
   • 对影响的讨论

7. 学术写作与呈现

   • 清晰度与组织结构
   • 学术语气与风格
   • 语法与写作规范
   • 逻辑流畅性
   • 目标受众是否易于理解

8. 引文与参考文献

   • 引文是否完整
   • 来源的质量与适用性
   • 引文是否准确
   • 观点是否均衡
   • 是否遵循引文规范

步骤 3：评分与评级

对于评估的每个维度，请提供：

定性评估：

• 主要优势（2–3 个具体要点）
• 改进空间（2–3 个具体要点）
• 关键问题（如有）

定量评分（可选）： 适用时使用 5 分制：

• 5：优秀——质量卓越，可发表于顶级刊物
• 4：良好——质量扎实，只需少量改进
• 3：合格——质量可接受，但有明显的改进空间
• 2：有待改进——需要进行重大修改
• 1：较差——存在根本性问题，需要大幅修改

如需通过程序计算综合评分，请使用 scripts/calculate_scores.py。

步骤 4：综合整体评估

提供整合后的评估摘要：

1. 整体质量评估——对作品学术价值的综合判断
2. 主要优势——各维度中 3–5 个关键优势
3. 关键不足——3–5 个需要重点关注的主要问题
4. 优先改进建议——按影响程度排序的改进清单
5. 发表准备度（如适用）——评估作品是否适合目标刊物

步骤 5：提供可执行的反馈

将评估结果转化为建设性且可执行的反馈：

反馈结构：

• 具体明确——指出确切的章节、段落或页码
• 可执行——提供具体的改进建议
• 有优先级——按照重要性和可行性排列建议
• 客观均衡——肯定优势，同时指出不足
• 以证据为依据——依据评估标准提出反馈

反馈格式选项：

• 按维度逐项分析的结构化报告
• 对照文档具体章节添加的批注
• 包含关键发现和建议的执行摘要
• 与基准标准进行对比分析

第 6 步：情境考量

根据以下因素调整评估方法：

开发阶段：

• 初稿：重点关注概念和结构问题
• 完善稿：重点关注润色和完善
• 最终提交稿：进行全面质量检查

目的和投稿场合：

• 期刊文章：严格要求严谨性和贡献度
• 会议论文：兼顾创新性与表达清晰度
• 学生作品：提供以发展提升为重点的教育性反馈
• 基金申请书：强调可行性和影响力

学科特定规范：

• STEM 领域：强调可复现性和统计严谨性
• 社会科学：兼顾定量和定性标准
• 人文学科：关注论证和学术阐释

资源

references/evaluation_framework.md

提供 ScholarEval 各评估维度的详细评估标准、评分细则和质量指标。进行评估时，请加载此参考资料，以获取具体的评估指南和评分细则。

快速查找的搜索模式：

• "Problem Formulation criteria"
• "Literature Review rubric"
• "Methodology assessment"
• "Data quality indicators"
• "Analysis rigor standards"
• "Writing quality checklist"

scripts/calculate_scores.py

用于计算各维度评分汇总结果的 Python 脚本。支持加权平均、阈值分析和分数可视化。

用法：

python scripts/calculate_scores.py --scores <dimension_scores.json> --output <report.txt>

最佳实践

1. 保持客观 - 根据既定标准评估，而非个人偏好
2. 全面评估 - 系统地评估所有适用维度
3. 提供证据 - 用作品中的具体示例支持评估
4. 保持建设性 - 将不足表述为改进机会
5. 考虑情境 - 根据作品阶段和目的调整预期
6. 说明理由 - 解释评估和评分背后的依据
7. 肯定优势 - 明确指出作品的优点
8. 反馈排序 - 优先关注影响较大的改进

评估工作流示例

用户请求：“评估这篇关于机器学习用于药物发现的研究论文”

响应流程：

1. 确定作品类型（实证研究论文）和范围（全面评估）
2. 加载 references/evaluation_framework.md 获取详细标准
3. 系统地评估各个维度：
   • 问题表述：关于 ML 模型性能的研究问题明确
   • 文献综述：全面涵盖近期 ML 和药物发现研究
   • 方法论：采用适当的深度学习架构及验证流程
   • [继续评估所有维度……]
4. 计算各维度评分并形成总体评估
5. 综合结果，撰写结构化报告，重点指出：
   • 方法论扎实，代码可复现
   • 需要使用更多样化的数据集进行评估
   • 结果部分的写作可进一步提升清晰度
6. 提供按优先级排序的建议及具体意见

与 Scientific Writer 集成

此技能可无缝集成到 Scientific Writer 工作流中：

论文生成后：

• 将 Scholar Evaluation 用作同行评审的替代或补充
• 同时生成 SCHOLAR_EVALUATION.md 和 PEER_REVIEW.md
• 提供量化评分，以追踪多轮修订中的改进

修订期间：

• 处理反馈后，重新评估特定维度
• 追踪多个版本间的评分变化
• 找出需要关注的持续性弱项

投稿准备：

• 评估论文是否达到目标期刊或会议的要求
• 投稿前找出不足之处
• 对照出版标准进行基准评估

备注

• 评估的严谨程度应与工作的目的和阶段相匹配
• 某些维度可能不适用于所有类型的工作（例如，纯理论论文无需进行数据收集）
• 应考虑学术规范中的文化和学科差异
• 此框架是对领域专门知识的补充，而非替代
• 与同行评审技能结合使用，以进行全面评估

引用

此技能基于以下文献中提出的 ScholarEval 框架：

Moussa, H. N., Da Silva, P. Q., Adu-Ampratwum, D., East, A., Lu, Z., Puccetti, N., Xue, M., Sun, H., Majumder, B. P., & Kumar, S. (2025). ScholarEval: Research Idea Evaluation Grounded in Literature. arXiv 预印本 arXiv:2510.16234. https://arxiv.org/abs/2510.16234

摘要： ScholarEval 是一个检索增强评估框架，依据两项基本标准评估研究想法：可靠性（基于现有文献评估所提方法的实证有效性）和贡献（相对于先前研究，想法在不同维度上取得的进展程度）。与基线系统相比，该框架覆盖了显著更多由专家标注的评估要点，并且在评估的可操作性、深度和证据支持方面始终更受青睐。