scholar-evaluation

学术评估

目的

对学术作品（论文、草稿、研究方案、文献综述或研究想法）提供发展性的、可追溯证据的反馈。优先使用定性判断。可选的评分仅用于描述所提交证据如何映射到预先声明的有界评分标准。

本技能还会审查低风险评估流程是否记录了其构念、来源、评分者质量、不确定性、可追溯性、敏感性、公平性、可访问性、隐私和人类治理。

硬性安全边界

切勿使用本技能来自动化、推荐、实质性影响或评分以下事项：

• 招聘、晋升或终身教职；
• 招生录取；
• 资助或其他经费；
• 奖项、荣誉或奖励；
• 纪律处分、解雇或制裁；或
• 任何其他高影响的人事决策。

切勿对人进行排名。切勿将一个人简化为一个综合分数。切勿推断能力、品格、正直、受保护特征、未来表现或价值。名义上的人类参与环节并不能解除这一边界。

如果被要求用于禁止用途，请停止。可以提供对学术作品的发展性评论，或仅针对流程的审查，该审查不处理申请、不比较个人、不推荐结果，也不为决策提供建议。

不要作出发表就绪、接受/拒绝或“顶级”判断。

在任何组织使用之前，请阅读 references/responsible_assessment.md。

ScholarEval 状态

所引用的 ScholarEval 项目是一个实验性的、以文献为基础的研究想法评估框架，而非经过验证的心理测量学工具。

经核实的主要记录是 Moussa 等人，ScholarEval: Research Idea Evaluation Grounded in Literature，arXiv:2510.16234v2，修订于 2026-02-28。它报告了一个检索增强的合理性与贡献框架、一个包含 117 个想法、涵盖四个学科的数据集、覆盖率实验以及一项用户研究。

不要将这些结果推广到人员评估、重大决策、所有学科或本技能的评分标准。在本次注明日期的审查期间，未核实任何同行评审发表状态。参见 references/source_ledger.md。

指标与声望政策

不要根据以下内容评分或推断质量：

• 期刊影响因子或其他期刊指标；
• h 指数、发表数量或引用数量；
• 替代计量指标或关注度；
• 期刊、会议、发表场所、机构、雇主或地理声望；
• 作者隶属关系、声誉、人脉或职业路径。

评分标准验证器会拒绝常见的代理指标标准。

如果合格的评审者在评分工具之外描述性地提及某项指标，请记录其确切用途、来源、覆盖范围、领域和时间效应、不确定性、缺失情况、偏差、被操纵风险，以及为何它不直接衡量质量。切勿将指标隐藏在 opaque composite 中。

数据边界

捆绑脚本仅接受严格的本地 JSON/CSV，其中包含化名 ID、有界评分、状态、不确定性和本地引用。

不要将原始私人申请、简历、推荐信、评审者身份、联系方式、受保护属性或源文档文本放入输入、输出、日志、示例或提示词中。将源内容保留在授权记录系统中，并使用不透明的本地引用。

允许的分类为：

• synthetic
• public_scholarly_work
• deidentified_low_stakes

任何脚本都不会搜索网络、加载环境文件、读取凭据、调用模型、执行提供的文本、反序列化可执行对象或启动进程。

仅使用 Bash 来调用文档中说明的本地 python3 命令。

工作流

1. 确认允许的用途和授权

记录：

• 发展目的；
• 评估单位：scholarly_work；
• 作品类型、阶段、学科、语言和受众；
• 授权的来源位置和数据分类；
• 负责的委员会负责人；
• 利益冲突和回避情况；
• 无障碍支持和便利措施流程；
• 申诉或更正渠道；以及
• 数据用途、访问权限、保留期限和删除方式。

如涉及禁止的决策情境或不必要的私人数据，应停止。

2. 先定义评估对象，再制定标准

说明：

• 要考察的质量或支持；
• 排除的评估对象；
• 预期解读方式；
• 该解读不适用的情境；
• 证据要求；以及
• 已知局限。

应从价值观和学科背景出发，而非从现有指标出发。

3. 调整并验证评分量规

从 assets/rubric_template.json 开始，然后请具备资质的学科、评估方法、利益相关方、无障碍、隐私和公平性专家进行审查。

模板有意将内容效度记录为 not_established。 除非有针对确切预期用途的书面证据，否则不得更改此状态。

验证结构：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/validate_rubric.py \
  --rubric assets/rubric_template.json

阅读 references/evaluation_framework.md，了解评估对象、锚点、效度和评分者指南。

4. 建立可追溯的证据记录

审阅者可以在脚本之外阅读经授权的作品。仅在 assets/evidence_manifest_template.json 中记录稳定的本地定位信息和主张引用。

对于每项标准，区分：

• 观察到的证据与解读；
• 支持性证据与相反证据；
• 可用证据与不可用证据；
• missing 与 not_applicable；以及
• 不确定性与缺失。

未能找到先前的作品，并不能证明其具有新颖性。

5. 独立评分

使用 assets/evaluation_template.json。每项标准必须是：

• rated，并包含锚点评分、有界不确定性、证据 ID 和本地理由引用；
• missing，评分/不确定性为空值，并包含理由引用；或
• not_applicable，评分/不确定性为空值，并包含理由引用。

不得将缺失或不适用编码为零。评分者应接受培训、进行校准、披露利益冲突、独立评分，并记录分歧。

6. 执行本地质量检查

有界评分，不含标签或建议：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/calculate_scores.py \
  --rubric assets/rubric_template.json \
  --evaluation assets/evaluation_template.json

证据可追溯性：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/check_traceability.py \
  --rubric assets/rubric_template.json \
  --evaluation assets/evaluation_template.json \
  --evidence assets/evidence_manifest_template.json

评分者间一致性：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/summarize_agreement.py \
  --rubric assets/rubric_template.json \
  --ratings assets/ratings_template.csv

权重敏感性分析需要两个或更多不同的学术作品评估文件：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/weight_sensitivity.py \
  --rubric assets/rubric_template.json \
  --evaluation /tmp/work-a-evaluation.json \
  --evaluation /tmp/work-b-evaluation.json

流程控制：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/check_process.py \
  --process assets/process_checklist_template.json

清单模板有意保持未确认状态，并采用失败时关闭的策略。 说明和精确的架构定义见 references/local_tooling.md。

7. 综合定性发现

应先呈现各项标准层面的证据，而非综合评分。对于每项标准：

1. 引用证据来源；
2. 说明状态为 rated、missing 或 not_applicable；
3. 解释锚点的解读；
4. 仅在已评分时报告分数和不确定性；
5. 说明分歧和背景；
6. 指出优势和局限；以及
7. 提供非指令性的改进选项。

如有帮助，可生成空白引用框架：

PYTHONDONTWRITEBYTECODE=1 python3 scripts/generate_report_scaffold.py \
  --rubric assets/rubric_template.json \
  --evaluation assets/evaluation_template.json \
  --output /tmp/developmental-report-scaffold.json

该框架不会读取源文档或起草发现内容。

8. 人工审查与发布

在发布组织报告之前，具备资质且负有责任的人类委员会必须核实：

• 评估对象和评分量规的来源；
• 内容效度证据及其局限；
• 评分者培训、一致性、评分者间信度证据及偏移；
• 证据可追溯性和来源访问权限；
• 缺失情况、不适用理由及不确定性；
• 权重敏感性和顺序不稳定性；
• 学科和子群体偏差审查；
• 利益冲突和回避情况；
• 无障碍支持和便利措施；
• 隐私、数据最小化、保留期限和输出控制；以及
• 更正或申诉信息。

记录异议。不得作出超出证据支持范围的共识、效度或精确性暗示。应定期评估评估流程本身，并淘汰有害标准。

解读规则

• 分数是序数等级量表的总结，并非自然测量值。
• 归一化无法弥补证据不完整的问题。
• 附带的不确定性范围不是置信区间。
• 一致性不能证明可靠性、效度、公平性或正确性。
• 在已测试权重下结果稳定，不能证明效度。
• 总分绝不能凌驾于各项标准的证据或有依据的判断之上。
• 任何输出都不是决策建议。

随附资源

• references/responsible_assessment.md — 安全、指标、治理、无障碍、隐私和偏见。
• references/evaluation_framework.md — ScholarEval 的适用边界、构念、标准、锚点、效度和解读。
• references/local_tooling.md — 严格的架构、公式、命令和输出行为。
• references/source_ledger.md — 权威来源及发布状态核验，日期为 2026-07-23。
• references/security_validation.md — 基线修复、验证和剩余安全扫描记录。
• assets/rubric_template.json — 有界评分量表模板。
• assets/evaluation_template.json — 评级模板。
• assets/evidence_manifest_template.json — 可追溯性模板。
• assets/process_checklist_template.json — 默认关闭式流程检查清单。
• assets/ratings_template.csv — 合成一致性数据。

Agent 操作流程

1. 检查环境。 在开始编写前，收集用户的草稿、数据、图表和目标投稿渠道。
2. 明确输入。 根据数据或向用户确认格式、标识符和参数。任何会改变结果的值都应询问，不要猜测。
3. 先试做小部分。 起草一个章节或段落，并与用户确认语气、结构和术语。
4. 使用上述说明和参考资料执行完整任务。
5. 验证结果。 每项主张都能追溯到用户的数据或经核实的来源；数字与表格和图表一致；引用真实有效（citation-verification）。
6. 报告。 说明运行了什么（版本、命令、参数）、检查了什么，以及仍有哪些不确定之处。

如果发生这种情况	请这样做
某项主张没有支持数据或引用	在文本中标明（例如 [citation needed]），不要编造依据。
这些说明中提及的函数、标志或端点在已安装版本中缺失	查阅已安装版本自身的文档（help()、--help、官方文档），进行调整并告知用户。绝不要编造 API。
所需输入、标识符或参数不明确	询问用户，或在运行前明确说明假设。

诚信规则

• 绝不伪造结果、参数、标识符、引用或统计数据。如果无法运行或核实某项内容，请如实说明。
• 用户是作者：绝不要添加用户未提供或未批准的结果、参考文献或主张。
• 此处与特定版本相关的细节可能已经过时：请对照已安装版本的官方文档进行确认。
• 对于需要付费、消耗共享 GPU 或云配额、涉及个人或患者数据，或无法撤销的操作，须先征得用户同意。