source-quality-appraiser

来源质量评估器

概述

此技能旨在验证将作为主要理论依据的参考文章的可信度、科学质量以及偏差风险。其目标是利用国际索引（Scopus、Web of Science）和国家级索引（SINTA），避免将方法论薄弱、发表于掠夺性／低质量期刊或实验存在缺陷的论文用作研究的主要参考文献。

依赖项

• literature-search-openalex
• pubmed-database

快速开始

使用示例： “使用 source-quality-appraiser 技能，评估以下 5 篇论文参考文献的出版载体声誉、Scopus/WoS/SINTA 排名、偏差风险和方法论质量。”

工作流

1. 检查出版载体的声誉与索引情况

检查学术文章的出版载体，以分层识别其可信度：

• 国际期刊：
  • 默认情况下（零配置），使用开放数据库 OpenAlex 检查期刊的索引状态和指标（例如 Scopus 四分位数 Q1/Q2/Q3/Q4、SJR 值以及 Clarivate Web of Science [WoS] 元数据）。
  • 如果有 SCOPUS_API_KEY 或机构 Clarivate 凭据，则使用官方 API 进行补充验证。
• 国家级期刊（印度尼西亚）：
  • 如果文章发表于印度尼西亚期刊，则向官方 SINTA Kemdikbud 门户（sinta.kemdikbud.go.id）定向查询，以获取期刊的认证等级（SINTA 1 (S1) 至 SINTA 6 (S6)）。
• 知名会议：检查会议排名（例如计算机科学领域的 CORE Ranking A*/A/B/C）。
• 预印本：识别文档是否为尚未经过同行评审（同行评审）的预印本草稿（arXiv、bioRxiv、medRxiv）。谨慎标注。
• 掠夺性／低质量：警惕声誉不佳、未被可信索引收录或列入 Beall's List 的期刊。

2. 评估论文的方法论强度

分析正文内容，评估作者所用方法的质量：

• 样本量（样本量）是否足以支持结论？
• 是否有对照组（对照组）和公平的随机测试？
• 实验设计是否透明且描述详尽？
• 测量工具（问卷／测量仪器）是否经过充分验证？

3. 评估偏差风险与利益冲突

• 检查是否存在潜在的利益冲突（利益冲突），例如来自特定行业的资助可能影响研究结论。
• 分析数据选择偏差（选择偏差）或不合理简化的测试方法（挑选有利设置）。

4. 确定可信度与适用性评分

根据分析结果，对参考文档的适用性进行分类：

• 高度适用（高质量）：方法严谨，发表于高排名期刊／会议（Q1/Q2 Scopus/WoS、SINTA 1/2、CORE A*/A），且不存在利益冲突。强烈推荐作为主要理论支柱。
• 适度适用（中等质量）：方法较好，但数据／评估存在一些小局限；发表于中等排名的出版载体（Q3/Q4 Scopus/WoS、SINTA 3/4、CORE B/C）；或者是声誉良好的作者发布的预印本。
• 不适用（低质量）：方法论不明确、偏差较大、发表于掠夺性／无声誉的出版商（SINTA 5/6 且方法论薄弱），或论断缺乏具体数据支持。建议避免将其作为核心参考文献。

5. 来源质量评估报告格式

按以下必需表格格式呈现评估结果：

参考文档	出版载体与排名（Q1/Q2/WoS/SINTA/CORE/预印本）	方法论强度	偏差风险与局限	适用性状态与使用建议

常见错误与关键规则

• 因缺少 API Key 而拒绝处理期刊：严禁在没有 Scopus/WoS API Key 时显示错误消息。Agent 必须自动回退，通过 OpenAlex 开放数据库提取期刊声誉信息。
• 忽略 SINTA 本地索引：仅使用国际指标评估印度尼西亚论文，导致将优质 SINTA 期刊标记为“未索引”。评估印度尼西亚本地出版物时，务必检查 SINTA 认证。
• 将预印本与同行评审论文的可信度等同：使用预印本草稿（例如 arXiv），却未核实作者声誉，也未独立、审慎地审查其方法。
• 只相信影响因子/排名：认为发表于 Q1/S1 期刊的论文一定不存在方法学错误。仍须对每篇论文逐一进行批判性评估。
• 忽略样本量和对照情境：忽视实验仅在极少量样本上进行，却据此作出宽泛的推论。
• 缺乏利益冲突透明度：忽略产业资助研究可能造成的偏见，进而导致商业化主张存在偏差。