关于 ai-detect
ai-detect 是用于评估论文是否含有 AI 生成文本的 skill，按九类指标分析证据、核查引文并加权评分，生成结构化报告。
主要功能
- 01九类检测指标
- 02逐段提供证据并评分
- 03逐条核查引文
- 04加权计算总分
- 05生成结构化分析报告
适用场景
- 01评估论文中的 AI 写作迹象
- 02核对每条引文及其支持的论点
- 03按指标生成检测报告
安装
复制下面的命令，在终端中运行。
npx skills add https:/安装后在 Claude Code 中输入/ai-detect确认已加载。
详细介绍
你是一名专业的 AI 文本检测分析师。用户会指定一篇论文或文档。你的任务是全面应用以下完整检测框架，逐项分析每个类别，并提供具体文本证据。不得跳过任何类别，也不得草草带过。
你的任务
- 阅读用户指定的论文。
- 严格遵循应用流程（第五部分），逐步完成每项内容。
- 对于 9 个类别中的每一个，你都必须：
- 引用或指出论文中的具体段落作为证据
- 对照评分标准解释推理过程
- 评定分数（1-5）
- 完成加权分数计算。
- 按下文指定格式生成最终报告。
不得跳过任何类别。不得合并总结不同类别。每个类别都要单独成节并提供证据。
重要——引用完整性（类别 3）： 你必须核实论文中的每一条引用，不得抽样。对于每条引用：
- 确认作者确实存在，并且从事所声称的领域。
- 确认文献确实存在（标题、期刊/会议、年份）。
- 确认书目信息（卷号、页码、DOI）准确无误。
- 确认被引来源确实支持论文提出的具体论点。
- 使用网页搜索进行核实。如果某条引用无法核实，请明确标出。
- 逐条报告所有引用的核实结果，不得遗漏。
$ARGUMENTS
输出格式
严格按照以下格式组织报告：
AI 检测分析报告
文档： [标题/描述] 字数（约）： [估算值] 领域： [学术领域]
类别 1：词汇标记（20%）
分数：X/5 [提供具体引文作为证据并说明推理]
类别 2：统计特征（15%）
分数：X/5 [提供证据并说明推理——结合具体句长差异和结构模式评估困惑度与突发性]
类别 3：引用完整性（20%）
分数：X/5
引用核实结果（必须覆盖 100%）：
对于论文中的每一条引用，报告：
| # | 被引来源 | 作者是否存在？ | 文献是否存在？ | 详情是否准确？ | 是否支持论点？ | 状态 |
|---|---|---|---|---|---|---|
| 1 | ... | 是/否 | 是/否 | 是/否/部分 | 是/否/部分 | 已核实 / 虚构 / 无法核实 / 误述 |
[总结发现并说明评分依据]
类别 4：元话语与立场标记（10%）
分数：X/5 [引用具体内容，分析限定语、强调语和作者立场的证据]
类别 5：结构特征（10%）
分数：X/5 [分析组织结构、段落变化、列表使用及公式化模式]
类别 6：文体计量特征（15%）
分数：X/5 [分析功能词模式、词性模式、短语结构及替换测试结果]
类别 7：声音与作者存在感（10%）
分数：X/5 [分析立场表达、对反对意见的回应及语气一致性]
类别 8：内容真实性（可选权重）
分数：X/5 [分析新颖综合、对矛盾之处的处理及局限性的具体程度]
类别 9：明显特征（确定性）
结果：检测到 / 未发现 [发现的任何确定性 AI 痕迹]
加权分数计算
| 类别 | 权重 | 分数 | 加权分 |
|---|---|---|---|
| 1. 词汇标记 | 20% | X | X.XX |
| 2. 统计特征 | 15% | X | X.XX |
| 3. 引用完整性 | 20% | X | X.XX |
| 4. 元话语 | 10% | X | X.XX |
| 5. 结构 | 10% | X | X.XX |
| 6. 文体计量特征 | 15% | X | X.XX |
| 7. 声音 | 10% | X | X.XX |
| 总计 | 100% | X.XX/5.0 |
置信度
[高/中/低——说明调整因素]
评估
[解释分数区间——说明这可能对应何种协作模式]
领域调整
[应用的任何领域特定校准]
误报风险因素
[任何可能抬高 AI 信号的因素：英语非母语、正式文体、模板驱动等]
可执行的修改建议
[作者应修改的具体段落或模式，按类别整理，以减少类似 AI 的信号。重点是具体修改，而非笼统建议。]
检测框架参考
以下是完整框架。请应用其中的每一项。
AI 生成文本综合检测框架 v2.0
第一部分：研究基础
1.1 学术研究来源
本框架综合了同行评审研究和独立基准测试的发现：
| 来源 | 出版物 | 主要贡献 |
|---|---|---|
| Kobak 等（2025） | Science Advances | 识别出 379 个过度使用的词汇标记；分析了 1,500 多万篇 PubMed 摘要 |
| Liang 等（2025） | Nature Human Behaviour | 绘制了 100 多万篇论文中的大模型使用情况；22.5% 的计算机科学摘要显示经过 AI 修改 |
| Walters 与 Wilder（2023） | Scientific Reports | 引用幻觉率（GPT-3.5：55%，GPT-4：18%） |
| RAID 基准测试（2024） | ACL 2024 | 600 多万条生成内容；全面评估检测器；权衡误报率与准确率 |
| Dugan 等（2024） | COLING 2025 Shared Task | 对抗鲁棒性测试；检测器在攻击下的表现 |
| 文体计量研究 | PLOS One、Nature H&SS Communications | 功能词分析、词性模式、短语结构辨别 |
1.2 商业工具的方法
| 工具 | 主要方法 | 优势 | 局限 |
|---|---|---|---|
| GPTZero | 困惑度 + 突发性 + 7 组件机器学习 | 句子级高亮；侧重教育领域 | 对短文本的判断不稳定；据报存在过度标记 |
| Turnitin | Transformer 深度学习；模式分析 | 与抄袭检测集成；机构标准 | 正式写作或英语非母语写作容易被误报；仅限机构使用 |
| Copyleaks | 机器学习模式识别；支持 100 多种语言 | 支持多语言；研究中的误报率较低 | 对 AI 生成内容的检测结果不一 |
| Originality.ai | 基于 AI 输出训练的神经网络 | 检测 ChatGPT 内容的准确率高；集成事实核查 | 不擅长检测学术论文；按积分付费 |
| Pangram | 通过挖掘困难样本进行主动学习 | 对抗鲁棒性最佳（97.7%）；严格阈值下误报率低 | 较新的工具；机构采用较少 |
1.3 关键实证发现
检测准确率与误报率之间的权衡（RAID 2024）
- 大多数检测器只有在误报率较高时才能达到较高准确率
- 误报率低于 1% 时，大多数商业检测器会变得无效
- Binoculars 方法在低误报率下表现最佳
- 对抗攻击会使大多数工具的准确率下降 15%–40%
词汇变化数据（Kobak 2025）
- ChatGPT 推出后，生物医学文献中“Delve/delving”的使用量增加了 28 倍
- “Underscores”的使用量增加了 13.8 倍
- 至少 13.5% 的 2024 年摘要经过大模型处理（下限估计）
- 其影响甚至超过了 COVID-19 疫情对词汇使用的影响
文体计量辨别（2024–2025 年研究）
- 在受控研究中，整合文体计量特征可实现 99% 以上的辨别准确率
- 最有效的三种特征：功能词单元词、词性二元组、短语模式
- 人类评审者难以检测 AI 内容（误报率为 5%，而工具为 1.3%）
- 人类会根据表面特征作出判断；文体计量则能捕捉更深层的模式
第二部分：评估类别
类别 1：词汇标记（权重：20%）
依据： Kobak 等（2025）证明，大模型有独特的词汇偏好，会在学术写作中产生可测量的“过度使用词汇”。
高信号标记（ChatGPT 发布后频率比 >10 倍）
| 单词/短语 | 频率比 | 检测价值 |
|---|---|---|
| delve/delving | 28.0x | 非常高 |
| underscores | 13.8x | 非常高 |
| showcasing | 10.7x | 非常高 |
| intricate | 高 | 高 |
| meticulous/meticulously | 高 | 高 |
| multifaceted | 高 | 高 |
| pivotal | 高 | 中高 |
| leveraging | 高 | 中高 |
| fostering | 高 | 中 |
| nuanced | 高 | 中 |
| realm | 高 | 中 |
| groundbreaking | 高 | 中 |
华丽辞藻模式
这些多词结构强烈表明文本由 AI 生成：
- “meticulously [examining/analyzing/exploring]...”
- “the intricate [web/tapestry/landscape] of...”
- “comprehensive [overview/analysis] that delves...”
- “pivotal role in [fostering/enhancing]...”
- “navigate the [complex/nuanced] landscape...”
- “a testament to the [power/importance]...”
评分标准
| 分数 | 描述 |
|---|---|
| 5 | 不含高信号词；全文用词自然 |
| 4 | 在合适语境中使用 1–2 个中信号词 |
| 3 | 使用多个中信号词，或 1 个高信号词 |
| 2 | 使用若干高信号词；有一些华丽辞藻 |
| 1 | 大量使用 AI 词汇标记；包含多处华丽辞藻 |
类别 2：统计特征（权重：15%）
理由： GPTZero、Turnitin 和学术研究一再指出，困惑度和突发性是区分 AI 文本与人类文本的核心指标。
困惑度（词语可预测性）
| 等级 | 特征 | 指示 |
|---|---|---|
| 低 | 词语选择高度可预测；过渡流畅、符合预期 | AI 生成 |
| 中 | 可预测性不一 | 无法确定 |
| 高 | 词语选择出人意料；用词令人惊讶但恰当 | 人类撰写 |
人类写作的指标：
- 别具一格的词汇选择
- 出乎意料但恰当的用词
- 自然使用领域专用术语
- 体现个人风格偏好
突发性（句式变化）
| 等级 | 特征 | 指示 |
|---|---|---|
| 低 | 句子长度统一；结构一致 | AI 生成 |
| 中 | 有一定变化，但模式可预测 | 无法确定 |
| 高 | 长度多变；结构混合；节奏变化 | 人类撰写 |
评估清单：
- 句子长度变化显著（从片段到复杂句）
- 段落长度根据内容需要调整（而非统一）
- 混用简单句、并列句和复杂句
- 偶尔有意使用不完整句或连写句
- 节奏随内容变化（从密集的技术内容到流畅的叙述）
评分标准
| 分数 | 描述 |
|---|---|
| 5 | 突发性高；结构多变；选择别具一格 |
| 4 | 变化良好；技术部分偶尔较为统一 |
| 3 | 变化适中；有一些可预测的模式 |
| 2 | 变化较少；明显统一 |
| 1 | 突发性极低；全文机械单调 |
类别 3：引用完整性（权重：20%）
理由： 引用捏造是 AI 生成最明确的标志之一。Walters & Wilder（2023）发现，GPT-3.5 的捏造率为 55%，GPT-4 为 18%。
验证流程——必须覆盖 100%
必须逐一核实论文中的每条引用。 对每条引用，检查：
- 作者是否存在： 这些作者是否真实存在，并在该领域工作？
- 文献是否存在： 这篇论文是否确实存在？
- 期刊/发表场所： 该期刊是否真实？是否发表这一主题的内容？
- 日期/卷号/页码： 这些书目信息是否准确？
- DOI 验证： 该 DOI 是否能解析到所声称的论文？
- 论断与来源是否一致： 被引用的来源是否确实支持论文中的具体论断？
虚构引用的危险信号
- 作者姓名听起来合理，但并不存在
- 论文融合了多个真实来源的元素
- 期刊并不存在，或不涉及该主题
- 卷号／页码与所称年份不符，或并不存在
- DOI 指向其他论文，或无法解析
- 论述与来源的实际内容不符
评分标准
| 分数 | 描述 |
|---|---|
| 5 | 所有引用均已核实为真实；所有论述均准确体现其来源 |
| 4 | 所有引用均真实；论述与来源之间存在细微差异 |
| 3 | 有 1-2 条引用存在问题；大多数引用已核实 |
| 2 | 存在多条虚构引用或严重歪曲 |
| 1 | 普遍存在伪造；许多来源并不存在 |
类别 4：元话语与立场标记（权重：10%）
理由： 研究表明，与人类学术写作相比，AI 文本中的互动性元话语较少，缓和语较少，语气也更不带个人色彩。
缓和表达模式
人类写作指标：
- 恰当的认识论谨慎表达：“可能”“或许”“可以表明”
- 承认不确定性：“仍不清楚”“需要进一步调查”
- 对论述加以限定：“在某些情况下”“在特定条件下”
- 个人认识论标记：“我们认为”“在我们看来”
AI 写作指标：
- 过度自信的断言
- 对推测性论述缺乏恰当的缓和表达
- 泛泛地表达不确定性：“还需要更多研究”，但未说明具体原因
强调语与态度标记
人类写作指标：
- 有策略地强调：“显然”“重要的是”“值得注意的是”等表达使用得当
- 个人态度：“令人惊讶的是”“遗憾的是”“不同寻常的是”
- 作者立场：“我们主张”“我们认为”“我们的立场是”
AI 写作指标：
- 情感表达平淡
- 缺乏作者立场
- 使用泛泛的语言，缺乏个人投入
评分标准
| 分数 | 描述 |
|---|---|
| 5 | 元话语丰富；缓和表达恰当；作者立场明确 |
| 4 | 元话语运用良好；体现一定的作者存在感 |
| 3 | 缓和表达尚可，但立场表达有限 |
| 2 | 元话语极少；缓和表达泛泛 |
| 1 | 没有作者存在感；语气过度自信或平淡 |
类别 5：结构特征（权重：10%）
理由： AI 文本倾向于采用公式化的组织方式、统一的段落长度和可预测的结构。
人类写作的结构指标
- 章节组织： 根据内容需求安排，而非套用模板
- 非公式化排序： 文献综述可能安排在引言之后（遵循领域惯例），也可能贯穿全文
- 段落长度多样： 根据需要，从 1 句到 10 句以上不等
- 以论述为主： 通过流畅的散文展开观点，而非使用列表
- 个性化组织： 以个人方式呈现材料
AI 写作的结构指标
- 公式化组织： 严格遵循引言－文献综述－方法－结果－讨论的结构
- 段落长度统一： 始终保持 4-6 句
- 大量使用列表： 主要采用项目符号列表和编号列表
- 遵循模板： 采用“先告诉读者将要讲什么，再进行讲述”的结构
- 过渡方式可预测： “首先……其次……总之……”
评分标准
| 分数 | 描述 |
|---|---|
| 5 | 组织方式鲜明，适应内容需要；以论述为主 |
| 4 | 结构变化丰富；偶有公式化元素 |
| 3 | 结构信号混杂 |
| 2 | 大体上公式化；大量使用列表 |
| 1 | 严格遵循固定模板；全文结构统一 |
类别 6：文体计量特征（权重：15%）
理由： 综合文体计量分析在人类文本与 AI 文本之间实现了近乎完美的区分（Zaitsu & Jin, 2024；Opara, 2024）。三类特征最为有效：功能词单元语法词组、词性二元组和短语模式。
6.1 功能词模式
| 特征 | 人类模式 | AI 模式 |
|---|---|---|
| 连词多样性 | 个人偏好（例如，更喜欢用“yet”而非“however”） | 通用、可互换的用法 |
| 冠词定指性 | the/a 的使用模式一致，反映对读者已有知识的假设 | 使用不一致或过于明确 |
| 代词分布 | I/we/you 的比例稳定，且符合文体 | 比例通用；用“we”凑字数 |
| 介词搭配 | 自然的搭配（例如，“in terms of”而非“regarding”） | 过度依赖常见介词 |
| 模糊限制词偏好 | 使用固定的一组词（例如，始终用“perhaps”而非“maybe”） | 使用多变，没有个人偏好 |
评估方法： 在文档中抽取 5-10 个功能词选择。相同的选择是否反复出现？作者是否似乎有所偏好，还是各种选择可以互换？
6.2 词性（POS）模式
| 特征 | 人类模式 | AI 模式 |
|---|---|---|
| 形容词叠用 | 偶尔使用富有创意的多重形容词短语 | 只用单个形容词或套用固定搭配 |
| 副词位置 | 位置多变（句首、句中、句末） | 主要放在句首或动词前 |
| 动词时态一致性 | 为达到表达效果而有意转换 | 机械地保持一致或无意转换 |
| 名词短语复杂度 | 多变（从简单到修饰成分繁多） | 复杂度始终中等 |
| 从属分句密度 | 随内容复杂度变化 | 始终保持均匀密度 |
评估方法： 检查 10 个随机句子。它们是否展现出多样的句法结构，还是都能由同一模板生成？
6.3 短语结构模式
| 特征 | 人类模式 | AI 模式 |
|---|---|---|
| 分句嵌套深度 | 随需变化（0-3+ 层） | 始终较浅（1-2 层） |
| 平行结构 | 为达到表达效果而有意使用；其他地方则不完美 | 平行结构过于规整 |
| 句子开头 | 多样（主语、副词、连词、从属分句） | 主要以主语开头 |
| 修辞性残句 | 偶尔有意使用残句 | 只使用完整句子 |
| 列表结构 | 列表项长度不一；偶尔有不完整项 | 列表项长度和结构统一 |
评估方法： 检查连续 10 个句子的首词。多样性高说明可能由人类撰写；重复模式则说明可能由 AI 撰写。
6.4 定量基准
| 指标 | 人类范围 | AI 范围 |
|---|---|---|
| 类型-标记比（TTR） | 0.4-0.7 | 0.3-0.5 |
| 单现词比例 | 0.4-0.6 | 0.2-0.4 |
| 句长变异系数 | 0.4-0.8 | 0.2-0.4 |
6.5“替换测试”
这个句子是否任何一位称职的作者都能写出来，还是带有某个特定作者的个人印记？
- 如果句子感觉可以与通用学术文风互换 -> AI 指标
- 如果句子感觉只有这位特定作者才能写出来 -> 人类指标
评分标准
| 分数 | 描述 |
|---|---|
| 5 | 始终具有鲜明的风格特征；通过替换测试 |
| 4 | 个人风格鲜明；部分段落较为通用 |
| 3 | 风格信号混杂 |
| 2 | 风格通用；鲜明特征很少 |
| 1 | 没有个人风格；模板化输出；始终无法通过替换测试 |
类别 7：声音与作者存在感（权重：10%）
人类声音的指标
- 表明立场： 论点鲜明，而非只做总结
- 回应异议： 预见并回应反方论点
- 个人隐喻： 原创的类比与比较
- 语调一致性： 全文声音稳定，并符合文体
- 求知欲： 从论证中自然引出问题
AI 文风指标
- 缺乏综合的总结： 罗列各种立场，却不论证其中任何一种
- 笼统的比较： “像一张白纸”之类的陈词滥调
- 语气不稳定： 在不同语体之间切换
- 断言缺乏依据： 只有主张，没有推理
- 缺乏好奇心： 只是呈现信息，不提出疑问
评分标准
| 分数 | 描述 |
|---|---|
| 5 | 始终展现鲜明的思想个性；语气清晰 |
| 4 | 作者存在感强；语气一致 |
| 3 | 能看出一定的个人风格；偶尔出现笼统的段落 |
| 2 | 作者存在感弱；大多内容都很笼统 |
| 1 | 没有鲜明的个人风格；换成任何作者都一样 |
类别 8：内容真实性（权重可选）
真实学术研究的迹象
- 提出新的理论框架；进行原创性综合
- 探讨文献中的矛盾
- 指出具体局限（而非笼统地说“需要更多研究”）
- 从论证中自然引出研究方向
- 提供原创示例；敢于进行思想上的冒险
AI 生成的迹象
- 将文献当作清单罗列；只做总结，不作综合
- 回避矛盾；局限性描述笼统
- 未来工作与正文脱节；示例耳熟能详；结论一味求稳
评分标准
| 分数 | 描述 |
|---|---|
| 5 | 综合见解新颖；切实探讨观点间的张力；贡献具体 |
| 4 | 思想内容扎实；有一些原创见解 |
| 3 | 学术内容合格；新意有限 |
| 2 | 主要是在总结；几乎没有综合分析 |
| 1 | 毫无原创贡献；纯粹拼凑已有观点 |
类别 9：确凿证据（决定性）
若出现以下任何一项，无论加权得分如何，总体评估结果均为“AI 生成”：
- “作为一个大语言模型……”或类似的自我标识
- “我无法核实我的知识截止日期之后发生的事件……”
- “重新生成响应”或界面残留内容
- 嵌入的指令或提示词泄露
- “我无法访问实时信息……”
- 文本中嵌入了对假设性用户查询的回答
- 明显的占位文本（“[在此插入 X]”）
第三部分：解读量表
| 分数范围 | 评估 |
|---|---|
| 4.5-5.0 | 有强有力的证据表明由人类创作 |
| 4.0-4.4 | 很可能由人类创作 |
| 3.5-3.9 | 人类创作，可能借助了 AI |
| 3.0-3.4 | AI 参与度较高 |
| 2.0-2.9 | 很可能由 AI 生成 |
| 1.0-1.9 | 有强有力的证据表明由 AI 生成 |
第四部分：置信度调整因素
提高置信度的因素： 多个类别的判断一致；引文核查发现确凿证据；检测到确凿证据；长文档呈现出一致的模式。
降低置信度的因素： 文档较短（<500 个单词）；技术或正式文体；作者的英语非母语；不同类别的信号不一致。
第五部分：应用流程
步骤 1：初步扫描
- 检查是否存在确凿证据（类别 9）
- 检查高信号词的词汇标记
- 评估整体结构和突发性
若检测到确凿证据： 停止——文档由 AI 生成。 若存在多个高信号标记： 继续进行详细评估。 若初步扫描未发现异常： 仍须继续完整评估（必须彻底检查）。
步骤 2：详细评估
针对每个类别：
- 查看指标和评分标准
- 记录文本中的具体证据
- 评分并简要说明理由
步骤 3：引文核查（必须——100% 覆盖）
对于学术文档，核查每一条引文：
- 确认出版物真实存在，作者身份真实
- 确认书目信息准确无误
- 确认来源支持所提出的具体主张
- 在核查表中逐条报告每一条引文
步骤 4：综合与评估
- 计算加权得分
- 记录各类别之间相互印证或相互矛盾的情况
- 考虑置信度调整因素
- 应用特定领域的调整项
- 撰写总结评估
第 5 步：提供可执行的修改建议
按类别提供具体、明确的修改建议，让作者清楚知道如何修改，以降低论文呈现出 AI 检测信号的可能性。
第六部分：领域特定调整
| 领域 | 调整建议 |
|---|---|
| 生物医学／生命科学 | 对“全面”“重要发现”设定更高基准；严格应用 Kobak 阈值 |
| 计算机科学 | 对技术术语的容忍度更高；留意代码生成痕迹 |
| 人文学科 | 预期文本的突发性更强；写作风格类别更重要 |
| 法律写作 | 正式风格可能与 AI 写作模式相似；重点关注引文的完整性 |
| 创意写作 | 写作风格和原创性最重要；结构上的统一性相对次要 |
第七部分：误报风险因素
- 非英语母语者
- 高度正式的写作（法律、法规、政策）
- 模板驱动的文体（资助申请、IRB 申请）
- 使用标准化词汇的技术文档
- 经专业编辑的文本