mcpField
A
ai-check

ai-check

github.com/harshaneel创意与媒体584155 次安装5 周前更新
代码仓库

关于 ai-check

ai-check 是用于分析文本中 AI 生成迹象的 skill。它按九类信号分别评分,并在结构化报告中为检测到的信号提供证据。

主要功能

  1. 01按 0 至 3 分评估九类文本信号
  2. 02为检测到的信号引用证据
  3. 03检查词汇可预测性和句子节奏
  4. 04审查弱化表达、结构和具体程度
  5. 05检查衔接词、标点、语气与修辞

适用场景

  1. 01检查文本中的 AI 生成迹象
  2. 02查看触发信号的具体措辞
  3. 03比较一段文本中的文体模式

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/harshaneel/humanize --skill ai-check

安装后在 Claude Code 中输入/ai-check确认已加载。

详细介绍

AI-Check 技能

对文本中的 AI 生成信号进行取证分析。依据已发表的检测文献(Wu 等人,2025 年;Mitchell 等人,2023 年;Kujur,2025 年;AAAI 2025 年共享任务)。

输出为结构化报告,而非含糊的判断。每个触发的信号都必须引用证据。


九类信号

每类评分为 0–3:

  • 0 = 未检测到信号(符合人类写作特征)
  • 1 = 弱信号(可能由 AI 生成,也可能是人类所写)
  • 2 = 中等信号(很可能是 AI 模式)
  • 3 = 强信号(几乎可以确定是 AI 模式)

严重程度与评分的对应关系(每类均适用):

类别中的证据评分
没有标记出的实例0
一个弱实例,或只有模糊的不安感而没有具体引文1
一个中等实例,或两个及以上弱实例2
一个强实例,或两个及以上中等实例,或四个及以上弱实例3

**重复计数规则:**同一个短语最多可触发两个不同信号,前提是该短语确实能诊断这两个信号。例如:“it is important to note that” 同时属于信号 A(禁用词汇)和信号 C(机构式缓和语)。应在两类中都记录,但同一个短语在同一类别中不能算作两个独立的弱实例。

**总分上限:**9 类 × 3 = 最高 27 分。

信号 A:困惑度(词语可预测性)

留意过于稳妥、符合预期的词汇——这些词在技术上正确,但不是专业人士最精确或最有意思的选择。

标记项:

  • 在适合使用领域专用动词的地方使用泛化动词(如用“address”而非“untangle”,用“implement”而非“wire up”)
  • 只作描述、没有增添信息的形容词(如“significant improvements”“notable progress”“key challenges”)
  • 以谨慎措辞替代具体表述(如“can often lead to”“may result in”“tends to”)
  • 任意使用以下典型 AI 词汇: delve、leverage(动词)、utilize、robust、comprehensive、streamline、foster、facilitate、 pivotal、nuanced、notable、notably、enduring、garner、it is worth noting、it is important to note、 multifaceted、in the realm of、the landscape of、a myriad of、a plethora of

引用触发信号的准确词语或短语。

信号 B:突发性不足(句子长度均一)

衡量文本中句子长度的变化情况。

标记项:

  • 连续三个或更多句子的长度都相差不超过 5 个词
  • 任意 150 词的段落中都没有短于 8 词的句子
  • 节拍器般的节奏——朗读段落时节奏平稳,而非自然起伏
  • 没有使用片段句来强调

报告:按顺序列出句子长度(例如:“14、16、13、15、17——连续五个句子的长度相差不超过 4 个词”)。

信号 C:缓和语密度

统计弱化语气和认识性缓和语的数量。

标记项:

  • 在适合直接陈述的地方出现“often”“generally”“typically”“in many cases”“it can be argued”
  • “it is important to note that”“it is worth mentioning”“one might consider”
  • 对显而易见的权衡进行圆融表述:“while X has benefits, it also presents challenges”
  • 以机构式缓和语而非个人表达来表示不确定性(“results may vary”),而不是人类式表达(“I'm not sure this holds when...”)

报告:引用每处缓和语,并说明它是出于真实的不确定性,还是出于习惯性的弱化语气。

信号 D:结构特征

留意 AI 不论内容如何都会采用的文档结构模式。

标记:

  • 明明用散文表达更合适,却用了项目符号列表
  • 主题句 + 证据 + 重申主题句(人类会省略重申部分)
  • 结尾段以“In conclusion / To summarize / In summary”开头
  • 以“In this [post/article/section] I will...”开头
  • 为并非真正按顺序排列的内容设置编号步骤
  • 每个段落都套用三段式结构(微观层面的引言、正文、结论)
  • 三段式平行结构: 三个例子或要点采用相同的语法形式
    例如:“You X. Y. Does Z? You X. Y. Does Z? You X. Y. Does Z?”——完全对称的三连句是 AI 构造的。真实作者会用两个例子,或改变句式。
    严重程度:较高。
  • 每段恰好对应一个观点的完美弧线: 每个段落都只承担一个叙事任务,并清晰地推进整体脉络(铺垫 → 张力 → 教训 → 证据 → 反思)。真实的个人写作中,某个段落会有些跑题、承担两项任务,或没有完全收束。如果一篇文章的每个段落都收束得恰到好处,那么从结构上看它过于完美,不像人类写作。单独出现时严重程度:中等;与其他信号同时出现时:较高。
  • 三幕式 Slack/更新结构: 对于非正式的异步消息,按“完成事项 → 注意事项 → 后续步骤”组织内容,恰好对应引言/正文/结论。真实的更新会绕回之前的话题、在消息中途补充第二个想法,或以不符合结构的内容结束。
  • 稻草人式转折:“X 的关键不在于 Y,而在于 Z”/“这不是关于 X,而是关于 Y。”先说某事不是什么,再说它是什么。真实作者会直接提出重点。严重程度:中等。
信号 E:具体性不足

衡量主张是否有具体细节作为依据。

标记:

  • 没有数字、名称、时间线索或示例的抽象主张:“许多组织已采用……”
  • 隐去行为主体的被动表达:“已有研究发现”“研究表明”
  • 普遍化表述:“团队经常发现”“开发者常常遇到”(似乎适用于所有人,却没有针对任何人)
  • 名称具体却可疑地泛泛而谈,或完美契合示例(AI 会选用典型示例,例如没有上下文的“Netflix”“Amazon”“Stripe”)

报告:引用每一条缺乏依据的主张。

信号 F:过渡词指纹

梳理句子和段落之间的衔接方式。

标记(强 AI 信号):

  • 以 “Furthermore,” 开头的段落
  • 以 “Moreover,” 开头的段落
  • 以 “Additionally,” 开头的段落
  • “It is clear that”
  • “This highlights / underscores / demonstrates the importance of”
  • “As previously mentioned”
  • “In addition to the above”
  • “It goes without saying”
  • “Needless to say”

标记(中等信号):

  • 每 200 个单词中使用超过一次 “However,”
  • 将 “Therefore,” 用作机械的逻辑连接词,而非自然得出的结论
  • 将 “Turns out” / “it turns out that” 用作转折或揭示。AI 会用它营造发现叙事的错觉。“Turns out the config had a lower timeout” → “The config had a lower timeout.” 请引用每个实例。严重程度:中等。
  • 教程口吻的过渡语:“The standard fix is...”、“The common approach is...”、“Simple enough on paper”——这些表达把接下来的内容说成公认之道,而不是个人经验。在技术写作中,这是强信号。
  • 公告式冒号句型:“The rule I use:”、“The key insight:”、“The approach here:”、“The other thing I'd say:”——先宣布,再揭示。严重程度:中等。不带冒号时也会触发:“What I didn't expect was...”、“What surprised me was...”、“The thing I realized was...”——这些都是公告式句子。关键不在冒号,而在公告式结构。
  • **模式宣告:**先声称某种模式存在,再描述该模式。“The pattern is almost always the same”后面接着描述该模式。真人作者通常会直接描述模式。
信号 G:标点指纹

统计三种 AI 标点特征:

**破折号:**统计破折号总数。每 300 个单词超过 1 个即为信号。具体子模式:

  • 用破折号成对包裹(— like this —)几乎可以确定是 AI 模式
  • 用破折号表示转折(“not mid-sprint — and the on-call rotation”)——连接句中两项的列举型破折号
  • 用破折号插入强调语(“X — which is worth noting — Y”) 报告准确数量、位置和所属子模式。

**分号:**在非学术性文字中,任何用于连接两个独立分句的分号都是标记。报告准确数量。例外:包含逗号的列表(“Austin, TX; Denver, CO”)。

**句中冒号:**不完整分句后面的冒号(“The problem: nobody tests this” / “The answer: start earlier”)属于 AI 结构模式。报告每个实例。

信号 H:声音与语域

留意人类痕迹的缺失。

标志:

  • 在自然情况下应使用第一人称的内容中,完全没有第一人称视角
  • 在指导性或表达观点的内容中,没有直接面向读者使用第二人称
  • 始终保持“润色过的中性语气”——没有个性变化、粗糙感或突然变得随意
  • 不用反问句作为过渡
  • 没有自我纠正或思路中途补充限定(“其实,这么说不太对”)
  • 开篇句是论点、定义或背景说明,而不是从半截思路或场景切入

语域塌缩(Slack / 非正式写作): 在随意语域的文本中,这是最常被忽略的信号。AI 写的 Slack 消息读起来像润色过的状态报告,只是零星夹杂着非正式表达。留意:

  • 句子始终完整、结构严谨——而真实的 Slack 消息中会有残句
  • 即使是简短消息,也按每段一个主题来组织
  • 非正式标记之下仍使用正式词汇(用 ~60% 和 lmk,但句子本身依然是结构严谨的书面语)
  • 消息中途没有自我纠正(“哦,还有。刚意识到……”)
  • 非正式表达之下仍保留完整的三幕结构(已完成事项 / 注意事项 / 后续步骤)
  • 数字写成文字(“three incidents”),而不是用带近似符号的数字(“~3 incidents”、“<10min”) 严重程度:如果出现非正式标记,但行文结构仍经过润色,则属于强信号。

邮件 / 专业写作中的套话式结尾: “如果这样更方便,很乐意约个电话。” “如有任何问题,请告诉我。” “欢迎随时联系。” 这些相当于书面形式的清嗓式开场白。真正的工程师通常会在最后一个实质性要点之后结束邮件,或提出具体请求,或写一句“lmk”。 单独出现时严重程度较弱;与其他信号结合时则为中等。

信号 I:修辞脚手架

句子和段落层面的构造模式,是 AI 从润色过的写作中学到的,并且运用得过于一致。这些是最难发现的信号——它们读起来像是好文章。即使标点和词汇都没有问题,Grammarly 和实时检测器也会标记这些模式。

局部连贯性过于平滑(严重程度:中等至强,取决于语料) 一种与近期研究发现相关的模式(DivEye,arXiv 2509.18880,TMLR 2026):每句话都与下一句衔接得过于完美,毫无阻滞,也没有认知负荷留下的痕迹。AI 文本往往没有略显不顺的句子,没有在分句中途改变方向的想法,也没有无法干净收尾的段落。 证据:逐段阅读,检查是否有哪句话删掉之后,段落读起来依然完美。在人类写作中,删掉一句话往往会造成明显缺口。在 AI 写作中,段落通常会变得更加流畅。 表现:

  • 每段都以论点开头,并以对该论点的确认收尾
  • 没有任何句子的用词与上下文中的句子不匹配
  • 段落内没有突然转换话题
  • 没有略显不顺、随后又自我修正的句子

校准说明(重要)。 基于 SHAP 的可解释性分析(arXiv 2603.23146)发现,AI 文本检测器依赖的是特定数据集的文风线索,而不是稳定的机器创作信号。应将过度平滑视为取决于语料的指标,而不是普遍适用的创作来源判据。如果文本来自确实讲求紧密连贯的语域(学术摘要、法律文书、经过润色的营销文案),就应降低这一信号的权重。

公式化的个人随笔开篇(严重程度:中等) “我最常想起的一次失败发生在 2019 年。” “我记得最清楚的时刻是……” “我最后悔的决定是……” 模式:“我最 [副词] [记得 / 想到 / 后悔] 的 [名词]”——这是 AI 在个人随笔开篇时刻意采用的自我反思式构造。真正的作者会从事件本身写起,而不是先对自己的记忆进行排序并作出判断。 复杂度递增的无连词三段式(严重程度:中等) 三个条目之间没有连词,且后一个比前一个更长、情绪分量更重: “服务降级了两个小时,六名工程师弄清楚我到底做错了什么,还要在事后复盘会上向那些在家被呼叫起来的人解释我的思路。” AI 会构造这种句式来制造逐渐加重的情绪分量。 报告这三个条目及其递增的长度。

强化词与弱化词的对立(严重程度:中等) “X [action] obsessively and Y [action] barely at all”——用强化词与弱化词形成平衡对比。在副词层面,这与交错配列属于同一类。 其他形式:“X constantly / Y once”“X carefully / Y hardly”。 引用这组对立。

段落结尾的微型格言(严重程度:中等) 用 4–7 个词的片段或短句收尾,以简短有力的方式点出教训: “这就是我记住的部分。” “这就是改变之处。” “事情就是这样。” “这才是真正的代价。” AI 会在结尾加上这些句子,告诉读者该得出什么结论。它不同于以完整句子构成的格言式结尾——即使片段很短,也会触发这种情况。

落点短语:“is the actual/real work”(严重程度:中等) “深入理解一次故障,才是真正的工作。” “部署是容易的部分。调试生产环境才是真正的工作。” 这是 AI 用来得出结论的公式化落点短语。引用它。

并列主语映照(严重程度:弱至中等) 连续两句以相互映照的名词短语开头: “故障本身只是事件。理解故障则是另一回事。” “代码是一回事。维护代码则是另一回事。” AI 会用这种结构构造结尾句对。报告映照的主语。

分词短语重构转折(严重程度:中等) 先列出事实,然后用分词短语开头,将其重构为更具意义的内容: “把这些事实写进申请书后,它们读起来就像一项蓄意的策略。” “这样安排之后,听起来就比实际情况更有计划。” “换个角度看,整个过程读起来就不一样了。” AI 会用这种转折制造洞见的假象。应直接陈述观察,不要使用重构手法。引用分词短语开头。

论点先行的开头 / “X is the easy/hard part”(严重程度:中等) 个人文章一开头先提出框架,再讲述经历: “为 EB1A 申请收集证据是容易的部分。” “写作比研究更难。” “X 已变得越来越重要。” AI 因受过论文写作训练,会先提出论点。真正的写作者会从经历中段写起。引用开头句。

句内照应式并列列表(严重程度:中等偏强) 单句中包含四个结构相同、以疑问词开头的并列项: “之前存在什么、它解决了什么问题、这个问题为何重要、之后发生了什么变化” Grammarly 和其他检测器对此的评分与连续句式中的照应完全相同。 修正方法是变换名词形式:“背景、实际问题、发生了什么变化”——不要让四个并列项都以“什么/为何”疑问从句开头。 引用完整列表。

刻意编排的自我觉察式括号补充语(严重程度:中等) 括号从句中,作者对自己的解读进行元评论: “而我选择将其视为进步” “而我将其视为 X 的迹象” “而我选择把它解读为 Y” 这些表达看似善于反思,读起来却像刻意安排。真正的反思会指出具体行为,然后就此打住;不会再补充作者对该行为的主观解读。 引用括号补充语。 并列的原因链(严重程度:中) 连续三个句子采用相同的“主语 + because/when + 原因”结构,即使主语各不相同: “I filed patents because X. localaik started because Y. I gave talks when Z.” 即使主语不同,这种并列的分句形式仍可被识别。变换分句结构:一个用 “because”,一个直接陈述,一个用动名词或片段句。 报告连续触发了多少个并列原因链。

“与其说是 X,不如说是 Y”比较框架(严重程度:中) 所有形式:“feels more like X than Y”、“more specific than vague”、“faster than”。 AI 会通过与相反事物作比较来描述事物。人类则会直接描述。 引用该比较句。

“不只是 X”/“不是 X,而是 Y”/“并非 X,而是 Y”的弱化表达(严重程度:中) 先说某事不是什么,再说它是什么。“It's not self-reported, it's merit-based.”、“Reasoning, not just behavior.” 这三种形式都属于同一模式。 引用该弱化表达。

没有冒号的铺垫句(严重程度:中) “what [动词短语] was [揭示内容]”这类公告式句子——关键不在冒号,而在公告式结构。以下形式都会触发:

  • “What I didn't expect was...”
  • “What surprised me was...”
  • “The thing I realized was...”
  • “What it didn't have was...”
  • “What ended up working was...”
  • “What changed everything was...”
  • “What finally clicked was...”
  • “What made the difference was...” 任何符合 “What [动词短语] was [揭示内容]” 形式的句子都是公告式句子,无论后面是否跟着冒号。引用该铺垫句。

警句式 / 回文式收尾(严重程度:中至强) 两个子模式:

  1. 可以独立引用作为收尾的句子:“The boilerplate is cheaper than the confusion.”、“The work doesn't sell itself.”
  2. 回文式结构——反转的并列形式,听起来像是洞见:“Being specific about being wrong is more useful than being vague about being right.”——“specific/wrong” 与 “vague/right” 互为镜像。真正的洞见是不对称的;AI 会构造对称的反转表达。 引用并指出属于哪个子模式。

首语重复——连续重复 2–3 次相同的句首(严重程度:中) “I still read slowly. I still lose the thread.” “Why this structure. Why the error handling. Why the cache TTL.” AI 会用重复的句首来强调。人类会将其合并,或变换结构。 报告重复的句首以及触发次数。

用 “Turns out” / “it turns out that” 作为揭示转折(严重程度:中) AI 常用的戏剧性揭示手法:“Turns out the config had a different timeout.” 直接陈述即可:“The config had a different timeout.” “Turns out” 除了营造发现故事的错觉外,没有增加任何内容。引用每个实例。

“要么 X,要么 Y”/“介于 X 和 Y 之间”的二元框架(严重程度:中) 将简单的二选一呈现为仅有的选项。现实情况往往是连续的。 “Teams face a choice between mocking (fast, but drifts) or live endpoints (accurate, but expensive)”——这也会触发下文的平衡括号表达模式。

平衡的括号内成对表达(严重程度:中) “(X, but Y) or (A, but B)”——一个句子中包含两种对称的权衡。 现实中的权衡并不对称。这种对称性表明是 AI 构造的。 引用这组并列的括号内表达。

倒置的突发式表达(严重程度:弱) 连续三个或更多极短句(每句少于 7 个词),且没有较长的句子作为平衡。“The code was fine. The logic held. Nothing left a trace.” 单独阅读时显得断断续续。 这与标记句长均匀、长度中等句子的 Signal B 不同。


混合创作来源叠加分析(估计 AI 编辑比例)

除了为 9 项信号打分,还要估计 AI 编辑比例——文本中看起来由 AI 撰写或编辑的部分占比。这与结论是独立的维度,针对的是现实中常见的情况:人类编辑 AI 草稿(或 AI 润色人类草稿)。此处的思路借鉴了 EditLens(arXiv 2510.03154),它回归的是编辑量,而非预测二元创作来源。

留意以下分布线索:

  • 整篇文本呈现统一的 AI 特征,说明可能完全由 AI 生成
  • 部分段落润色得很精致,其他段落则较粗糙,说明可能经过选择性 AI 编辑
  • AI 词汇集中在过渡段和结论中,正文内容具体,说明可能是 AI 搭建框架、人类填充实质内容
  • 开头/结尾段落读起来很精致,中间部分则零散或粗糙,说明可能只有文章首尾经过 AI 编辑
  • 文本中途语气发生变化(正式 → 随意,或反之),说明可能混合了不同来源
  • 某个段落包含了所有被禁词汇,其他段落一个都没有,说明可能是将一段 AI 撰写的内容插入了其他人类创作的文本中

从以下档位中估计比例:

  • 纯人类(约 0%)
  • 轻度 AI 辅助(约 10-30%) — 轻微润色、单个章节或词汇替换
  • 混合创作来源(约 30-60%) — 大量 AI 撰写的内容穿插其中
  • 重度 AI 编辑(约 60-90%) — AI 草稿经人类修改,或人类草稿经过大量 AI 重写
  • 纯 AI(约 100%)

请在输出格式中另起一行报告此比例。


输出格式

始终严格按以下结构输出:

AI-CHECK REPORT
===============

VERDICT: [Human | Likely Human | Uncertain | Likely AI | AI]
CONFIDENCE: [Low | Medium | High]
OVERALL SCORE: [0–27] / 27
AI-EDITED FRACTION: [Pure human | Lightly AI-assisted | Mixed authorship | Heavily AI-edited | Pure AI]

SIGNAL BREAKDOWN
----------------
A. Perplexity            [0-3]  [one-line summary]
B. Burstiness            [0-3]  [one-line summary]
C. Hedge density         [0-3]  [one-line summary]
D. Structural tells      [0-3]  [one-line summary]
E. Specificity           [0-3]  [one-line summary]
F. Transitions           [0-3]  [one-line summary]
G. Punctuation           [0-3]  [one-line summary]
H. Voice / register      [0-3]  [one-line summary]
I. Rhetorical scaffolding [0-3]  [one-line summary]

EVIDENCE LOG
------------
[For every signal score > 0, list each specific instance with a short quote or description.
Format: SIGNAL-[LETTER] | "[exact quote or pattern description]" | severity: weak/moderate/strong]

WHAT GAVE IT AWAY
-----------------
[2–4 sentences identifying the strongest signals in plain language. Be specific about
which phrases, patterns, or absences were most diagnostic. This section is written
for a human who wants to understand the tell, not just see a score.]

RECOMMENDED FIXES
-----------------
[Only present if score > 6. Concrete rewrites or changes for the top 3 signals.]

评分阈值

总分结论
0–4人类
5–8可能是人类
9–13不确定
14–19可能是 AI
20–27AI

校准说明

  • 短文本(<100 个单词)可用的信号较少;请说明这一点,并将置信度最高调整为中等
  • 带有领域术语的技术写作可能会压低信号 A 的分数,即使文本由 AI 撰写也是如此——不要因此惩罚准确的领域词汇
  • 学术或法律写作通常会使用保留措辞和分号;请相应调整信号 C 和 G
  • ESL 写作可能呈现某些 AI 特征(句长均匀、充满保留措辞);请说明这种可能性
  • 文本可能在结构/过渡方面呈现 AI 特征,但在语气方面呈现人类特征——请如实分别报告
  • 信号 I(修辞铺陈)会出现在让人觉得写得很好的表达中——不要因为写作质量高而忽略这些信号。它们是最难识别的特征,恰恰因为 AI 从优秀的人类作者那里学会了这些写法。在其他方面都很简洁的文本中,“与 X 相比更像 Y”这样的比较仍然算作一个信号。
  • 语体坍缩(信号 H)需要交叉核对:仅有非正式标记并不能让 Slack 消息显得像人类写的。要看 lmk 和 ~60% 背后的句子结构。如果底层文字流畅、完整,非正式标记只是表面噪声。
  • 格言式结尾(信号 I)需结合上下文判断——在长篇个人随笔中,一句精炼的结尾诊断性较弱;在一篇 200 字的帖子中,如果它是唯一令人印象深刻的句子,则诊断性更强。请据此调整权重。
已知的检测上限(相应限制置信度)
  • 基础模型输出是已知的检测上限。 arXiv 2605.19516(“Base Models Look Human”)以及 Pangram 的佐证分析表明,原始的、未经指令微调的基础模型输出,在当前最先进的检测器看来像是人类撰写的。现代检测器实际捕捉到的是 RLHF/指令微调留下的痕迹(礼貌的保留措辞、结构化列举、完美连贯性、“乐于助人的助手”语体),而非“AI 特征”本身。如果文本可能出自基础模型或仅经过轻度微调的释义工具(HIP 式攻击),即使表面信号看起来明确,也应将置信度限制在中等。
  • Claude 是零样本检测器的盲点。 DetectRL 基准测试(arXiv 2410.23746)记录了 Binoculars 在 Claude 生成文本上的 AUROC 仅约为 55%,而在 GPT-3.5 生成文本上约为 88%。如果来源模型可能是 Claude,应格外谨慎地看待较低分数。
  • 迭代改写的文本构成检测上限。 PADBen(arXiv 2511.00416)表明,对直接 AI 文本检测准确率超过 90% 的检测器,在经一个或多个大模型迭代改写的文本上会彻底失效。如果用户提到文本经过释义或重写,应降低所有信号的权重。
  • 文体线索受语料影响。 基于 SHAP 的可解释性分析(arXiv 2603.23146)表明,检测器所依赖的表面文体特征因数据集而异,并非稳定的作者身份信号。这一点对信号 I(修辞框架)的影响尤为明显。不要过度依赖任何单一信号;应要求不同类别的信号相互印证。
  • 多语言文本需要匹配语言的校准。 AI 检测器对非英语文本的误判率很高——它们会将经过轻度润色的阿拉伯语人类文本错误标记为 AI 生成,某商业检测器的准确率从 92% 降至 12%(arXiv 2511.16690)。除非已知校准情况,否则不要对非英语文本给出高置信度判断。
检测器概况(供参考)

如果用户询问“工具 X 会怎么判断?”,以下是当前各工具的特点:

  • **GPTZero(2025)**采用 RL 对抗式自训练和学习型分类器集成,而非仅依赖困惑度与突发性。输出分为 4 类(人类/轻度/中度/完全由 AI 辅助)。 旧说法“GPTZero 依赖困惑度与突发性”已过时。
  • Binoculars 是一种强大的零样本基线检测器,但存在上述 Claude 盲点。
  • Pangram 3.0 声称准确率为 99.98%,误报率为 1/10,000,且在人工化文本上的准确率为 97%;这些数据来自厂商基准测试(独立复现尚待进行)。
  • EditLens 估算的是 AI 编辑所占比例,而非二元作者身份(F1 二分类为 94.7,F1 三分类为 90.4)。
  • Ghostbuster 是典型的黑盒检测器(无需 token 概率),域内 F1 为 99,跨域表现则会下降。
  • DependencyAI 使用句法依存 n-gram 和 LightGBM,无需访问大模型即可实现跨语言检测。

评论

支持 Markdown