关于 fact-checking
供 AI Agent 系统核查事实的技能:将文本拆分为可验证的主张,交叉比对权威来源,并给出含置信度和理由的判定。适用于单条陈述或包含多项主张的文章。
主要功能
- 01提取并分类主张
- 02选择权威来源
- 03交叉核验证据
- 04给出判定和置信度
- 05生成结构化核查报告
适用场景
- 01核查文章中的主张
- 02验证统计或科学陈述
- 03审查引言和归属说法
安装
复制下面的命令,在终端中运行。
npx skills add https:/ / github.com/ seb1n/ awesome-ai-agent-skills --skill fact-checking安装后在 Claude Code 中输入/fact-checking确认已加载。
详细介绍
事实核查
此技能可让 AI Agent 系统地核实各类主张和陈述。Agent 不会简单地给出“真”或“假”的判断,而是会从输入内容中提取可单独核查的主张,为每项主张寻找权威来源,交叉比对证据,并给出包含置信度分数和论证依据的结构化结论。此方法适用于各种内容,从单条事实陈述到包含数十条主张的完整文章。
工作流
-
提取主张: 解析输入文本,提取出单条、可核实的陈述。每项主张都应是可以独立核查的完整陈述。排除意见、主观判断和无法证伪的陈述,但在输出中将它们标注为“无法核查”。
-
对主张类型分类: 根据类型对每项主张进行分类——统计类(涉及数字或数据)、历史类(涉及过往事件)、科学类(涉及研究发现)、定义类(定义术语)或归因类(将陈述归于某人或某个组织)。分类有助于确定核实信息的方向。
-
寻找权威来源: 为每项主张确定最适合的核实来源。尽可能使用一手来源:统计数据使用官方数据集,科学主张使用经过同行评审的论文,引言使用存档的文字记录,法律或政策主张使用政府记录。也可参考可靠的二手来源,例如知名事实核查组织(Snopes、PolitiFact、Full Fact)。
-
交叉比对并评估证据: 至少使用两个相互独立的来源核查每项主张。注明来源是证实、部分支持还是反驳了该主张。评估来源可信度时,应考虑其权威性、时效性、方法和潜在偏见。
-
给出结论和置信度分数: 为每项主张从以下等级中选择结论:属实、基本属实、部分属实、基本不实、不实或无法核实。每项结论都应附带一个置信度分数(0.0-1.0),反映现有证据的力度和一致性,并简要说明理由。
-
整理事实核查报告: 以结构化格式呈现调查结果:列出每项主张、其结论、置信度分数、支持证据和来源链接。总结原文的准确性,并给出整体评估。
用法
向 Agent 提供一条陈述、一段文字或一篇完整文章进行事实核查。也可以指定优先核查哪些主张,或要求使用特定输出格式。
Fact-check the following statement:
"Python is the most popular programming language in 2025 according to the TIOBE Index,
and it was created by James Gosling at Sun Microsystems in 1991."
示例
示例 1:核查一篇技术博客文章的事实
用户请求:
核查这篇博客摘录中的关键说法: “与 C 相比,Rust 的运行时开销为零,因此它是目前最快的系统编程语言。Linux 内核在 2024 年采用 Rust 作为主要开发语言,完全取代了 C。根据 Stack Overflow 2024 年的调查,Rust 已连续九年成为最受赞赏的语言。”
提取的说法:
| # | 说法 | 类型 |
|---|---|---|
| 1 | 与 C 相比,Rust 的运行时开销为零 | 科学/技术 |
| 2 | Rust 是目前最快的系统编程语言 | 比较 |
| 3 | Linux 内核在 2024 年采用 Rust 作为主要语言 | 历史 |
| 4 | Rust 在 Linux 内核中完全取代了 C | 历史 |
| 5 | 根据 Stack Overflow 的数据,Rust 连续 9 年成为最受赞赏的语言 | 统计 |
事实核查结果:
| # | 判定 | 置信度 | 证据 |
|---|---|---|---|
| 1 | 大体属实 | 0.80 | Rust 的零成本抽象编译后生成的机器码性能可与 C 相当。不过,一些运行时组件(边界检查、恐慌展开)会带来轻微开销。来源:Rust 性能手册 |
| 2 | 半真半假 | 0.50 | 基准测试显示,Rust 和 C 在大多数任务上的性能差距在 0-5% 以内,但两者都不会始终“胜出”。在某些数值计算工作负载中,Fortran 的表现优于两者。来源:基准测试游戏 |
| 3 | 大体不属实 | 0.90 | Linux 6.1(2022 年)接受了使用 Rust 开发驱动程序和模块,此后版本中其使用范围有所扩大,但 Rust 是对 C 的补充——从未被采纳为“主要”语言。来源:LWN.net 对内核 Rust 的报道 |
| 4 | 错误 | 0.95 | C 仍是 Linux 内核的主导语言。Rust 仅用于部分新的模块。来源:kernel.org Git 统计数据 |
| 5 | 大体属实 | 0.85 | Stack Overflow 于 2023 年将“最受喜爱”更名为“最受赞赏”。Rust 在 2016-2022 年连续 7 年位居“最受喜爱”榜首,并于 2023-2024 年连续 2 年位居“最受赞赏”榜首,共计 9 年。来源:Stack Overflow 开发者调查档案 |
总体评估: 这篇博客文章混合了大致属实的技术说法,以及对 Rust 在 Linux 内核中所起作用的严重夸大。读者应谨慎看待其中与内核相关的说法。
示例 2:核查统计数据类主张
用户请求:
核实:“2024 年,全球 AI 支出达到 2,000 亿美元,75% 的《财富》500 强企业已在生产环境中部署生成式 AI。企业 AI 项目的平均投资回报率在第一年达到 3.5 倍。”
提取的主张:
| # | 主张 | 类型 |
|---|---|---|
| 1 | 2024 年全球 AI 支出达到 2,000 亿美元 | 统计数据 |
| 2 | 75% 的《财富》500 强企业已在生产环境中部署生成式 AI | 统计数据 |
| 3 | 企业 AI 项目第一年的平均投资回报率为 3.5 倍 | 统计数据 |
事实核查结果:
| # | 判定 | 置信度 | 证据 |
|---|---|---|---|
| 1 | 基本属实 | 0.75 | IDC 估算 2024 年全球 AI 支出为 1,840 亿美元,Gartner 则预测为 1,960 亿美元。2,000 亿美元处于较高估值的范围内,但并非精确数字。来源:IDC《全球 AI 支出指南》(2024 年 10 月),Gartner《AI 预测》(2024 年 11 月) |
| 2 | 部分属实 | 0.60 | McKinsey 2024 年的调查发现,受访组织中有 72%(并非特指《财富》500 强企业)以某种形式采用了 AI,其中 65% 使用了生成式 AI。“投入生产”与“试点”之间的区别很重要,但原主张并未作出区分。来源:McKinsey《2024 年全球 AI 调查》 |
| 3 | 无法核实 | 0.30 | 没有可信的大规模研究公布过可普遍适用的企业 AI“平均投资回报率”。各个案例研究的结果差异很大(从 0.5 倍到 10 倍以上不等)。BCG 和 MIT Sloan 均提醒,不应泛化投资回报率主张。来源:MIT Sloan Management Review(2024 年) |
**总体评估:**支出数据大致准确,采用率数据在合理范围内,但不够精确;投资回报率主张缺乏可信来源,引用时应加以限定。
最佳实践
- 核实前先拆分每项主张。 复杂句子往往包含多个断言。拆分后可确保没有遗漏,并让判定更加准确。
- 优先采用一手来源,而非二手报道。 新闻报道声称“某项研究发现了 X”,其可靠性不如直接阅读研究本身。务必追溯主张的来源。
- 考虑语境和表述方式。 脱离语境的数字即使在技术上属实,也可能产生误导。若主张属实,但其表述方式暗示了错误信息,请注明。
- 如实使用置信度评分。 0.5 分并不代表失败,而是反映了真实存在的模糊性。与坦诚承认不确定性相比,过度自信的判定更容易损害信任。
- 核实主张和来源的日期。 2020 年属实的主张,到 2025 年可能已不再成立。务必确认证据在时间上与所核实的主张相关。
- 区分“错误”和“无法核实”。 如果没有可信证据能证明主张属实或不实,应判定为“无法核实”,而非“错误”。
边界情况
- **关于未来的主张:**预测(例如“到 2030 年,AI 将取代 50% 的工作岗位”)无法依据现有证据进行事实核查。应标注为“预测 — 无法核实”,并说明作出预测的来源是否可信。
- **快速变化的统计数据:**如果主张涉及频繁更新的指标(例如加密货币价格、COVID 病例数),请注明主张所指的日期和核查日期,因为两者可能得出不同答案。
- **讽刺或夸张内容:**如果材料明显带有讽刺意味,或为了修辞效果而刻意夸大,请注明这一语境,而不是直接按字面判定为“错误”。
- **没有权威来源的主张:**一些小众或专有主张(例如公司内部指标)可能没有可公开核实的来源。请标注为“无法核实 — 无公开来源”,并建议用户向提出主张的一方索取文件。
- **措辞含糊:**当一项主张有多种解读方式时(例如,“最受欢迎”可能指使用量、调查结果或下载量),请评估最合理的解读,并注明其模糊之处。