legal-red-team

⚠️ 实验性 — 此技能仅用于教育和信息参考，不构成法律建议。使用所产生的一切责任均由用户承担。采取任何行动前，请咨询合格的法律专业人士。

法律红队

用于验证 AI 生成法律内容的生产就绪型对抗式验证框架。涵盖事实准确性、引文验证、算术核查、推测检测和分发就绪度评分。

---

目录

• 验证类别
• 工具
• 六步方法
• 严重程度分类
• 质量评分
• 已知幻觉模式
• 参考指南
• 工作流
• 故障排除
• 成功标准
• 范围与限制
• 反模式
• 工具参考

---

验证类别

每份 AI 生成的法律文件都必须从 6 个类别进行核查。

#	类别	核查内容	危险信号
1	事实准确性	日期、引文、数字、实体名称、时间线	生效日期错误、实体名称混淆、金额不正确
2	法律依据引文	一手／二手来源、格式、层级、时效性	不存在的条款、错误的章节编号、过时的引文
3	算术验证	时间线、百分比、财务计算、截止日期	日期计算错误、百分比计算错误、复利计算错误
4	来源验证	可核实的主张、官方来源、交叉引用	将无法核实的断言作为事实陈述、仅依据单一来源的主张
5	推测检测	观点与事实、不确定性措辞、预测性主张	将预测说成确定事实、将指导意见视为具有约束力的法律
6	免责声明充分性	法律建议免责声明、司法管辖区、日期、专业咨询	缺少免责声明、主张过于宽泛、未限定司法管辖区

---

首先澄清

验证前，请确认以下信息。如果有任何一项未知或含糊不清，请询问，不要自行假设：

• 所声称的司法管辖区和法律领域 — 决定针对哪个官方来源核查每条引文（EUR-Lex、congress.gov 还是 legislation.gov.uk）；一份文件混杂多个司法管辖区本身就是一项高严重程度发现
• 分发场景／受众 — 内部备忘录、面向客户还是面向监管机构，将决定质量评分门槛（4/5）以及免责声明审查的严格程度
• 是否能够实时核实来源 — 第 2 步要求针对官方来源核查引文；如果无法核实，则每条引文都应标记为“无法核实”，而非确认为属实

停止规则：只询问对结果影响最大的 2-3 项。如果用户说“直接起草”，则继续，并在报告开头列出你的假设。

工具

法律事实核查器

扫描法律文本中的可核实主张，并标记潜在的幻觉模式。

# Check a legal document
python scripts/legal_fact_checker.py --input document.txt

# Check with JSON output
python scripts/legal_fact_checker.py --input memo.txt --json

# Check inline text
python scripts/legal_fact_checker.py --text "Under GDPR Article 83(5), fines can reach EUR 20 million..."

# Save verification report
python scripts/legal_fact_checker.py --input document.txt --output report.json

法律质量评分器

从全部 6 个验证类别评估法律文件质量。

# Score a document
python scripts/legal_quality_scorer.py --input document.txt

# Score with JSON output
python scripts/legal_quality_scorer.py --input document.txt --json

# Score with detailed breakdown
python scripts/legal_quality_scorer.py --input document.txt --verbose

# Save quality assessment
python scripts/legal_quality_scorer.py --input document.txt --output assessment.json

---

六步方法

第 1 步：初步审查

以对抗性思维通读整份文件。针对每项主张，询问：

• 这是否可以核实？
• 这是否具体到没有来源就不可能生成？
• 对于存在不确定性的领域，这种表述是否过于自信？

标记每一条事实陈述、引文、日期、数字和预测性陈述。

步骤 2：来源核实（始终进行网络搜索）

对于每项可核实的主张，都应尝试通过官方来源进行核实。

来源类型	核实方法	示例
欧盟立法	EUR-Lex 官方数据库	eur-lex.europa.eu
美国联邦法律	congress.gov、govinfo.gov	官方法典和法规
美国法规	eCFR、Federal Register	ecfr.gov
英国立法	legislation.gov.uk	官方法规数据库
法院判决	法院数据库、Westlaw、LexisNexis	官方判例汇编
机构指南	机构官方网站	直接从 .gov/.europa.eu 下载
国际条约	联合国条约集	treaties.un.org

**规则：**如果无法通过官方来源核实某项主张，应予以标记。不要假定其准确无误。

步骤 3：算术核验

检查每项计算、日期计算和数值主张。

检查类型	方法
时间线计算	计算所述日期之间的天数／月数／年数
百分比计算	根据基数重新计算
财务计算	核实算术和复利计算
截止日期计算	对照法律文本确认
处罚范围	对照法规交叉核查

步骤 4：引文核验

对每条法律引文，核实以下内容：

要素	检查内容
来源是否存在	所引法规／条款／章节是否确实存在？
内容是否相符	所引条文是否如文档所述？
引用格式	引用格式是否符合该司法管辖区的规范？
时效性	该版本是否为当前有效版本？
层级是否正确	是否准确说明了来源的权威层级？

步骤 5：识别推测性内容

区分事实与观点、确定性与预测。

语言模式	分类	操作
“法律要求……”	事实主张	对照法律文本核实
“法院很可能会……”	推测	标记；添加不确定性限定语
“建议……”	指引	核实来源；说明是否具有约束力
“最佳实践表明……”	观点	标注为观点；引用来源
“这意味着……”	解释	若没有依据却作为事实陈述，则予以标记
“公司必须……”	义务主张	核实其法律依据

步骤 6：免责声明审查

每份 AI 生成的法律文档都必须包含：

必需内容	说明
非法律意见	明确说明内容仅供参考
司法管辖区限制	说明涵盖和未涵盖的司法管辖区
编制日期	内容编制时间（法律会发生变化）
咨询专业人士	建议咨询具备资质的法律顾问
AI 生成披露	声明内容由 AI 生成或在 AI 协助下生成
准确性限制	承认建议进行核实

---

严重程度分类

严重程度	定义	示例	操作
严重	事实错误且可能造成法律损害	错误的条款编号导致虚假的义务、不正确的处罚金额、并不存在的法律要求	发布前必须修正
高	具有实质误导性或无法核实	将指引说成有约束力的法律、无法核实的时间线、自信但无来源支持的主张	必须修正或添加醒目的警示
中等	不够精确或可能引起混淆	表述含糊、轻微的日期差异、引文不完整	应予修正；添加警示后可接受
低	风格或格式问题	引用格式不一致、缺少交叉引用、轻微冗余	时间允许时修正

---

质量评分

评分	评级	分发状态	标准
5/5	可分发	可安全分发	无 CRITICAL/HIGH 问题；所有引文均已核实；免责声明完整
4/5	少量修订	小幅修正后可安全分发	无 CRITICAL 问题；有 1-2 个可明确修正的 HIGH 问题；大部分引文已核实
3/5	中度修订	分发前需要完善	无 CRITICAL 问题；有 3 个或更多 HIGH 问题；部分引文未经核实
2/5	大幅修订	不可安全分发	有 1 个或更多 CRITICAL 问题；有多个 HIGH 问题；存在大量未经核实的内容
1/5	未达到可分发标准	需要彻底返工	有多个 CRITICAL 问题；存在普遍性错误；内容整体不可靠

---

已知的幻觉模式

AI 模型在生成法律内容时会出现 5 种反复出现的模式。

#	模式	说明	检测方法
1	看似合理但错误的条款编号	AI 生成听起来正确、实际上并不存在的条款或章节编号（例如，只有 42(1)-(4) 时，却写成「第 42(5) 条」）	对照官方法规文本核查每个条款编号
2	自信但错误的日期	以肯定口吻给出错误的实施时间表、生效日期或截止日期（相差数周或数月）	根据法规或实施机构公布的官方时间表核实每个日期
3	混淆指导意见与法律要求	将不具约束力的建议当作强制义务（例如，将 ENISA 的建议表述为 NIS2 的要求）	检查引用来源属于有约束力的法律还是指导意见；核实其权威层级
4	过时的法律引用	引用已被取代或废除的条款，却未说明其已失效	核实每项引用条款的时效性；检查是否有修订或废止
5	时间线计算中的算术错误	错误计算日期之间的天数、月数或年数；错误计算截止日期	独立计算每条时间线；不要相信 AI 对日期的计算

详细示例和预防策略请参阅 references/hallucination_patterns.md。

---

参考指南

指南	路径	说明
核实方法	references/verification_methodology.md	包含来源层级和引文格式的完整 6 步方法
幻觉模式	references/hallucination_patterns.md	5 种模式及其示例、检测方法和预防策略

---

工作流

工作流 1：全面对抗性审查

1. 对文档运行 scripts/legal_fact_checker.py。
2. 检查标记的问题，并逐项对照官方来源核实。
3. 运行 scripts/legal_quality_scorer.py 获取各类别评分。
4. 对每个 CRITICAL/HIGH 问题记录：错误、正确信息和来源。
5. 按严重程度整理发现并生成核实报告。
6. 评定质量评分并评估是否达到可分发标准。
7. 验证： 已检查每项可核实的主张、已评定评分、已提供建议。

工作流 2：快速引文检查

1. 对文档运行 scripts/legal_fact_checker.py。
2. 重点检查引文提取结果。
3. 根据官方来源核实提取出的每条引文。
4. 标记所有无法核实的引文。
5. 验证： 所有引文均已核实或已标记。

工作流 3：分发前审核关卡

1. 对最终文档运行 scripts/legal_quality_scorer.py。
2. 检查综合评分。
3. 如果评分 < 4/5，不得分发文档。
4. 如果评分 >= 4/5，确认 CRITICAL 问题数量为零。
5. 确认所有免责声明均已提供且内容充分。
6. 验证： 质量评分 >= 4/5、无 CRITICAL 问题、免责声明完整。

---

故障排查

问题	可能原因	解决方案
误报过多	正则表达式模式匹配了非法律文本	将输入范围缩小到仅包含法律内容；使用结合上下文的审查
无法核实引用	来源无法免费访问	标注为“无法通过公开来源核实”；不要假定其正确
AI 生成的文本没有引用	内容完全没有来源支持	将整份文档标记为未经核实；评分为 2/5 或更低
检测到幻觉模式	AI 虚构法律细节	用来自官方来源的已核实信息替换
文档涉及多个司法管辖区	未明确司法管辖区范围	标记为 HIGH；建议按司法管辖区拆分
质量评分似乎过高	自动评分存在局限	始终辅以人工审查

---

成功标准

标准	目标
引用已核实	100% 的法律引用均已对照官方来源检查
已扫描幻觉模式	已检查所有 5 种已知模式
算术已验证	每项计算均经过独立核验
已分配严重程度	每项发现均分类为 CRITICAL/HIGH/MODERATE/LOW
已计算质量评分	综合评分，并按类别细分
免责声明已核实	已包含全部 6 项必需的免责声明内容
分发决策	给出明确的是否分发建议及理由

---

范围与限制

范围内： 核实法律文本中的事实性主张、验证引用、检测幻觉模式、评估文档质量、评估分发准备情况。

范围外： 核实法律结论或解释、评估诉讼策略、替代专业法律审查、访问付费法律数据库（Westlaw、LexisNexis）。

免责声明： 此技能提供一种结构化的对抗性核验方法。它可以发现常见的 AI 错误，但无法保证完全准确。对于高风险文档，专业法律审查仍不可或缺。

---

反模式

反模式	失败原因	更好的做法
不经核实便信任 AI 生成的引用	AI 模型经常生成看似可信但实际上不存在的法律引用；在分发的文档中使用未经核实的引用，会造成严重的信誉和法律风险	对照官方来源核实每条引用；在证实正确之前都假定其有误
只依赖自动检查	自动化工具可以捕捉模式，但会遗漏上下文错误、歪曲表述和细微的幻觉	先用自动化工具进行初步检查，再人工审查所有标记项及部分未标记项
跳过“对抗性思维”	确认偏误会导致审查者接受听起来合理的内容；听起来“没错”的法律文本仍可能有误	积极尝试证伪每项主张；核实之前都假定有误；质疑每个具体数字、日期和引用
评分为 3/5 或更低仍进行分发	分发的文档中存在 MODERATE 和 HIGH 问题会损害信誉，并可能造成法律损害	将分发门槛明确设为 4/5；除非合格审查者记录并接受风险，否则不得例外

---

工具参考

工具	输入	输出	用途
legal_fact_checker.py	法律文档文本	核验报告，包含标记的主张、引用、日期和幻觉警报	对法律内容进行首轮自动扫描
legal_quality_scorer.py	法律文档文本	质量评分（1-5），包含类别细分和按严重程度分类的发现	分发前质量门槛