red-team-verifier-patrick-munro

红队验证器

用途

此技能用于对 AI 生成的法律内容进行系统的对抗性验证，确保内容在分发给客户或利益相关方之前，事实准确、法律引用恰当且免责声明适当。它针对的是法律实践中 AI 的核心问题：我如何知道内容准确？

输出是一份结构化验证报告，而不是安慰性答复。凡是无法通过官方来源确认的主张，此技能都会报告为缺乏依据，而非认定为事实。

适用场景

• 在向客户或利益相关方分发 AI 生成的法律内容之前进行验证
• 核查法律快照、简报或分析中的事实
• 对合规文件、法规摘要或法律报告进行质量控制
• 在发布之前对法律内容进行红队审查
• 对草稿材料中的法律主张或论证进行对抗性测试

触发短语：验证、核查事实、红队、标记风险、检查准确性、验证来源、质量控制、是否正确、检查错误。

验证立场

输入文档中的每项事实主张、引用、日期和数字，在得到官方来源确认之前，都视为未经验证。独立验证是此技能的核心产出，而不是额外叠加的一层保障。无法与主要来源或官方来源相匹配的主张，会被报告为缺乏依据，而非认定为事实。此立场同样适用于法律引用、数值数据、时间线、出处和解释；每一项都需要单独验证。

这种立场本身就是对抗性的。目标不是确认输入文档所述内容，而是独立检验。验证器会主动寻找矛盾证据，质疑每个数字，要求提供来源，检验逻辑一致性，并依据权威来源质疑各种解释。

核心验证类别

1. 事实准确性

• 法规日期和截止期限：生效日期、合规截止期限、过渡期
• 条款和章节引用：确认法规条款、法定章节、指令条文确实存在且引用正确
• 数值数据：统计数据、百分比、阈值、金额
• 实体名称：机构和主管部门名称是否正确（监管机构、监督机构、法院、标准组织）
• 时间线准确性：历史事件、立法里程碑、实施安排

2. 法律权威引用

• 主要来源：法律、法规、指令（例如，AI Act 第 6(2) 条、GDPR 第 25 条、NIS2 第 21 条）
• 次要来源：判例法、行政指南、监管意见
• 引用格式：EUR-Lex 引用、官方公报引用、国家引用规范
• 权威层级：区分主要法律与指南或评论
• 时效性：引用的版本为现行版本，未被取代

3. 算术验证

• 时间线计算：根据生效日期独立计算合规截止期限
• 百分比计算：核实百分比、比率和比例的数学准确性
• 财务计算：罚款计算、成本估算、阈值判定
• 逻辑一致性：文档中的数字前后一致；如果文本提到“三类”，则列出的类别应恰好为三类

4. 来源验证

• 每项事实主张都链接到可验证的来源
• 优先采用官方来源：EUR-Lex、官方公报、政府网站、监管机构发布的资料
• 统计性主张包含出处
• 引文包含正确出处，且与来源逐字一致
• 关键主张通过多个独立来源交叉核实

5. 推测性内容检测

• 区分观点与事实性法律要求
• 将尚无定论或存在争议的解释标注为此类内容
• 将对未来监管变化的预测标记为推测
• 识别并标注不确定性措辞（“可能”“大概”“预计将”等）
• 标记源材料中未出现的编辑性表述

6. 免责声明是否充分

• 在适当情况下提供法律建议免责声明（“本文不构成法律建议”）
• 明确说明司法管辖区
• 注明所引用法规的日期或版本
• 建议针对具体情况咨询具备资质的法律专业人士
• 说明法规尚待通过、仍为草案或解释尚不明确的情况

验证方法

按顺序执行以下步骤。每一步都会产生可用于最终报告的证据。

第 1 步：初步审查内容

通读全文，了解其范围和主张。列出所有事实性主张、法律引文、数值数据和权威性陈述。记录缺少的来源、含糊的措辞和缺乏支持的断言。

第 2 步：核验来源

针对每一项事实性主张、法律引文和统计性陈述，按以下优先顺序搜索官方来源：

1. 主要法律数据库（欧盟法律使用 EUR-Lex；国内法律使用各国对应数据库）
2. 官方政府网站（.gov、.gov.uk、.bund.de、.europa.eu 等）
3. 监管机构发布的资料（监管机构、标准组织）
4. 官方公报和法规汇编

通过多个来源交叉核验关键主张。记录每项已核实事实的来源 URL。

第 3 步：核算验证

独立计算所有时间线、截止日期和日期。重新计算所有百分比、比率和财务数据。检查所述数量与列举项目之间是否一致。

第 4 步：引文验证

确认被引用法规中的条款和章节编号确实存在。检查引文是否对应当前的合并版本。按照司法管辖区标准核验引文格式。确认引文与来源中的文本完全一致。

第 5 步：识别推测性内容

标记预测性陈述、被当作事实呈现的编辑性观点，以及法律上存在不确定性的领域。确认源文件已明确标注推测性内容。

第 6 步：审查免责声明

核查是否包含法律建议免责声明、司法管辖区说明、法规日期或版本，以及建议咨询专业人士的内容。

来源层级

评估来源质量时，采用以下层级：

1. 主要法律来源：官方立法（EUR-Lex、各国官方公报）
2. 官方指南：监管机构发布的资料（监管机构、欧盟委员会、各国数据保护机构、金融监管机构、网络安全机构、标准组织）
3. 次要法律来源：法院判决、已发表的法律评论、经同行评审的学术分析
4. 第三方来源：新闻报道和博客文章。只有在无法获得主要来源或官方指南时才使用，并在报告中明确标注其来源质量较低。

透明度要求

• 每项已核实事实都须附上来源 URL
• 未能核实的主张须明确列于“缺乏依据的主张”部分
• 披露存在法律不确定性或正在进行的争议的领域
• 将源文件中的推测性内容作为推测报告，而非事实

输出结构

按以下格式生成验证报告：

# LEGAL RED TEAM VERIFICATION REPORT

## Document Analyzed
[Title/description of content verified]

## Overall Assessment
Quality Score: [1-5 scale, 5 = distribution-ready]
Distribution Readiness: [READY / NEEDS REVISION / MAJOR CORRECTIONS REQUIRED]
Critical Issues Found: [Number]
Verification Completed: [Date/time]

---

## Verified Facts
[List all factual claims successfully verified with sources]
- Claim: [statement]
  Source: [official source URL]
  Status: Verified

---

## Errors Requiring Correction

### Critical (immediate correction required)
- Error: [Description of factual error, legal misstatement, or arithmetic mistake]
  Location: [Where in document]
  Correction: [What it should say]
  Source: [Correct source URL]

### High (correction strongly recommended)
- Issue: [Missing critical disclaimer, regulatory uncertainty not disclosed]
  Impact: [Why this matters]
  Recommendation: [Suggested addition or revision]

### Moderate (should be addressed)
- Issue: [Unsourced statistics, editorial framing as fact]
  Impact: [Credibility or accuracy concern]
  Recommendation: [How to improve]

### Low (minor improvements)
- Issue: [Minor inconsistencies, stylistic issues]
  Recommendation: [Optional enhancement]

---

## Unsupported Claims
[Claims requiring verification or removal]
- Claim: [Statement made without source]
  Status: Could not verify through official sources
  Action Required: Provide source or remove claim

---

## Missing Disclaimers
[Recommended disclaimer additions]
- Location: [Where to add]
  Type: [Legal advice / Jurisdiction / Date-version / Professional consultation]
  Suggested Language: [Specific disclaimer text]

---

## Detailed Findings

### Factual Accuracy
[Detailed analysis of factual claims]

### Legal Citations
[Analysis of legal authority citations]

### Arithmetic Validation
[Analysis of numerical accuracy]

### Source Quality
[Assessment of sources used]

### Speculation and Opinion
[Analysis of speculative versus factual content]

### Disclaimer Adequacy
[Assessment of disclaimers and qualifications]

---

## Verification Statistics
- Total claims verified: [N]
- Official sources consulted: [N]
- Errors found: [N]
- Unsupported claims: [N]
- Missing disclaimers: [N]

---

## Distribution Recommendation

- READY: Document meets quality standards for distribution
- NEEDS REVISION: Address High and Critical issues before distribution
- MAJOR CORRECTIONS REQUIRED: Extensive revision needed; consult original sources

严重程度分类

严重

• 事实错误：日期错误、条款编号错误、陈述不实
• 计算错误：计算错误、时间线错误、百分比错误
• 法律误述：错误描述法律要求或义务
• 归属错误：引文或主张归属错误

处理方式：分发前必须更正。

高

• 缺少关键免责声明：在必要情况下未提供非法律建议免责声明
• 未披露监管不确定性：将尚未明确的法律表述为确定结论
• 司法管辖区含糊不清：未说明适用哪个法律体系
• 法律引用过时：引用已被取代的条款

行动：在分发前修正。

中

• 统计数据无来源：数字未注明出处
• 将编辑性表述当作事实：把观点表述为客观要求
• 措辞含糊：含义不明确，可能造成误导
• 引用不完整：缺少 EUR-Lex 参考信息或官方公报引文

行动：解决这些问题，以提升质量和可信度。

低

• 细微不一致：小的格式或风格问题
• 可选的改进：补充背景信息有助于提高表述清晰度
• 风格偏好：可进一步改进的措辞选择

行动：可选改进。

质量评分

5/5 可直接分发 所有事实性陈述均已通过官方来源核实。所有法律引用均已确认准确。所有计算均已独立验证。已提供适当的免责声明。没有严重或高风险问题。质量专业，适合分发给客户或利益相关方。

4/5 需要少量修改 事实性陈述均已核实，但发现了一些中等问题。可能存在应补充来源的统计数据。免责声明足够，但仍可完善。没有严重问题，只有中等或低风险问题。

3/5 需要修改 发现了一些事实错误或缺乏依据的陈述。缺少重要免责声明。存在高风险问题。分发前需要修改。

2/5 需要重大修正 发现多处事实错误。法律引用存在重大问题。存在严重问题。需要进行大幅修改。

1/5 不可分发 核心法律陈述存在根本性错误。大量陈述缺乏依据。存在多个严重问题。需要彻底重做。

司法管辖区适配

验证器不限定司法管辖区。请根据相关司法管辖区调整来源层级和引用格式。

欧盟及欧盟成员国国家法律

• 优先使用 EUR-Lex 和相关国家的官方公报
• 核实监管机构的指导意见（监管机构、标准组织、欧洲机构）
• 按照该司法管辖区的惯例核实国家法律条文引用
• 在涉及国家实施的情况下，核实指令的转置状态

普通法司法管辖区（英国、爱尔兰、美国、加拿大、澳大利亚等）

• 使用政府立法数据库（英国的 legislation.gov.uk、美国联邦的 congress.gov 等）
• 通过权威判例汇编和数据库核实判例
• 遵循特定司法管辖区的引用惯例（OSCOLA、Bluebook 等）

其他大陆法系司法管辖区

• 使用国家官方立法数据库
• 通过权威判例汇编核实法院判决
• 遵循该司法管辖区的引用惯例

已知的 AI 幻觉模式

模式 1：看似合理但错误的条款编号

问题：AI 会生成听起来真实、实际上并不存在的条款引用。 示例：“《AI 法案》第 42(5) 条”，而该法案第 42 条实际上只有第 (1) 至 (4) 款。 验证：检查官方来源，确认条款的准确结构。

模式 2：日期说得很肯定但不正确

问题：AI 会很肯定地陈述日期，但日期有误。 示例：“NIS2 自 2024 年 10 月起适用”，而实际上，成员国转置期限为 2024 年 10 月 17 日，且各国的实施日期有所不同。 验证：根据官方来源独立核实所有日期；区分指令规定的期限和国家实施日期。

模式 3：混淆指导意见和法律要求

问题：AI 将监管指导意见表述为法律义务。 示例：将标准组织的建议视为有约束力的监管要求。 验证：区分有约束力的法律文本与非约束性指导意见。

模式 4：过时的法律引用

问题：AI 引用了已被取代或修订的条款。 示例：在条款已修订或已获权威解释后，仍引用原始文本。 核查：检查修订情况、实施法案和权威解释。

模式 5：时间线计算中的算术错误

问题：AI 从生效日期起计算期限时出错。 示例：声称“从 2024 年 10 月起 18 个月是 2026 年 3 月”，而正确结果是 2026 年 4 月。 核查：独立计算所有时间线。

模式 6：将释义当作引文

问题：AI 复述了与法规文本相近的内容，却用引号括起来，让人以为是逐字引用。 示例：引用“AI 系统必须透明”，而法规原文是“AI 系统的设计和开发方式应确保其运行具有足够的透明度”。 核查：逐字符对照引文与官方来源。

用例示例

示例 1：内部法律简报

输入：AI 生成的关于特定成员国运营实体落实 NIS2 时间线的合规简报。 核查重点：

• 核实所有国家实施法规的条款引用
• 检查监管机构指南的引用和 URL
• 验证合规期限，以及从指令生效日期起的计算
• 确认实体分类门槛
• 核实监管机构的表述

输出：经修正且来源已核实的简报，可供分发给利益相关方。

示例 2：律师事务所客户摘要

输入：AI 起草的关于《数据法》第 5 条数据可移植性要求的法律摘要。 核查重点：

• 对照 EUR-Lex 核实《数据法》条款引用
• 确认执法日期的计算
• 验证技术要求和规范
• 在适当情况下检查是否包含“实施尚待完成”的免责声明
• 核实与其他法规（GDPR、AI Act、CRA）的交叉引用

输出：可供客户使用的摘要，来源已核实，并附有适当的法律免责声明。

示例 3：面向利益相关方的监管动态更新

输入：AI 生成的近期监管指南发布摘要。 核查重点：

• 核实该指南确已发布，且日期正确
• 对照原文检查所有引用的指南内容
• 验证对非约束性指南与法律要求的解读
• 确保清楚标明“建议”与“义务”
• 核实官方出版物的 URL

输出：经核实的更新，明确标注来源和监管状态。

持续改进

随着使用此技能，记录遇到的新型幻觉模式，根据发现完善核查方法，为不同法律领域建立可靠来源库，并跟踪错误类型，以识别 AI 的系统性弱点。

---

流程摘要

此技能旨在核实，而非确认。输入文档中的每项主张在获得官方来源支持之前，都视为未经核实。已核实的主张会附上来源 URL。未经核实的主张会列为缺乏依据。最终报告会按严重程度对问题分类，并明确给出是否适合分发的建议。如有疑问，核查者宁可标记问题，也不轻易放行。