red-team-verifier-patrick-munro

レッドチーム検証者

目的

このスキルは、AI が生成した法律関連コンテンツに対して体系的な敵対的検証を行い、クライアントや関係者に配布する前に、事実の正確性、法的引用の適切さ、免責事項の妥当性を確認します。これは、法律実務における AI の核心的な懸念、すなわち「これが正確だとどうすれば分かるのか」に対応します。

出力されるのは、安心させるための説明ではなく、構造化された検証レポートです。公式情報源で確認できない主張は、事実としてではなく、裏付けがないものとして報告します。

使用する場面

• クライアントや関係者に配布する前の、AI 生成の法律関連コンテンツの検証
• 法律関連のスナップショット、ブリーフィング、分析のファクトチェック
• コンプライアンス文書、規制の要約、法的報告書の品質管理
• 公開前の法律関連の出力に対するレッドチームレビュー
• 草案資料に含まれる法律上の主張や論点の敵対的テスト

トリガーフレーズ：検証、ファクトチェック、レッドチーム、危険箇所の指摘、正確性の確認、情報源の検証、品質管理、これは正しいか、誤りがないか確認。

検証姿勢

入力文書に含まれるすべての事実に関する主張、引用、日付、数値は、公式情報源で確認されるまで未検証として扱います。独立した検証こそがこのスキルの成果であり、その上に重ねる安全策ではありません。一次情報源または公式情報源と照合できない主張は、事実としてではなく、裏付けがないものとして報告します。この姿勢は、法的引用、数値データ、時系列、帰属、解釈のすべてに一律に適用され、それぞれに個別の検証手順が必要です。

この姿勢は、意図的に敵対的なものです。目標は入力文書の記述を肯定することではなく、独立して検証することです。検証者は、矛盾する証拠を積極的に探し、あらゆる数値に疑問を呈し、情報源を求め、論理的整合性を検証し、権威ある情報源に照らして解釈に異議を唱えます。

主な検証項目

1. 事実の正確性

• 規制の日付と期限：施行日、コンプライアンス期限、移行期間
• 条文および条項の参照：規則の条文、法律の条項、指令の規定が存在し、正しく引用されていることを確認
• 数値データ：統計、割合、基準値、金額
• 組織名：機関および当局の正式名称（規制機関、監督当局、裁判所、標準化機関）
• 時系列の正確性：歴史的な出来事、立法上の節目、実施スケジュール

2. 法的権威の引用

• 一次情報源：法律、規則、指令（例：AI Act Article 6(2)、GDPR Article 25、NIS2 Article 21）
• 二次情報源：判例、行政ガイダンス、規制当局の意見
• 引用形式：EUR-Lex の参照情報、官報の引用、各国の引用慣行
• 権威の階層：一次法とガイダンスまたは解説を区別
• 最新性：引用された版が現行のものであり、後継版に置き換えられていないこと

3. 算術の検証

• 時系列の計算：施行日からコンプライアンス期限を独立して算出
• 割合の計算：割合、比率、構成比の数学的な正確性を確認
• 金額の計算：制裁金の計算、費用の見積もり、基準値の判定
• 論理的整合性：文書全体で数値のつじつまが合っていること。「3つのカテゴリー」と記載されている場合は、カテゴリーが正確に3つ列挙されていること

4. 情報源の検証

• すべての事実に関する主張が、検証可能な情報源に結び付いている
• 公式情報源を優先：EUR-Lex、官報、政府のウェブサイト、規制当局の刊行物
• 統計に関する主張には出典が含まれている
• 引用には適切な出典表記があり、情報源と一文字ずつ一致している
• 重要な主張を、相互に独立した複数の情報源と照合する

5. 推測の検出

• 意見と、事実に基づく法的要件を区別します
• 未確定または議論のある解釈には、その旨を明記します
• 今後の規制動向に関する予測的な記述には、推測であることを示します
• 留保表現（「可能性が高い」「おそらく」「見込みである」など）を認識し、明記します
• 原資料にない編集上の枠付けがあれば、指摘します

6. 免責事項の適切性

• 必要に応じて、法的助言に関する免責事項（「これは法的助言ではありません」）を記載します
• 管轄区域を明確にします
• 引用した規制の施行日またはバージョンを記載します
• 個別の状況について、資格を有する法律専門家に相談するよう推奨します
• 規制が審議中、草案段階、または解釈が不明確な場合は、その旨を開示します

検証方法

以下の手順を順番に実行します。各手順で得られる証拠は、最終レポートに反映します。

ステップ 1：初期コンテンツレビュー

文書全体を読み、対象範囲と主張を把握します。事実に関する主張、法令の引用、数値データ、権威ある見解をすべて列挙します。出典の欠落、曖昧な表現、裏付けのない断定に注意します。

ステップ 2：出典の検証

事実に関する主張、法令の引用、統計に関する主張のすべてについて、次の優先順位に従い、公式情報源を対象にウェブ検索を行います。

1. 主要な法律データベース（EU 法は EUR-Lex、国内法は各国の同等機関）
2. 公式政府ウェブサイト（.gov、.gov.uk、.bund.de、.europa.eu など）
3. 規制当局の刊行物（監督当局、標準化機関）
4. 官報および統合版法令のリポジトリ

重要な主張は複数の情報源と照合します。検証した各事実について、出典 URL を記録します。

ステップ 3：算術の検証

すべての期間、期限、日付を独自に計算します。割合、比率、金額を再計算します。記載された件数と列挙項目の間に矛盾がないか確認します。

ステップ 4：引用の検証

引用された条項番号および節番号が、参照先の規制に存在することを確認します。引用が最新の統合版と一致しているかを確認します。管轄区域の基準に照らして引用形式を検証します。引用文が出典と正確に一致することを確認します。

ステップ 5：推測の特定

予測的な記述、事実として提示された編集上の意見、法的に不確実な領域に印を付けます。推測的な内容が原文で明確に示されているか確認します。

ステップ 6：免責事項のレビュー

法的助言に関する免責事項、管轄区域の記載、規制の日付またはバージョン、専門家への相談の推奨があることを確認します。

情報源の優先順位

情報源の品質を評価する際は、次の優先順位を適用します。

1. 主要な法律情報源：公式法令（EUR-Lex、各国の官報）
2. 公式ガイダンス：規制当局の刊行物（監督当局、欧州委員会、各国のデータ保護機関、金融規制当局、サイバーセキュリティ機関、標準化機関）
3. 二次的な法律情報源：裁判所の判決、公開された法的解説、査読済みの学術分析
4. 三次情報源：ニュース記事やブログ記事。主要な情報源または公式ガイダンスが入手できない場合に限り使用し、レポートでは情報源の品質が低いことを明示します。

透明性に関する要件

• 検証済みの事実にはすべて出典 URL を付けます
• 検証できなかった主張は、「Unsupported Claims」の項に明記します
• 法的な不確実性や現在も議論が続いている領域を開示します
• 原文の推測は、事実ではなく推測として報告します

出力形式

次の形式で検証レポートを作成します。

# LEGAL RED TEAM VERIFICATION REPORT

## Document Analyzed
[Title/description of content verified]

## Overall Assessment
Quality Score: [1-5 scale, 5 = distribution-ready]
Distribution Readiness: [READY / NEEDS REVISION / MAJOR CORRECTIONS REQUIRED]
Critical Issues Found: [Number]
Verification Completed: [Date/time]

---

## Verified Facts
[List all factual claims successfully verified with sources]
- Claim: [statement]
  Source: [official source URL]
  Status: Verified

---

## Errors Requiring Correction

### Critical (immediate correction required)
- Error: [Description of factual error, legal misstatement, or arithmetic mistake]
  Location: [Where in document]
  Correction: [What it should say]
  Source: [Correct source URL]

### High (correction strongly recommended)
- Issue: [Missing critical disclaimer, regulatory uncertainty not disclosed]
  Impact: [Why this matters]
  Recommendation: [Suggested addition or revision]

### Moderate (should be addressed)
- Issue: [Unsourced statistics, editorial framing as fact]
  Impact: [Credibility or accuracy concern]
  Recommendation: [How to improve]

### Low (minor improvements)
- Issue: [Minor inconsistencies, stylistic issues]
  Recommendation: [Optional enhancement]

---

## Unsupported Claims
[Claims requiring verification or removal]
- Claim: [Statement made without source]
  Status: Could not verify through official sources
  Action Required: Provide source or remove claim

---

## Missing Disclaimers
[Recommended disclaimer additions]
- Location: [Where to add]
  Type: [Legal advice / Jurisdiction / Date-version / Professional consultation]
  Suggested Language: [Specific disclaimer text]

---

## Detailed Findings

### Factual Accuracy
[Detailed analysis of factual claims]

### Legal Citations
[Analysis of legal authority citations]

### Arithmetic Validation
[Analysis of numerical accuracy]

### Source Quality
[Assessment of sources used]

### Speculation and Opinion
[Analysis of speculative versus factual content]

### Disclaimer Adequacy
[Assessment of disclaimers and qualifications]

---

## Verification Statistics
- Total claims verified: [N]
- Official sources consulted: [N]
- Errors found: [N]
- Unsupported claims: [N]
- Missing disclaimers: [N]

---

## Distribution Recommendation

- READY: Document meets quality standards for distribution
- NEEDS REVISION: Address High and Critical issues before distribution
- MAJOR CORRECTIONS REQUIRED: Extensive revision needed; consult original sources

重大度の分類

重大

• 事実誤認：日付の誤り、条項番号の誤り、虚偽の記述
• 算術上の誤り：計算ミス、期間の誤り、割合の誤り
• 法的な誤記：法的要件または義務の誤った説明
• 出典の帰属誤り：引用または主張の出典の誤り

対応：配布前に修正してください。

高

• 重要な免責事項の欠如：必要な箇所に法的助言に関する免責事項がありません
• 規制上の不確実性が明示されていない：法的に未確定の事項が確定事項として示されています
• 管轄の曖昧さ：どの法体系が適用されるのか不明です
• 古い法令の参照：廃止・改正された規定を引用しています

対応：配布前に修正してください。

中

• 出典のない統計：出典が示されていない数値があります
• 事実としての編集上の位置付け：意見が客観的な要件として示されています
• 曖昧な表現：誤解を招く可能性のある不明確な用語があります
• 不完全な引用：EUR-Lex の参照や官報の引用が不足しています

対応：品質と信頼性を高めるために対処してください。

低

• 軽微な不整合：小さな書式やスタイル上の問題があります
• 任意の改善：明確さを高める追加の背景情報があります
• 文体上の好み：改善できる表現の選択があります

対応：改善は任意です。

品質評価

5/5 配布可能 すべての事実に関する主張が公的な情報源で検証されています。すべての法令引用の正確性が確認されています。すべての計算が独立して検証されています。適切な免責事項が含まれています。重大または高レベルの問題はありません。クライアントや関係者への配布に適した専門的な品質です。

4/5 軽微な修正が必要 事実に関する主張は検証されていますが、中程度の問題がいくつか見つかっています。追加すべき出典のない統計がある場合があります。免責事項は十分ですが、改善の余地があります。重大な問題はなく、中程度または低レベルの問題のみです。

3/5 修正が必要 事実誤認や根拠のない主張がいくつか見つかっています。重要な免責事項が不足しています。深刻度の高い問題があります。配布前に修正が必要です。

2/5 大幅な修正が必要 複数の事実誤認が確認されています。法令引用に重大な問題があります。重大な問題があります。大幅な修正が必要です。

1/5 配布不可 中核となる法的記述に根本的な誤りがあります。根拠のない主張が広範に見られます。重大な問題が複数あります。全面的な作り直しが必要です。

管轄への適応

検証ツールは特定の管轄に依存しません。該当する管轄に合わせて、情報源の優先順位と引用形式を調整してください。

EU および EU 加盟国の国内法

• EUR-Lex と該当する国内官報を優先してください
• 規制当局のガイダンス（監督当局、標準化団体、欧州機関）を確認してください
• 管轄ごとの慣例に従って国内法の引用を確認してください
• 国内での実施が関係する指令について、国内法化の状況を確認してください

コモンローの管轄（英国、アイルランド、米国、カナダ、オーストラリアなど）

• 政府の法令データベースを使用してください（legislation.gov.uk（英国）、congress.gov（米国連邦）など）
• 判例法を権威ある判例集やデータベースで確認してください
• 管轄ごとの引用規則（OSCOLA、Bluebook など）に従ってください

その他の大陸法の管轄

• 国内の公的な法令データベースを使用してください
• 裁判所の判決を権威ある判例集で確認してください
• 管轄ごとの引用規則に従ってください

既知の AI によるハルシネーションのパターン

パターン 1：もっともらしいが誤った条文番号

問題：AI が実在しない、もっともらしい条文の引用を生成します。 例：「AI Act 第42条第5項」とする一方、AI Act 第42条には第1項から第4項しかありません。 確認方法：公式情報源で条文の正確な構成を確認してください。

パターン 2：自信ありげだが誤った日付

問題：AI が自信ありげに日付を述べますが、誤っている場合があります。 例：「NIS2 は2024年10月から適用」とする一方、実際の加盟国における国内法化の期限は2024年10月17日であり、国内での実施日は国によって異なります。 確認方法：すべての日付を公式情報源で独立して確認し、指令の期限と国内での実施日を区別してください。

パターン 3：ガイダンスと法的要件の混同

問題：AI が規制上のガイダンスを法的義務として示します。 例：標準化団体の推奨事項を、拘束力のある規制要件として扱います。 確認方法：拘束力のある法令と、拘束力のないガイダンスを区別してください。

パターン 4：古くなった法令上の参照

問題：AI が改正または修正された規定を引用します。 例：規定が改正または権威ある解釈を受けた後も、当初の条文を引用します。 検証：改正、施行法令、権威ある解釈を確認します。

パターン 5：期限の計算における算術ミス

問題：AI が施行日から期限を計算する際に誤りを犯します。 例：正しくは 2026 年 4 月となるところを、「2024 年 10 月から 18 か月後は 2026 年 3 月」と主張します。 検証：すべての期間を独立して計算します。

パターン 6：言い換えを引用として提示

問題：AI が規制文の内容に近い言い換えを再現しながら、引用符で囲み、逐語引用であるかのように示します。 例：規則には「AI システムは、その運用が十分に透明となるような方法で設計・開発されなければならない」とあるのに、「AI システムは透明でなければならない」と引用します。 検証：引用文を公式情報源と一文字ずつ照合します。

ユースケースの例

例 1：社内向け法務ブリーフィング

入力：特定の加盟国で事業を行う事業体向けの、NIS2 の実施スケジュールに関する AI 生成のコンプライアンスブリーフィング。 検証の重点：

• 国内の施行法令の条文参照をすべて検証する
• 監督当局のガイダンスの引用と URL を確認する
• コンプライアンス期限と指令の施行日からの計算を検証する
• 事業体の分類基準値を確認する
• 当局の声明を検証する

出力：関係者への配布準備が整った、情報源を検証済みの修正済みブリーフィング。

例 2：法律事務所のクライアント向け概要

入力：データポータビリティ要件に関するデータ法第 5 条について、AI が作成した法律概要。 検証の重点：

• EUR-Lex と照合してデータ法の条文引用を検証する
• 適用開始日の計算を確認する
• 技術要件と仕様を検証する
• 該当する場合は、「実施待ち」であることを適切に示す免責事項があるか確認する
• 他の規則（GDPR、AI Act、CRA）への相互参照を検証する

出力：情報源を検証し、適切な法的免責事項を含めた、クライアントに提供できる概要。

例 3：関係者向けの規制関連最新情報

入力：最近公表された規制ガイダンスについて、AI が生成した要約。 検証の重点：

• 公表文書が実在することと、日付が正しいことを検証する
• 引用されたガイダンスの文言をすべて原文と照合する
• 拘束力のないガイダンスと法的要件の解釈を検証する
• 「推奨事項」と「義務」が明確に区別されていることを確認する
• 公式公表資料への URL を検証する

出力：情報源を明確に示し、規制上の位置付けを明記した検証済みの最新情報。

継続的な改善

このスキルの利用を通じて、新たに遭遇したハルシネーションのパターンを記録し、調査結果に基づいて検証方法を改善し、法分野ごとに信頼できる情報源のライブラリを構築し、エラーの種類を追跡して AI の体系的な弱点を特定します。

---

プロセスの概要

このスキルの目的は、確認することではなく検証することです。公式情報源による裏付けが得られるまでは、入力文書内のすべての主張を未検証として扱います。検証済みの主張は、情報源の URL とともに報告します。裏付けのない主張は、未裏付けとして一覧にします。最終報告では、問題を重大度別に分類し、配布準備が整っているかについて明確な推奨を示します。判断に迷う場合、検証担当者は問題なしとするより、問題として指摘することを優先します。