legal-red-team

⚠️ EXPERIMENTAL — このスキルは、教育および情報提供のみを目的として提供されています。法的助言を構成するものではありません。利用に関するすべての責任はユーザーにあります。出力に基づいて行動する前に、資格を有する法律専門家にご相談ください。

Legal Red Team

AI が生成した法律関連コンテンツを敵対的に検証する、本番環境向けのフレームワークです。事実の正確性、引用の検証、算術の確認、推測の検出、および配布準備度のスコアリングを網羅します。

---

目次

• 検証カテゴリ
• ツール
• 6 ステップの方法論
• 重大度の分類
• 品質スコア
• 既知のハルシネーションパターン
• 参考ガイド
• ワークフロー
• トラブルシューティング
• 成功基準
• 範囲と制限
• アンチパターン
• ツールリファレンス

---

検証カテゴリ

AI が生成した法律文書はすべて、6 つのカテゴリにわたって確認する必要があります。

#	カテゴリ	確認事項	危険信号
1	事実の正確性	日付、参照、数値、組織名、タイムライン	発効日の誤り、組織名の混同、金額の誤り
2	法的権威への引用	一次／二次資料、形式、階層、現行性	存在しない条文、誤った条番号、古い引用
3	算術の検証	タイムライン、割合、財務計算、期限	日付計算の誤り、割合の計算ミス、複利計算の間違い
4	情報源の検証	検証可能な主張、公式情報源、相互参照	事実として述べられた検証不能な断定、単一情報源に基づく主張
5	推測の検出	意見と事実の区別、不確実性を示す表現、予測的な主張	予測を確実なこととして述べる、ガイダンスを拘束力のある法律として扱う
6	免責事項の適切性	法的助言に関する免責事項、管轄区域、日付、専門家への相談	免責事項の欠如、広範すぎる主張、管轄区域の制限がない

---

まず確認すること

検証の前に、以下の情報を確認してください。不明または曖昧な項目があれば、推測せずに質問してください。

• 主張されている管轄区域と法律分野 — 各引用をどの公式情報源（EUR-Lex、congress.gov、legislation.gov.uk など）に照らして確認するかが決まります。複数の管轄区域が混在する文書自体が、重大度 HIGH の指摘に該当します。
• 配布状況／対象読者 — 社内メモ、クライアント向け、規制当局向けのいずれかによって、品質スコアの基準値（4/5）と免責事項の審査の厳格さが決まります。
• 公式情報源をリアルタイムで検証できるか — ステップ 2 では公式情報源に照らした引用の確認が必要です。確認できない場合、すべての引用は確認済みではなく「検証不能」としてフラグが付けられます。

停止ルール：出力に最も大きく影響する 2〜3 項目だけを質問してください。ユーザーが「とにかく草案を作って」と言った場合は作業を進め、レポートの冒頭に前提を列挙してください。

ツール

法的事実チェッカー

法律文書をスキャンして検証可能な主張を特定し、潜在的なハルシネーションパターンにフラグを付けます。

# Check a legal document
python scripts/legal_fact_checker.py --input document.txt

# Check with JSON output
python scripts/legal_fact_checker.py --input memo.txt --json

# Check inline text
python scripts/legal_fact_checker.py --text "Under GDPR Article 83(5), fines can reach EUR 20 million..."

# Save verification report
python scripts/legal_fact_checker.py --input document.txt --output report.json

法的品質スコアラー

6 つの検証カテゴリすべてにわたって法律文書の品質を採点します。

# Score a document
python scripts/legal_quality_scorer.py --input document.txt

# Score with JSON output
python scripts/legal_quality_scorer.py --input document.txt --json

# Score with detailed breakdown
python scripts/legal_quality_scorer.py --input document.txt --verbose

# Save quality assessment
python scripts/legal_quality_scorer.py --input document.txt --output assessment.json

---

6 ステップの方法論

ステップ 1：初期レビュー

敵対的な視点で文書全体を読みます。主張ごとに、次の点を確認してください。

• 検証可能か。
• 情報源なしでは生成できないほど具体的ではないか。
• 不確実な分野に対して、確信度が高すぎるように見えないか。

すべての事実に関する断定、引用、日付、数値、予測的な記述に印を付けてください。

ステップ 2：出典の検証（必ずウェブ検索）

検証可能な主張はすべて、公式情報源での検証を試みてください。

出典の種類	検証方法	例
EU 法令	EUR-Lex 公式データベース	eur-lex.europa.eu
米国連邦法	congress.gov、govinfo.gov	公式法令および制定法
米国規則	eCFR、Federal Register	ecfr.gov
英国法令	legislation.gov.uk	公式法令データベース
裁判所の判決	裁判所のデータベース、Westlaw、LexisNexis	公式判例集
政府機関のガイダンス	政府機関の公式ウェブサイト	.gov／.europa.eu から直接ダウンロード
国際条約	国連条約集	treaties.un.org

ルール： 公式情報源で検証できない主張には、フラグを立ててください。正確だと決めつけないでください。

ステップ 3：算術の検証

あらゆる計算、日付の計算、数値に関する主張を確認してください。

確認項目	方法
時系列の計算	記載された日付間の日数／月数／年数を数える
パーセンテージの計算	基準となる数値から再計算する
金融計算	算術と複利計算を検証する
期限の計算	法令の条文と照合する
罰則の範囲	法令と照合する

ステップ 4：引用の検証

法律に関する引用はすべて、以下の点を検証してください。

項目	確認内容
出典の実在性	引用された法律／条文／項は実際に存在するか
内容との一致	引用された規定は、文書に記載された内容を定めているか
引用形式	該当する法域で正しい引用形式か
現行性	現在有効な版か
階層の正確性	出典の権威レベルを正しく説明しているか

ステップ 5：推測の特定

事実と意見、確実性と予測を区別してください。

表現パターン	分類	対応
「法律で義務付けられている」	事実に関する主張	法令の条文と照合する
「裁判所はおそらく〜する」	推測	フラグを立て、不確実性を示す注記を加える
「〜が推奨される」	ガイダンス	出典を確認し、拘束力の有無を明確にする
「ベストプラクティスでは〜が推奨される」	意見	意見として明示し、出典を引用する
「これは〜を意味する」	解釈	根拠なく事実として述べられている場合は、フラグを立てる
「企業は〜しなければならない」	義務に関する主張	法令上の根拠を確認する

ステップ 6：免責事項の確認

AI が生成した法律文書には、必ず以下を含めてください。

必須項目	説明
法的助言ではない旨	内容が情報提供のみを目的としていることを明確に述べる
法域の制限	対象となる法域と対象外の法域を示す
作成日	内容を作成した日付を示す（法律は変更されるため）
専門家への相談	資格を有する法律専門家への相談を推奨する
AI 生成である旨の開示	内容が AI によって生成された、または AI の支援を受けて作成されたことを明記する
正確性の限界	検証を推奨する旨を明記する

---

重大度の分類

重大度	定義	例	対応
CRITICAL	法的損害につながり得る事実誤認	誤った条文番号によって義務があるように見せる、不正確な罰金額、存在しない法的要件	配布前に必ず修正する
HIGH	重大な誤解を招く、または検証できない	ガイダンスを拘束力のある法律として記載する、検証できない時系列、根拠のない断定的な主張	必ず修正するか、目立つ注記を加える
MODERATE	不正確、または混乱を招く可能性がある	曖昧な表現、軽微な日付の不一致、不完全な引用	修正すべき。注記があれば許容可能
LOW	文体または書式上の問題	引用形式の不統一、相互参照の欠落、軽微な重複	時間があれば修正する

---

品質スコア

スコア	評価	配布ステータス	基準
5/5	配布可能	安全に配布できます	CRITICAL/HIGH の問題がゼロ。すべての引用を検証済み。免責事項が完備
4/5	軽微な修正	小さな修正後に安全に配布できます	CRITICAL がゼロ。明確な修正方法がある HIGH の問題が 1～2 件。ほとんどの引用を検証済み
3/5	中程度の修正	配布前に修正が必要です	CRITICAL がゼロ。HIGH の問題が 3 件以上。未検証の引用が一部あり
2/5	大幅な修正	安全に配布できません	CRITICAL の問題が 1 件以上。複数の HIGH の問題。未検証の内容がかなりある
1/5	配布不可	全面的なやり直しが必要です	CRITICAL の問題が複数ある。広範囲にわたる不正確さがあり、全体として信頼性に欠ける

---

既知のハルシネーションのパターン

AI モデルは、法律関連のコンテンツを生成する際に、5 つの典型的なパターンを示します。

#	パターン	説明	検出方法
1	もっともらしいが誤った条文番号	AI が正しそうに聞こえるものの実在しない条文番号や項番号を生成します（例：「第 42 条第 5 項」と記載するが、第 42 条に存在するのは第 1～4 項のみ）	すべての条文番号を公式の法令本文と照合する
2	自信に満ちているが誤った日付	施行までのスケジュール、発効日、期限などを、誤った日付にもかかわらず確信を持って記載します（数週間または数か月のずれ）	すべての日付を、法令または実施機関の公式スケジュールと照合する
3	ガイダンスと法的要件の混同	拘束力のない推奨事項を、拘束力のある義務として扱います（例：ENISA の推奨事項を NIS2 の要件として記載する）	引用元が拘束力のある法律なのか、ガイダンスなのかを確認し、権限のレベルを検証する
4	古い法令参照	すでに効力を失ったことに触れずに、置き換えられた規定や廃止された規定を引用します	引用するすべての規定が現行のものか検証し、改正や廃止がないか確認する
5	期間計算における算術ミス	日付間の日数、月数、年数を誤って数えたり、期限の計算を誤ったりします	すべての期間を独自に計算し、AI の日付計算を信用しない

詳しい例と予防策については、references/hallucination_patterns.md を参照してください。

---

参照ガイド

ガイド	パス	説明
検証方法	references/verification_methodology.md	情報源の優先順位と引用形式を含む、6 段階の方法の全容
ハルシネーションのパターン	references/hallucination_patterns.md	例、検出方法、予防策を含む 5 つのパターン

---

ワークフロー

ワークフロー 1：完全な敵対的レビュー

1. 文書に対して scripts/legal_fact_checker.py を実行します。
2. フラグが付いた項目を確認し、それぞれを公式情報源と照合します。
3. カテゴリー別スコアを算出するため、scripts/legal_quality_scorer.py を実行します。
4. CRITICAL/HIGH の指摘事項ごとに、誤り、正しい情報、情報源を記録します。
5. 重大度別の指摘事項をまとめた検証レポートを作成します。
6. 品質スコアを付与し、配布可否を評価します。
7. 検証： 検証可能なすべての主張を確認し、スコアを付与し、推奨事項を提示します。

ワークフロー 2：引用の簡易チェック

1. 文書に対して scripts/legal_fact_checker.py を実行します。
2. 引用の抽出結果を重点的に確認します。
3. 抽出された引用をそれぞれ公式情報源と照合します。
4. 検証できない引用にはフラグを付けます。
5. 検証： すべての引用を検証するか、フラグを付けます。

ワークフロー 3：配布前の審査

1. 最終文書に対して scripts/legal_quality_scorer.py を実行します。
2. 総合スコアを確認します。
3. スコアが 4/5 未満の場合、文書を配布してはいけません。
4. スコアが 4/5 以上の場合、CRITICAL の件数がゼロであることを確認します。
5. すべての免責事項が記載され、適切であることを確認します。
6. 検証： 品質スコアが 4/5 以上で、CRITICAL の問題がゼロ、免責事項が完備していることを確認します。

---

トラブルシューティング

問題	考えられる原因	解決策
偽陽性が多すぎる	正規表現パターンが法律に関するものではないテキストにも一致している	入力を法律に関するコンテンツのみに絞り、文脈を考慮して確認します
引用を検証できない	出典に無料でアクセスできない	「公開情報からは検証不可」と記載し、正しいと決めつけないでください
AI 生成テキストに引用がない	コンテンツ全体に出典がない	文書全体を未検証としてフラグを立て、スコアを 2/5 以下にします
ハルシネーションのパターンを検出した	AI が法律上の詳細を捏造している	公式情報源で確認した情報に置き換えます
文書内で管轄区域が混在している	管轄区域の範囲が明確でない	HIGH としてフラグを立て、管轄区域ごとに分割することを推奨します
品質スコアが高すぎるように見える	自動スコアリングには限界がある	自動スコアリングに加えて、必ず手動レビューを実施します

---

成功基準

基準	目標
引用の検証	法律上の引用をすべて公式情報源と照合して確認する
ハルシネーションのパターンのスキャン	既知の 5 つのパターンをすべて確認する
算術の検証	すべての計算を個別に検証する
重大度の割り当て	すべての指摘を CRITICAL/HIGH/MODERATE/LOW に分類する
品質スコアの算出	カテゴリーごとの内訳を含む総合スコアを算出する
免責事項の確認	必須の免責事項の要素 6 項目がすべて含まれていることを確認する
配布判断	根拠を添えて、明確な配布可否の推奨を示す

---

対象範囲と制限事項

対象範囲： 法律文書の事実に関する主張の検証、引用の検証、ハルシネーションのパターンの検出、文書品質のスコアリング、配布準備状況の評価。

対象外： 法的結論や解釈の検証、訴訟戦略の評価、専門家による法務レビューの代替、有料の法律データベース（Westlaw、LexisNexis）へのアクセス。

免責事項： このスキルは、構造化された敵対的検証手法を提供します。よくある AI の誤りを検出できますが、完全な正確性を保証するものではありません。重要な文書については、専門家による法務レビューが引き続き不可欠です。

---

アンチパターン

アンチパターン	失敗する理由	より良い方法
AI 生成の引用を検証せずに信頼する	AI モデルは、もっともらしく見えても実在しない法律上の引用を日常的に生成します。配布文書内の未検証の引用は、信用や法的リスクに深刻な影響を及ぼします	すべての引用を公式情報源と照合して検証し、正しいと証明されるまでは誤りだと考えます
自動チェックのみに頼る	自動ツールはパターンを検出できますが、文脈上の誤り、不正確な描写、微妙なハルシネーションを見逃します	自動ツールを一次チェックに使った後、フラグが立てられた項目すべてと、フラグが立てられなかった項目のサンプルを手動でレビューします
「敵対的な視点」を持たずに進める	確証バイアスにより、レビュー担当者はもっともらしい内容を受け入れがちです。「正しそうに聞こえる」法律文書でも、誤っている可能性があります	すべての主張を積極的に反証しようとし、検証するまでは誤りだと考え、具体的な数値、日付、引用をすべて疑います
スコアが 3/5 以下のまま配布する	配布文書に MODERATE や HIGH の問題があると信用を損ない、法的損害を引き起こす可能性があります	配布の基準を 4/5 に設定し、有資格のレビュー担当者がリスクを受け入れることを文書化した場合を除き、例外を認めません

---

ツールリファレンス

ツール	入力	出力	用途
legal_fact_checker.py	法律文書のテキスト	フラグが立てられた主張、引用、日付、ハルシネーションの警告を含む検証レポート	法律に関するコンテンツの一次自動スキャン
legal_quality_scorer.py	法律文書のテキスト	カテゴリーごとの内訳と重大度別の指摘を含む品質スコア（1-5）	配布前の品質ゲート