Portuguese Legal Document PDF Metadata Extractor

ポルトガル語法律文書 PDF メタデータ抽出ツール

欧州判例識別子（ECLI）形式の文書向けに特化して設計された、ポルトガル語の法律文書 PDF から構造化メタデータを抽出する堅牢な Python ツールです。

🚀 特長

• 高精度：信頼度スコア 100%、完全一致率 96.84%
• 本番環境対応：用途に応じて最適化された 2 種類の抽出ツール
• 堅牢なエラー処理：包括的な検証とエラー復旧
• 柔軟な信頼度スコアリング：正解データの有無を問わず動作
• ユーザーフレンドリーなインターフェース：明確な進捗報告と詳細なフィードバック
• フィールド分類：欠落しているフィールドと、正当に空のフィールドを区別

📁 プロジェクト構成

├── production_extractor.py    # Production-ready extractor with user-friendly interface
├── robust_extractor.py        # Core robust extraction engine
├── run_test1.py              # Test runner for batch processing
├── ground_truth/             # Ground truth data for validation
│   └── ground_truth.json
├── pdfs/                     # Input PDF documents
│   ├── test1/               # Test subset
│   └── *.pdf                # Legal documents
├── IMPROVEMENTS_SUMMARY.md   # Performance improvements documentation
└── README.md                # This file

🔧 インストール

前提条件

• Python 3.8+
• 必要なパッケージ：

pip install pdfplumber

セットアップ

1. プロジェクトファイルをクローンまたはダウンロードします
2. 依存関係をインストールします：

   pip install pdfplumber
   

3. PDF ファイルが pdfs/ ディレクトリにあることを確認します

📖 使い方

本番用抽出ツールの基本的な使い方

PortugueseLegalPDFExtractor クラスは、ユーザーフレンドリーで本番環境に対応したインターフェースを提供します：

from production_extractor import PortugueseLegalPDFExtractor

# Initialize extractor with optional ground truth validation
extractor = PortugueseLegalPDFExtractor(
    ground_truth_path="ground_truth/ground_truth.json",  # Optional
    verbose=True  # Enable progress reporting
)

# Extract metadata from a single PDF
result = extractor.extract_metadata("pdfs/document.pdf")

# Process multiple PDFs in a directory
summary = extractor.extract_batch(
    pdf_directory="pdfs/",
    output_directory="results/"  # Optional - saves individual results
)

コマンドラインインターフェース

本番用抽出ツールには、フル機能の CLI が含まれています：

# Process single file
python production_extractor.py "pdfs/document.pdf" -o "results/"

# Process entire directory with ground truth validation
python production_extractor.py "pdfs/" -g "ground_truth/ground_truth.json" -o "results/"

# Quiet mode (suppress progress messages)
python production_extractor.py "pdfs/" -q

# Force single file processing
python production_extractor.py "pdfs/document.pdf" --single

📊 パフォーマンス指標

現在のパフォーマンス（改善後）

• 全体の信頼度：100.0%
• 完全一致率：96.84%（入力済みフィールド 158 件中 153 件）
• 許容可能な一致率：100.0%
• 処理速度：文書 1 件あたり約 2～3 秒

フィールド分類

• データフィールド：実際の内容を含むフィールド 14 件
• 空のフィールド：空であることが正しく識別されたフィールド 8 件
• 一致タイプ：完全一致、大文字・小文字の違い、句読点の違い、部分一致

🎯 仕組み

パターン認識

この抽出ツールは、ポルトガル語の法律文書で発見された次のパターンを活用します：

1. 固定された相対位置：フィールドは予測可能な位置に表示されます
2. 同期するペア：左右の列のフィールドが同期します
3. 予測可能な順序：文書全体で一貫したフィールド順序です
4. 表構造：メタデータは構造化された表に整理されています

信頼度の計算

信頼度の計算モードは 2 種類あります：

1. 正解データがある場合：既知の正しい値に対する精度ベースのスコアリング
2. 正解データがない場合：抽出品質の指標を使用したヒューリスティックベースのスコアリング

🛠️ 開発

主なコンポーネント

PortugueseLegalPDFExtractor（production_extractor.py）

主な機能：

• 2 種類の信頼度モード：精度ベース（正解データあり）と入力済みフィールドベース（正解データなし）
• 複数の抽出方法：表ベース（主方式）と座標ベース（フォールバック）
• 包括的な検証：フィールドの検証、ECLI の抽出、日付の書式設定
• バッチ処理：詳細な概要とともにディレクトリ全体を処理
• コマンドラインインターフェース：柔軟なオプションを備えたフル機能の CLI
• 進捗報告：ユーザーフレンドリーなステータスメッセージとエラー処理

📈 最近の改善点

バージョン 2.0 の強化点

1. 信頼度計算の修正：空のフィールドを適切に処理し、44.4% から 100.0% に改善
2. フィールド分類の強化：欠落しているフィールドと、正当に空のフィールドを明確に区別
3. フィールドごとの信頼度：抽出した各フィールドに個別の信頼度スコアを付与

詳しくは IMPROVEMENTS_SUMMARY.md をご覧ください。

📄 ライセンス

このプロジェクトは、教育および研究目的で現状のまま提供されています。

🔗 関連リソース

• ECLI ガイドライン
• ポルトガルの法制度
• PDFPlumber ドキュメント

---

最終更新：2025年1月