mcpField
G
gpu-document-processing

gpu-document-processing

github.com/langchain-aiドキュメント30.7k223 回インストール今日更新
リポジトリ

gpu-document-processing について

大規模 PDF や文書集合の解析、抽出、分割、埋め込み生成を GPU サンドボックスに委ねるスキルです。大量の文書を扱い、エージェントの推論と GPU 処理を分離する用途に向いています。

主な機能

  1. 01GPU サンドボックスでの文書処理
  2. 02レイアウトを維持した PDF 抽出
  3. 03構造化された表の抽出
  4. 04セマンティック分割と固定長分割
  5. 05バッチ埋め込み生成

活用シーン

  1. 01長い PDF からテキストや表を抽出
  2. 02複数文書の集合を分析
  3. 03埋め込み用の文書チャンクを準備
  4. 04複数文書の知見を照合

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/langchain-ai/deepagents --skill gpu-document-processing

インストール後、Claude Code で/gpu-document-processingを入力して読み込まれたか確認します。

詳細

GPU ドキュメント処理スキル

GPU アクセラレーション対応ツールを使用して、大規模なドキュメントやドキュメントコレクションを処理します。このスキルでは、サンドボックスをツールとして使うパターンを採用しています。エージェントは推論を CPU で実行し、ドキュメント処理の作業を GPU を備えた環境に送ります。

このスキルを使用する場面

次のような場合にこのスキルを使用します。

  • 大規模な PDF ファイル（50 ページ以上）を処理する場合
  • ドキュメントのコレクション（10 ファイル以上）を分析する場合
  • 非構造化ドキュメントから構造化データを抽出する場合
  • テキストを一括で抽出し、チャンクに分割する場合
  • 大規模なドキュメントセットの埋め込みを生成する場合
  • ユーザーが分析用に大規模なドキュメントをアップロードまたは参照した場合

アーキテクチャ：ツールとしてのサンドボックス

このスキルは、GPU 実行にツールとしてのサンドボックスパターンを採用しています。

  1. エージェントは CPU で推論します - 計画、統合、レポート作成
  2. 処理を GPU サンドボックスに送信します - ドキュメントの解析、埋め込み、抽出
  3. 結果をエージェントに返します - 以降の分析に使用する構造化出力

この分離により、次のことが実現します。

  • API キーがサンドボックスの外部に保持されます（セキュリティ）
  • エージェントの状態が処理ジョブから独立して維持されます
  • 複数のドキュメントにまたがって処理を並列化できます
  • コスト効率が向上します。GPU は推論中ではなく、処理中のみ使用されます

機能

PDF テキスト抽出

レイアウトを保持しながら、PDF ドキュメントからテキストコンテンツを抽出します。

  • ヘッダー、段落、リスト、表を個別に検出します
  • ページ番号とセクションの境界を保持します
  • 複数列のレイアウトに対応します
表形式データの抽出

ドキュメントから表を抽出し、構造化形式に変換します。

  • GPU アクセラレーション対応の解析を使用して、PDF の表を CSV/DataFrames に変換します
  • 列の型を自動検出します
  • 結合セルと複数行のヘッダーに対応します
ドキュメントのチャンク分割

分析しやすいように、大規模なドキュメントを意味のあるチャンクに分割します。

  • 意味に基づくチャンク分割（トピックやセクションの境界単位）
  • 埋め込み用にオーバーラップを設けた固定サイズのチャンク分割
  • チャンクサイズを設定可能です（デフォルト：512 トークン）
埋め込みの生成

ドキュメントのチャンクからベクトル埋め込みを生成します。

  • GPU アクセラレーション対応の埋め込み生成に NVIDIA NeMo Retriever NIM を使用します
  • 大規模なドキュメントセットのバッチ処理に対応します
  • 標準的なベクトルストア（Milvus、ChromaDB）と互換性があります

ワークフロー

  1. オーケストレーターからドキュメントの参照情報を受け取ります
  2. 処理の種類（抽出、分析、埋め込み）を判断します
  3. 処理のために GPU サンドボックスに送信します
  4. 構造化された結果（テキスト、表、埋め込み）を収集します
  5. オーケストレーターが統合できるように、調査結果を /shared/ に書き込みます

大規模なドキュメントコレクションの処理

複数のドキュメントを処理する場合：

  1. ドキュメントを並列バッチ（同時に3～5件）で処理します
  2. まず重要なメタデータ（タイトル、日付、著者、ページ数）を抽出します
  3. ドキュメントごとの要約を生成します
  4. ドキュメント間で調査結果を相互参照します
  5. ドキュメントごとの引用を含めて、調査結果を統合して記述します

出力形式

ドキュメント処理の結果を報告する際は、次の点に従います。

  • ドキュメントのメタデータ（ファイル名、ページ数、サイズ）を含めます
  • 抽出したコンテンツをセクションや章ごとに構成します
  • 表は Markdown の表形式で記述します
  • 抽出したすべてのコンテンツにページ参照を含めます
  • 抽出品質に問題があれば（スキャン画像、破損ページなど）明記します

NVIDIA NIM との統合

本番環境へのデプロイでは、GPU ドキュメント処理に次の機能を活用できます。

  • NVIDIA NeMo Retriever：GPU アクセラレーション対応の埋め込み生成と検索
  • NVIDIA RAPIDS cuDF：抽出した表の表形式データ処理
  • NVIDIA Triton：ドキュメント分類モデルのスケーラブルな推論

セルフホスト型のデプロイ方法については、NVIDIA の NIM ドキュメントを参照してください。

コメント

Markdown 対応