Qdrant DevContainer for File Embeddings

ファイル埋め込み用Qdrant DevContainer

このプロジェクトは、ファイル埋め込み機能を備えたQdrantを実行するための開発コンテナー設定を提供します。ベクトル類似検索を使用してテキストドキュメントをインデックス化し、検索するために必要なものがすべて含まれています。

前提条件

1. DevContainerを起動する前に、Docker Desktopが実行されている必要があります
2. Remote - Containers拡張機能を備えたVS Code
3. インターネット接続（依存関係のダウンロード用）

はじめに

1. システムでDocker Desktopが実行されていることを確認します
2. VS Codeでこのフォルダーを開きます
3. 右下隅にある緑色の「コンテナーで再度開く」ボタンをクリックします
   • または、F1を押して「Dev Containers: Reopen in Container」と入力します

プロジェクト構成

qdrant_server_devcontainer/ ├── .devcontainer/ │ ├── devcontainer.json │ └── Dockerfile ├── requirements.txt ├── ingest.py └── data/ # テキストファイルをここに配置

使用方法

1. テキストファイルをdata/ディレクトリに配置します
2. コンテナーがQdrantを自動的に起動します
3. コンテナーのビルド後、http://localhost:6333でQdrantにアクセスできます
4. コンテナー内から取り込みスクリプトを手動で実行します：

   python ingest.py
   

機能

• バックグラウンドで実行されるQdrantベクトルデータベース
• sentence-transformersを使用したファイルの自動インデックス作成
• 必要な依存関係がすべてそろったPython環境
• VS Code Python拡張機能がプリインストール済み

技術詳細

• Qdrantは動的に割り当てられたポートで実行されます（コンテナーのビルド後に出力パネルを確認してください）
• テキスト埋め込みにはall-MiniLM-L6-v2を使用します
• コサイン類似度を使用する「local-docs」という名前のコレクションを作成します
• dataディレクトリ内のテキストファイル（.txt）、Markdownファイル（.md）、PDFファイル（.pdf）に対応しています

トラブルシューティング

1. コンテナーが起動しない場合：

   • Docker Desktopが実行されていることを確認します
   • 動的に割り当てられたポートを別のプロセスが使用していないか確認します
   • すべての依存関係が正しくインストールされていることを確認します

2. ファイルがインデックス化されない場合：

   • ファイルがdata/ディレクトリにあることを確認します
   • ファイル拡張子が対応していることを確認します（現在は.txt、.md、.pdf）
   • コンテナーからファイルを読み取れることを確認します

ライセンス

MITライセンス

TODO

• 巨大なPDFを効率的に処理する
• 並列処理を使用してページごとにテキストを抽出する
• 各チャンクの準備ができ次第、埋め込みを作成してプッシュする
• torch.cuda.is_available()の場合にGPU埋め込みに対応する？
• epubファイルへの対応を追加する