QDrant Loader

QDrant Loader

📝 変更履歴 v1.0.4 - 最新の改善とバグ修正

🎯 QDrant Loader とは？

QDrant Loader は、複数のソースからコンテンツを収集して処理・ベクトル化し、Model Context Protocol（MCP）サーバーを通じて AI 開発ツールにインテリジェントな検索機能を提供する、データ取り込み・検索システムです。

次の用途に最適です：

• 🤖 Cursor、Windsurf、その他の MCP 対応ツールを使ったAI を活用した開発
• 📚 技術ドキュメントからのナレッジベースの作成
• 🔍 コンテキスト情報を活用したインテリジェントなコード支援
• 🏢 複数のデータソースからのエンタープライズコンテンツの統合

📦 パッケージ

このモノレポには、相互に補完する 3 つのパッケージが含まれています：

🔄 QDrant Loader

データ取り込み・処理エンジン

複数のソースからコンテンツを収集してベクトル化し、QDrant ベクトルデータベースに格納します。

主な機能：

• マルチソースコネクター：Git、Confluence（Cloud と Data Center）、JIRA（Cloud と Data Center）、公開ドキュメント、ローカルファイル
• ファイル変換：MarkItDown を使用して、PDF、Office ドキュメント（Word、Excel、PowerPoint）、画像、音声、EPUB、ZIP などを変換
• スマートなチャンク分割：インテリジェントなドキュメント処理と階層的コンテキストを備えたモジュール式のチャンク分割戦略
• 増分更新：変更検出と効率的な同期
• マルチプロジェクト対応：ソースをプロジェクトに整理し、コレクションを共有
• LLM プロバイダー非依存：統一された設定で OpenAI、Azure OpenAI、Ollama、カスタムエンドポイントに対応

⚙️ QDrant Loader Core

コアライブラリと LLM 抽象化レイヤー

他のパッケージで使用される基盤コンポーネントと、プロバイダーに依存しない LLM インターフェースを提供します。

主な機能：

• LLM プロバイダー抽象化：OpenAI、Azure OpenAI、Ollama、カスタムエンドポイント向けの統一インターフェース
• 設定管理：LLM プロバイダー向けの設定と検証を一元管理
• レート制限：レート制限とリクエスト管理を内蔵
• エラー処理：堅牢なエラー処理と再試行メカニズム
• ロギング：レベルを設定可能な構造化ロギング

🔌 QDrant Loader MCP Server

AI 開発統合レイヤー

AI 開発ツールに検索機能を提供する Model Context Protocol サーバーです。

主な機能：

• MCP Protocol 2025-06-18：stdio と HTTP のデュアルトランスポートに対応した最新プロトコル準拠
• 高度な検索ツール：セマンティック検索、階層を考慮した検索、添付ファイルの検出、競合の検出
• ドキュメント横断インテリジェンス：ドキュメントの類似性、クラスタリング、関係性の分析、ナレッジグラフ
• ストリーミング機能：検索結果をリアルタイムに配信する Server-Sent Events（SSE）
• 本番環境対応：セキュリティ、セッション管理、ヘルスチェックを備えた HTTP トランスポート

🚀 クイックスタート

インストール

# Install both packages
pip install qdrant-loader qdrant-loader-mcp-server

# Or install individually
pip install qdrant-loader          # Data ingestion only
pip install qdrant-loader-mcp-server  # MCP server only

5分でセットアップ

1. ワークスペースを作成する

   mkdir my-workspace && cd my-workspace
   

2. テンプレートを使ってワークスペースを初期化する

   qdrant-loader init --workspace .
   

3. 環境を設定する（.env を編集）

   # Qdrant connection
   QDRANT_URL=http://localhost:6333
   QDRANT_COLLECTION_NAME=my_docs
   
   # LLM provider (new unified configuration)
   OPENAI_API_KEY=your_openai_key
   LLM_PROVIDER=openai
   LLM_BASE_URL=https://api.openai.com/v1
   LLM_EMBEDDING_MODEL=text-embedding-3-small
   LLM_CHAT_MODEL=gpt-4o-mini
   

4. データソースを設定する（config.yaml を編集）

   global:
     qdrant:
       url: "http://localhost:6333"
       collection_name: "my_docs"
     llm:
       provider: "openai"
       base_url: "https://api.openai.com/v1"
       api_key: "${OPENAI_API_KEY}"
       models:
         embeddings: "text-embedding-3-small"
         chat: "gpt-4o-mini"
       embeddings:
         vector_size: 1536
   
   projects:
     my-project:
       project_id: "my-project"
       sources:
         git:
           docs-repo:
             base_url: "https://github.com/your-org/your-repo.git"
             branch: "main"
             file_types: ["*.md", "*.rst"]
   

5. データを読み込む

   qdrant-loader ingest --workspace .
   

6. MCP サーバーを起動する

   mcp-qdrant-loader --env /path/tp/your/.env
   

🔧 MCP 対応 IDE のセットアップ

QDrant Loader は、Cursor、Windsurf、Claude Desktop をはじめ、MCP に対応するあらゆる IDE／ツールで動作します。

MCP サーバーの最小限のエントリー（パスや形式は使用するツールに合わせて調整してください）：

{
  "mcpServers": {
    "qdrant-loader": {
      "command": "/path/to/venv/bin/mcp-qdrant-loader",
      "env": {
        "QDRANT_URL": "http://localhost:6333",
        "QDRANT_COLLECTION_NAME": "my_docs",
        "OPENAI_API_KEY": "your_key"
      }
    }
  }
}

別の方法：設定ファイルを使用する（複雑なセットアップにおすすめ）：

{
  "mcpServers": {
    "qdrant-loader": {
      "command": "/path/to/venv/bin/mcp-qdrant-loader",
      "args": [
        "--config",
        "/path/to/your/config.yaml",
        "--env",
        "/path/to/your/.env"
      ]
    }
  }
}

ツール別のセットアップ手順と正確な設定形式については、以下を参照してください。

• MCP のセットアップと統合 - 完全なガイド
• Cursor のセットアップ
• Windsurf のセットアップ
• Claude Desktop のセットアップ

AI ツールでの質問例：

• 「API の認証に関するドキュメントを探してください」
• 「エラー処理パターンの例を見せてください」
• 「このサービスのデプロイ要件は何ですか？」
• 「データベーススキーマに関連する添付ファイルをすべて探してください」

📚 ドキュメント

はじめに

• はじめに - クイックスタートと基本概念
• インストールガイド - セットアップ手順の全容
• クイックスタート - ステップごとのチュートリアル
• 基本概念 - ワークスペースモデル、プロジェクトとソース、取り込みパイプライン、MCP 検索フローなど、基本的なアーキテクチャを理解できます

ユーザーガイド

• ユーザーガイド - 詳細な使用手順
• 設定 - 設定項目の完全なリファレンス
• データソース - Git、Confluence、JIRA のセットアップ
• ファイル変換 - ファイル処理機能
• MCP サーバー - AI ツールとの統合

🛠️ 開発者向けリソース

• 開発者ハブ - アーキテクチャ、テスト、デプロイ、貢献ワークフローに関する開発者向けガイド。
• アーキテクチャ - システム設計の概要
• テスト - テストガイドとベストプラクティス

🆘 サポート

• 課題 - バグ報告と機能リクエスト
• ディスカッション - コミュニティでの Q&A

🤝 貢献

皆さまからの貢献を歓迎します！以下については、貢献ガイドをご覧ください。

• 開発環境のセットアップ
• コードスタイルと規約
• プルリクエストの手順

開発環境のクイックセットアップ

# Clone and setup
git clone https://github.com/martin-papy/qdrant-loader.git
cd qdrant-loader

# Sync workspace environment (recommended)
uv sync --all-packages --all-extras

# Add a new dependency during development
uv add fastapi
uv sync

📄 ライセンス

このプロジェクトは Apache License 2.0 の下でライセンスされています。詳しくは LICENSE ファイルをご覧ください。

さっそく始めましょう！ クイックスタートガイドを確認するか、ドキュメント全体をご覧ください。