LLM RAG について
LLM RAGは、コード、URL、PDFから検索可能なナレッジストアを作る、ローカルで組み込み型のRAGプロジェクトです。LlamaIndexで文書を処理し、Geminiで埋め込みを生成、LanceDBにベクトルを保存します。
主な機能
- 01コード、URL、PDFの取り込み
- 02LlamaIndexによる文書処理
- 03Geminiによる埋め込み生成
- 04LanceDBへのベクトル保存
- 05検索サーバーの実行
活用シーン
- 01コードからローカル検索ストアを作成
- 02検索用にURLをインデックス化
- 03PDF文書を検索
MCP 対応
ナレッジストアはMCP対応と説明されていますが、提示されたREADMEにはMCPインターフェースやサーバーの動作に関する詳細がありません。
詳細
LLM RAG
LlamaIndex を使用したドキュメント処理、Gemini を使用した埋め込み、LanceDB を使用したベクトルストレージを備えた RAG (Retrieval Augmented Generation) 実装です。
Setup
このプロジェクトは依存関係管理に uv を、環境管理に direnv を使用しています。始めるには:
- 依存関係をインストール:
# Create and activate a new virtual environment
uv venv
source .venv/bin/activate
# Install dependencies
uv pip install -e .
- 環境をセットアップ:
# Create .env file with your Google API key
echo "GOOGLE_API_KEY=your_key_here" > .env
# Allow direnv to load the environment
direnv allow
Usage
Data Ingestion
python -m llm_rag.ingest --source /path/to/source --type [code|url|pdf]
Search Server
python -m llm_rag.search --db /path/to/lancedb
コメント
Markdown 対応
AI アプリケーションが外部のツールやデータソースに統一的な方法で接続するためのオープンなプロトコルです。クライアントはモデルとの対話を担い、MCP サーバーはツール・リソース・プロンプトテンプレートを提供します。標準メッセージでやり取りするため、1 つのサーバーを複数のクライアントで再利用できます。