Qdrant DevContainer for File Embeddings

用于文件嵌入的 Qdrant DevContainer

本项目提供了一个开发容器设置，用于运行支持文件嵌入的 Qdrant。它包含使用向量相似度搜索为文本文档建立索引和搜索所需的一切。

前提条件

1. 启动开发容器前，Docker Desktop 必须处于运行状态
2. 安装了 Remote - Containers 扩展的 VS Code
3. 互联网连接（用于下载依赖项）

开始使用

1. 确保系统上的 Docker Desktop 正在运行
2. 在 VS Code 中打开此文件夹
3. 点击右下角绿色的 "Reopen in Container" 按钮
   • 或按 F1 并输入 "Dev Containers: Reopen in Container"

项目结构

qdrant_server_devcontainer/ ├── .devcontainer/ │ ├── devcontainer.json │ └── Dockerfile ├── requirements.txt ├── ingest.py └── data/ # 将文本文件放在此处

用法

1. 将文本文件放入 data/ 目录
2. 容器会自动启动 Qdrant
3. 容器构建完成后，你应该可以通过 http://localhost:6333 访问 Qdrant
4. 在容器内手动运行摄取脚本：

   python ingest.py
   

功能

• 在后台运行的 Qdrant 向量数据库
• 使用 sentence-transformers 自动为文件建立索引
• 配备所有必要依赖项的 Python 环境
• 预装 VS Code Python 扩展

技术细节

• Qdrant 在动态分配的端口上运行（容器构建后请查看输出面板）
• 使用 all-MiniLM-L6-v2 生成文本嵌入
• 创建名为 "local-docs" 的集合，并使用余弦相似度
• 支持 data 目录中的文本文件（.txt）、Markdown 文件（.md）和 PDF 文件（.pdf）

故障排除

1. 如果容器无法启动：

   • 确保 Docker Desktop 正在运行
   • 检查是否有其他进程正在使用动态分配的端口
   • 确认所有依赖项均已正确安装

2. 如果文件未建立索引：

   • 检查文件是否位于 data/ 目录中
   • 确认文件扩展名受支持（目前支持 .txt、.md、.pdf）
   • 确保容器可以读取这些文件

许可证

MIT 许可证

待办事项

• 高效处理大型 PDF 文件，
• 使用并行处理按页提取文本，
• 每个文本块准备就绪后立即进行嵌入并推送，
• 如果 torch.cuda.is_available()，支持 GPU 嵌入？
• 添加对 epub 文件的支持