Oboyu (覚ゆ)

Oboyu (覚ゆ)

将文档转化为知识，将知识转化为价值——专为日语优化的智能平台
将文档转化为知识，将知识转化为价值——专为日语优化的智能平台

什么是 Oboyu？

Oboyu（覚ゆ——古日语中意为“记住”）是一款全面的知识智能平台，可将文档转化为可付诸行动的洞见。Oboyu 不止于传统的 RAG（检索增强生成），还结合了先进的语义搜索、知识图谱生成和 AI 驱动的数据增强，充分释放信息资产的潜力。

超越传统 RAG

大多数解决方案止步于文档检索，而 Oboyu 则构建了一个持续演进的知识生态系统：

• 知识图谱生成：自动从文档中提取实体、关系和概念
• GraphRAG 搜索：利用知识图谱，提供更深入、上下文更丰富的搜索结果
• 数据增强：利用知识库中的洞见增强 CSV 文件和结构化数据
• 多维智能：结合向量搜索、图遍历和语义分析

为什么选择 Oboyu？

• 🧠 知识智能：自动生成知识图谱，并从文档中提取洞见
• 📊 数据增强：利用知识库中的 AI 驱动内容增强 CSV 文件和结构化数据
• 🚀 极速运行：数秒内为数千份文档建立索引，并借助 GraphRAG 加速在毫秒内完成搜索
• 🎯 超越准确：结合语义理解、知识图谱和上下文推理的多层搜索
• 🇯🇵 日语优势：专为日语商业环境打造，支持自动检测编码
• 🔒 企业级隐私：所有操作均在本地运行——敏感文档绝不会离开您的基础设施
• 🤖 AI 原生：内置 MCP 服务，可与 Claude、Cursor 和其他 AI 助手搭配使用，并支持 GraphRAG 功能

快速开始

前提条件

• Python 3.13 或更高版本（支持 3.11+）
• pip（建议使用最新版本）
• 操作系统：Linux、macOS 或安装了 WSL 的 Windows

系统依赖项（从源代码构建时）

Linux（Ubuntu/Debian）：

sudo apt-get install -y \
    git \
    curl \
    build-essential \
    cmake \
    pkg-config \
    libfreetype6-dev \
    libfontconfig1-dev \
    libjpeg-dev \
    libpng-dev \
    zlib1g-dev \
    libssl-dev

Linux（CentOS/RHEL）：

sudo yum install -y \
    git \
    curl \
    gcc-c++ \
    cmake \
    pkg-config \
    freetype-devel \
    fontconfig-devel \
    libjpeg-devel \
    libpng-devel \
    zlib-devel \
    openssl-devel

macOS：

# Install Xcode Command Line Tools
xcode-select --install

# Install additional dependencies via Homebrew
brew install cmake pkg-config

安装

不到 5 分钟即可开始使用：

# Install Oboyu
pip install oboyu

# Index your documents
oboyu index ~/Documents

# Search your documents
oboyu search "your search term"

就是这么简单！完整指南和示例请参阅文档。

主要功能

🧠 知识智能

• 自动生成知识图谱：从文档中提取实体、关系和概念
• GraphRAG 搜索：利用知识图谱提供更深入、上下文更丰富的搜索结果
• 多维关联：发现文档与概念之间隐藏的联系
• 语义实体识别：识别并关联知识库中的关键实体
• 关系映射：自动映射概念、人物和想法之间的关系

📊 数据增强与改进

• CSV 自动增强：利用知识库中的相关信息增强 CSV 文件
• 架构驱动处理：使用 JSON 架构定义数据增强规则和数据转换
• 语义数据补全：使用 AI 驱动的内容匹配填补缺失信息
• 创造业务价值：将原始数据转化为可付诸行动的业务洞见
• 批量处理：通过可配置的批次大小高效处理大型数据集

🔍 高级搜索功能

• 混合搜索：结合语义理解、关键词匹配和图遍历
• 多种搜索模式：向量搜索、关键词搜索、GraphRAG 和混合模式
• AI 驱动的重排序：内置重排序器可提高结果的准确性和相关性
• 上下文理解：利用知识图谱提供更相关的结果
• 灵活的输出：支持 JSON、纯文本和结构化格式的命令行搜索

📚 全面的文档支持

• 丰富的格式支持：PDF、纯文本（.txt）、Markdown（.md）、HTML（.html）和源代码文件
• PDF 智能处理：高级文本提取，同时保留元数据并理解文档结构
• 增量索引：仅处理新增或变更的文件，实现闪电般快速的更新
• 智能分块：针对知识提取优化的智能文档拆分
• 自动编码识别：无缝处理 UTF-8、Shift-JIS、EUC-JP 和其他编码

🇯🇵 卓越的日语业务能力

• 原生日语支持：专为日本商业环境和内容打造
• 自动编码检测：自动处理旧版日语编码（Shift-JIS、EUC-JP）
• 专用语言模型：针对日语文本优化的嵌入和处理模型
• 多语言智能处理：无缝处理日英双语文档
• 业务上下文理解：使用日本商业术语和概念进行训练

🚀 企业级性能与集成

• ONNX 加速：通过自动模型优化，实现 2-4 倍的处理速度提升
• MCP 服务集成：原生支持 Claude Desktop 和 AI 编码助手
• GraphRAG API：用于知识图谱查询和数据增强的 RESTful API
• 丰富的 CLI 界面：美观的终端界面，支持实时进度跟踪
• 资源占用高效：内存占用低，适用于边缘计算和本地部署

安装

使用 UV（推荐）

uv tool install oboyu

使用 pip

pip install oboyu

从源代码安装

git clone https://github.com/sonesuke/oboyu.git
cd oboyu
pip install -e .

系统要求

• Python：3.13 或更高版本（支持 3.11+）
• 操作系统：macOS、Linux（Windows 可通过 WSL 使用）
• 内存：至少 2GB RAM（推荐 4GB）
• 存储空间：模型和索引需要 1GB
• 构建工具：如果从源代码构建，请参阅上文的系统依赖项

注意：模型会在首次使用时自动下载（约 90MB）。 从 PyPI 安装时，大多数系统依赖项并非必需，因为我们提供了预构建的 wheel。

使用示例

基本用法

# Index a directory
oboyu index ~/Documents/notes

# Search your documents
oboyu search "machine learning optimization techniques"

# Get results in JSON format for processing
oboyu search "machine learning" --format json

知识智能与 GraphRAG

# Build knowledge graph from your documents
oboyu build-kg

# Search using GraphRAG for deeper insights
oboyu search "project management methodologies" --mode graphrag

# Find related concepts and entities
oboyu search "agile development" --rerank --max-results 10

数据增强工作流

架构配置（enrichment_schema.json）：

{
  "input_schema": {
    "columns": {
      "company_name": {"type": "string", "description": "Company name"}
    }
  },
  "enrichment_schema": {
    "columns": {
      "description": {
        "type": "string",
        "source_strategy": "search_content",
        "query_template": "{company_name} company overview business model"
      },
      "industry": {
        "type": "string",
        "source_strategy": "search_content",
        "query_template": "{company_name} industry sector business domain"
      }
    }
  }
}

增强命令：

# Enrich CSV with knowledge from your documents
oboyu enrich companies.csv enrichment_schema.json

# Custom output location and batch processing
oboyu enrich data.csv schema.json -o enriched_data.csv --batch-size 5

# Disable GraphRAG for faster processing
oboyu enrich simple_data.csv schema.json --no-graph

高级搜索示例

# Index only specific file types
oboyu index ~/projects --include-patterns "*.md,*.txt,*.pdf"

# GraphRAG search with relationship traversal
oboyu search "API design patterns" --mode graphrag --confidence 0.7

# Hybrid search combining multiple approaches
oboyu search "microservices architecture" --mode hybrid --rerank

# Search with custom result limits and confidence
oboyu search "database optimization" --max-results 15 --confidence 0.6

面向 AI 助手的 MCP 服务

# Start MCP server with GraphRAG capabilities
oboyu mcp

# Or configure in Claude Desktop's settings

详细的设置说明请参阅我们的 MCP 集成指南。

文档

🚀 入门

• 安装 - 安装并验证设置
• 创建第一个索引 - 创建第一个可搜索索引
• 进行第一次搜索 - 学习如何有效搜索

💼 实际应用

• 日常工作流 - 日常必备模式
• 技术文档 - 代码和 API 文档
• 会议记录 - 跟踪决策和行动
• 研究论文 - 学术内容搜索

⚙️ 配置与优化

• 配置指南 - 根据需求自定义
• 性能调优 - 优化速度和质量
• 日语支持 - 日语功能

🔗 集成与参考

• Claude MCP 集成 - AI 驱动的搜索
• CLI 参考 - 所有命令和选项
• 故障排除 - 常见问题的解决方案

📖 查看完整文档 →

🛠️ 技术栈

了解为 Oboyu 智能功能提供支持的前沿技术：

• 📚 技术栈概览 - 完整的技术栈架构与理念
• 🗄️ DuckDB：分析引擎 - DuckDB 为我们的知识智能提供支持的原因
• 🤖 HuggingFace：卓越的日语 AI - 专门的日语语言模型和嵌入
• 🔗 GraphRAG：超越简单 RAG - 图增强检索与知识理解
• ⚡ ONNX：兼顾优化与质量 - 推理速度提升 3 倍，同时保持质量
• ⚖️ 我们的决策框架 - 我们如何评估和选择技术

我们相信透明和分享技术历程的价值。这些深入介绍涵盖性能基准、实现见解，以及对替代方案的坦诚评估。

常见用例

🏢 企业知识管理

将组织文档转化为可搜索的知识图谱：

# Index company documents and build knowledge graph
oboyu index ~/company_docs --include "*.pdf,*.md,*.docx"
oboyu build-kg

# Search for strategic insights
oboyu search "competitive analysis market positioning" --mode graphrag

📊 业务数据增强

利用知识库中的见解丰富客户或产品数据：

# Enhance customer list with company information
oboyu enrich customers.csv customer_enrichment_schema.json

# Add product descriptions from documentation
oboyu enrich products.csv product_schema.json --batch-size 10

📚 研究与学术智能

创建全面的研究知识库：

# Index research papers and notes
oboyu index ~/research --include "*.pdf,*.md,*.txt"
oboyu build-kg

# Find related concepts and methodologies
oboyu search "neural network optimization techniques" --mode graphrag

💻 技术文档智能

让代码库和文档更易于查找：

# Index code and documentation
oboyu index ~/projects/myapp --include "*.md,*.py,*.js,*.java"

# Find implementation patterns and examples
oboyu search "authentication middleware patterns" --rerank

📋 会议与决策智能

将会议记录转化为可执行的见解：

# Index meeting notes and decisions
oboyu index ~/meetings --include "*.md,*.txt"

# Search for decisions and action items
oboyu search "budget approval Q4 initiatives" --mode hybrid

🌏 多语言业务运营

非常适合日语和英语商务环境：

# Index multilingual business documents
oboyu index ~/business_docs --include "*.pdf,*.md"

# Search across languages seamlessly
oboyu search "プロジェクト管理 project management methodology" --mode graphrag

测试

单元测试与集成测试

# Run fast tests (recommended for development)
uv run pytest -m "not slow"

# Run all tests with coverage
uv run pytest --cov=src

端到端显示测试

Oboyu 使用 Claude Code SDK 进行全面的端到端显示测试：

# Run all E2E display tests
python e2e/run_tests.py

# Run specific test category
python e2e/run_tests.py --test search

更多详情请参阅完整文档。

贡献

欢迎贡献！详情请参阅贡献指南。

# Quick start for contributors
git clone https://github.com/YOUR_USERNAME/oboyu.git
cd oboyu
uv sync
uv run pytest -m "not slow"

支持

• 📋 GitHub Issues - 报告错误或请求功能
• 📖 文档 - 全面的指南和参考资料
• 💬 讨论 - 提问并分享想法

许可证

本项目采用 MIT 许可证，详情请参阅 LICENSE.md 文件。

致谢

• “Oboyu”（覚ゆ）这个名字源自古日语，意为“记忆”
• 为日本商业与 NLP 社区倾心打造 ❤️
• 灵感源于让不同语言间的知识易于获取并付诸实践这一目标
• 特别感谢 TinySwallow 模型在日语理解和知识提取方面的贡献
• GraphRAG 的实现受到 Microsoft 的 GraphRAG 研究与方法论启发

---

由 sonesuke 用 🇯🇵 倾心打造