Oboyu (覚ゆ)

Oboyu (覚ゆ)

ドキュメントを知識に、知識を価値に変える日本語特化型インテリジェンス・プラットフォーム
Transform documents into knowledge, knowledge into value - Japanese-optimized Intelligence Platform

What is Oboyu?

Oboyu (覚ゆ - "to remember" in ancient Japanese) is a comprehensive Knowledge Intelligence Platform that transforms your documents into actionable insights. Going beyond traditional RAG (Retrieval-Augmented Generation), Oboyu combines advanced semantic search, knowledge graph generation, and AI-powered data enrichment to unlock the full potential of your information assets.

Beyond Traditional RAG

While most solutions stop at document retrieval, Oboyu creates a living knowledge ecosystem:

• Knowledge Graph Generation: Automatically extracts entities, relationships, and concepts from your documents
• GraphRAG Search: Leverages knowledge graphs for deeper, more contextual search results
• Data Enrichment: Enhances CSV files and structured data with insights from your knowledge base
• Multi-dimensional Intelligence: Combines vector search, graph traversal, and semantic analysis

Why Oboyu?

• 🧠 Knowledge Intelligence: Automatically generates knowledge graphs and extracts insights from your documents
• 📊 Data Enrichment: Enhances CSV files and structured data with AI-powered content from your knowledge base
• 🚀 Lightning Fast: Indexes thousands of documents in seconds, searches in milliseconds with GraphRAG acceleration
• 🎯 Beyond Accurate: Multi-layered search combining semantic understanding, knowledge graphs, and contextual reasoning
• 🇯🇵 Japanese Excellence: Built specifically for Japanese business environments with automatic encoding detection
• 🔒 Enterprise Private: Everything runs locally - your sensitive documents never leave your infrastructure
• 🤖 AI-Native: Built-in MCP server for Claude, Cursor, and other AI assistants with GraphRAG capabilities

Quick Start

Prerequisites

• Python 3.13 or higher (3.11+ supported)
• pip (latest version recommended)
• Operating System: Linux, macOS, or Windows with WSL

System Dependencies (for building from source)

Linux (Ubuntu/Debian):

sudo apt-get install -y \
    git \
    curl \
    build-essential \
    cmake \
    pkg-config \
    libfreetype6-dev \
    libfontconfig1-dev \
    libjpeg-dev \
    libpng-dev \
    zlib1g-dev \
    libssl-dev

Linux (CentOS/RHEL):

sudo yum install -y \
    git \
    curl \
    gcc-c++ \
    cmake \
    pkg-config \
    freetype-devel \
    fontconfig-devel \
    libjpeg-devel \
    libpng-devel \
    zlib-devel \
    openssl-devel

macOS:

# Install Xcode Command Line Tools
xcode-select --install

# Install additional dependencies via Homebrew
brew install cmake pkg-config

Installation

Get up and running in under 5 minutes:

# Install Oboyu
pip install oboyu

# Index your documents
oboyu index ~/Documents

# Search your documents
oboyu search "your search term"

That's it! See our Documentation for complete guides and examples.

Key Features

🧠 Knowledge Intelligence

• Automatic Knowledge Graph Generation: Extracts entities, relationships, and concepts from your documents
• GraphRAG Search: Leverages knowledge graphs for deeper, contextual search results
• Multi-dimensional Associations: Discovers hidden connections between documents and concepts
• Semantic Entity Recognition: Identifies and links key entities across your knowledge base
• Relationship Mapping: Automatically maps relationships between concepts, people, and ideas

📊 Data Enrichment & Enhancement

• CSV Auto-Enhancement: Enriches CSV files with relevant information from your knowledge base
• Schema-Driven Processing: Uses JSON schema to define enrichment rules and data transformation
• Semantic Data Completion: Fills missing information using AI-powered content matching
• Business Value Creation: Transforms raw data into actionable business insights
• Batch Processing: Efficiently processes large datasets with configurable batch sizes

🔍 高度な検索機能

• ハイブリッド検索：セマンティックな理解とキーワードマッチング、グラフ探索を組み合わせます
• 複数の検索モード：ベクトル検索、キーワード検索、GraphRAG、ハイブリッドモードに対応します
• AI による再ランキング：組み込みの再ランキング機能により、結果の正確性と関連性が向上します
• 文脈理解：ナレッジグラフを活用して、より関連性の高い結果を提供します
• 柔軟な出力：コマンドライン検索において、JSON、プレーンテキスト、構造化形式で出力できます

📚 幅広いドキュメント形式に対応

• 豊富な形式に対応：PDF、プレーンテキスト（.txt）、Markdown（.md）、HTML（.html）、ソースコードファイル
• PDF の高度な処理：メタデータを保持し、文書構造を理解する高度なテキスト抽出機能
• 差分インデックス作成：新規ファイルまたは変更されたファイルのみを処理し、更新を大幅に高速化します
• スマートなチャンク分割：ナレッジの抽出に最適化した、インテリジェントなドキュメント分割
• 自動エンコーディング対応：UTF-8、Shift-JIS、EUC-JP などのエンコーディングをシームレスに処理します

🇯🇵 日本のビジネス環境に最適

• 日本語ネイティブ対応：日本のビジネス環境やコンテンツ向けに設計されています
• 自動エンコーディング検出：Shift-JIS、EUC-JP などの従来の日本語エンコーディングを自動的に処理します
• 特化型言語モデル：日本語テキスト向けに最適化された埋め込みモデルと処理モデル
• 混在言語のインテリジェントな処理：日本語と英語のバイリンガル文書をシームレスに処理します
• ビジネス文脈の理解：日本のビジネス用語や概念を用いてトレーニングされています

🚀 エンタープライズ向けのパフォーマンスと統合

• ONNX による高速化：自動モデル最適化により、処理速度が 2～4 倍向上します
• MCP サーバー統合：Claude Desktop と AI コーディングアシスタントをネイティブサポートします
• GraphRAG API：ナレッジグラフのクエリとデータ拡充に対応する RESTful API
• 使いやすい CLI インターフェース：リアルタイムの進行状況を表示する、見やすいターミナルインターフェース
• リソース効率に優れた設計：エッジコンピューティングやローカルデプロイに適した、メモリ使用量の少ない設計

インストール

UV を使用する（推奨）

uv tool install oboyu

pip を使用する

pip install oboyu

ソースからインストールする

git clone https://github.com/sonesuke/oboyu.git
cd oboyu
pip install -e .

システム要件

• Python：3.13 以降（3.11 以降に対応）
• OS：macOS、Linux（Windows は WSL 経由）
• メモリ：最低 2GB RAM（4GB を推奨）
• ストレージ：モデルとインデックス用に 1GB
• ビルドツール：ソースからビルドする場合は、上記のシステム依存関係を参照してください

注：モデルは初回使用時に自動的にダウンロードされます（約 90MB）。 PyPI からインストールする場合、ビルド済みホイールを提供しているため、ほとんどのシステム依存関係は不要です。

使用例

基本的な使い方

# Index a directory
oboyu index ~/Documents/notes

# Search your documents
oboyu search "machine learning optimization techniques"

# Get results in JSON format for processing
oboyu search "machine learning" --format json

ナレッジインテリジェンスと GraphRAG

# Build knowledge graph from your documents
oboyu build-kg

# Search using GraphRAG for deeper insights
oboyu search "project management methodologies" --mode graphrag

# Find related concepts and entities
oboyu search "agile development" --rerank --max-results 10

データ拡充ワークフロー

スキーマ設定（enrichment_schema.json）：

{
  "input_schema": {
    "columns": {
      "company_name": {"type": "string", "description": "Company name"}
    }
  },
  "enrichment_schema": {
    "columns": {
      "description": {
        "type": "string",
        "source_strategy": "search_content",
        "query_template": "{company_name} company overview business model"
      },
      "industry": {
        "type": "string",
        "source_strategy": "search_content",
        "query_template": "{company_name} industry sector business domain"
      }
    }
  }
}

拡充コマンド：

# Enrich CSV with knowledge from your documents
oboyu enrich companies.csv enrichment_schema.json

# Custom output location and batch processing
oboyu enrich data.csv schema.json -o enriched_data.csv --batch-size 5

# Disable GraphRAG for faster processing
oboyu enrich simple_data.csv schema.json --no-graph

高度な検索の例

# Index only specific file types
oboyu index ~/projects --include-patterns "*.md,*.txt,*.pdf"

# GraphRAG search with relationship traversal
oboyu search "API design patterns" --mode graphrag --confidence 0.7

# Hybrid search combining multiple approaches
oboyu search "microservices architecture" --mode hybrid --rerank

# Search with custom result limits and confidence
oboyu search "database optimization" --max-results 15 --confidence 0.6

AI アシスタント向け MCP サーバー

# Start MCP server with GraphRAG capabilities
oboyu mcp

# Or configure in Claude Desktop's settings

詳しいセットアップ手順については、MCP 統合ガイドを参照してください。

ドキュメント

🚀 はじめに

• インストール - インストールしてセットアップを確認する
• 最初のインデックス - 初めての検索可能なインデックスを作成する
• 初めての検索 - 効果的な検索方法を学ぶ

💼 実際の使用例

• 日常のワークフロー - 日々の業務で役立つ基本パターン
• 技術ドキュメント - コードと API のドキュメント
• 議事録 - 決定事項とアクションを追跡する
• 研究論文 - 学術コンテンツを検索する

⚙️ 設定と最適化

• 設定ガイド - 用途に合わせてカスタマイズ
• パフォーマンスの調整 - 速度と品質を最適化
• 日本語サポート - 日本語機能

🔗 統合とリファレンス

• Claude MCP 統合 - AI を活用した検索
• CLI リファレンス - すべてのコマンドとオプション
• トラブルシューティング - よくある問題の解決策

📖 ドキュメント全文を見る →

🛠️ テクノロジースタック

Oboyu のインテリジェンスを支える最先端テクノロジーをご紹介します。

• 📚 テクノロジースタックの概要 - スタックのアーキテクチャと理念の全体像
• 🗄️ DuckDB：分析エンジン - ナレッジインテリジェンスを支える DuckDB を採用した理由
• 🤖 HuggingFace：日本語 AI の卓越性 - 日本語に特化した言語モデルと埋め込み
• 🔗 GraphRAG：単純な RAG を超えて - グラフを活用した検索と知識の理解
• ⚡ ONNX：妥協のない最適化 - 品質を維持しながら推論を 3 倍高速化
• ⚖️ 技術選定のフレームワーク - 技術の評価と選定方法

私たちは透明性を大切にし、技術的な取り組みを共有しています。これらの詳細な解説では、パフォーマンスベンチマーク、実装に関する知見、代替手段の率直な評価を紹介します。

よくあるユースケース

🏢 エンタープライズのナレッジ管理

組織のドキュメントを検索可能なナレッジグラフに変換します。

# Index company documents and build knowledge graph
oboyu index ~/company_docs --include "*.pdf,*.md,*.docx"
oboyu build-kg

# Search for strategic insights
oboyu search "competitive analysis market positioning" --mode graphrag

📊 ビジネスデータの拡充

ナレッジベースから得た知見を使って、顧客データや製品データを充実させます。

# Enhance customer list with company information
oboyu enrich customers.csv customer_enrichment_schema.json

# Add product descriptions from documentation
oboyu enrich products.csv product_schema.json --batch-size 10

📚 研究・学術インテリジェンス

包括的な研究用ナレッジベースを作成します。

# Index research papers and notes
oboyu index ~/research --include "*.pdf,*.md,*.txt"
oboyu build-kg

# Find related concepts and methodologies
oboyu search "neural network optimization techniques" --mode graphrag

💻 技術ドキュメントのインテリジェンス

コードベースやドキュメントを見つけやすくします。

# Index code and documentation
oboyu index ~/projects/myapp --include "*.md,*.py,*.js,*.java"

# Find implementation patterns and examples
oboyu search "authentication middleware patterns" --rerank

📋 会議・意思決定のインテリジェンス

会議のメモを実行可能な知見に変換します。

# Index meeting notes and decisions
oboyu index ~/meetings --include "*.md,*.txt"

# Search for decisions and action items
oboyu search "budget approval Q4 initiatives" --mode hybrid

🌏 多言語ビジネス業務

日本語と英語を使うビジネス環境に最適です。

# Index multilingual business documents
oboyu index ~/business_docs --include "*.pdf,*.md"

# Search across languages seamlessly
oboyu search "プロジェクト管理 project management methodology" --mode graphrag

テスト

ユニットテストと統合テスト

# Run fast tests (recommended for development)
uv run pytest -m "not slow"

# Run all tests with coverage
uv run pytest --cov=src

E2E 表示テスト

Oboyu には、Claude Code SDK を使用した包括的な E2E 表示テストが含まれています。

# Run all E2E display tests
python e2e/run_tests.py

# Run specific test category
python e2e/run_tests.py --test search

詳しくは、ドキュメント全文をご覧ください。

コントリビューション

コントリビューションを歓迎します。詳しくはコントリビューションガイドラインをご覧ください。

# Quick start for contributors
git clone https://github.com/YOUR_USERNAME/oboyu.git
cd oboyu
uv sync
uv run pytest -m "not slow"

サポート

• 📋 GitHub Issues - バグの報告や機能のリクエスト
• 📖 ドキュメント - 充実したガイドとリファレンス
• 💬 ディスカッション - 質問やアイデアの共有

ライセンス

このプロジェクトは MIT License のもとで公開されています。詳しくは LICENSE.md ファイルをご覧ください。

謝辞

• 「Oboyu」（覚ゆ）という名前は古代日本語に由来し、「覚える」という意味です。
• 日本のビジネスおよび NLP コミュニティのために ❤️ を込めて開発しました。
• 言語を越えて知識を利用可能にし、実践につなげるという目標に着想を得ています。
• 日本語の理解と知識抽出に貢献した TinySwallow モデルに特別な感謝を捧げます。
• GraphRAG の実装は、Microsoft の GraphRAG に関する研究と手法に着想を得ています。

---

🇯🇵 sonesuke が心を込めて作成