Deep Search Lighting

Deep Search Lightning

LLM 向けの軽量な純粋ウェブ検索ソリューションです。複数の検索エンジンを統合した検索、深い考察、結果の評価に対応しています。ウェブ検索とディープリサーチのバランスを取り、フレームワークに依存しない実装により、開発者が簡単に統合できます。

✨ deepsearch_lightning を選ぶ理由

ウェブ検索は LLM にとって一般的な機能ですが、従来のソリューションには次のような制限があります。

• 検索結果の品質と考察の有効性に限界がある
• 高性能なモデルと有料の検索エンジンが必要
• 小規模なモデルではツール呼び出しのパターンに対応しにくいことが多い
• モデルのサイズによって、文脈の理解が不安定になることがある

Deep Search Lighting が提供する機能：

• 制約のない、フレームワークに依存しない実装
• 無料の API を利用しながら、質の高いクエリを実現
• 速度と結果のバランスを取るため、深度パラメーターを調整可能
• モデルが自ら評価するための考察メカニズム
• 小規模なものを含む、あらゆるサイズのモデルに対応

[実験的な計画]：

• ウェブ解析やテキスト分割を行わないシンプルな設計
• RL で訓練した小規模な検索モデルの追加を検討

✨ 機能

• 複数の検索エンジンを統合した検索：

  • ✅ Baidu（無料）
  • ✅ DuckDuckGo（無料。ただし VPN が必要）
  • ✅ Bocha（API キーが必要）
  • ✅ Tavily（登録キーが必要）

• 考察戦略と制御可能な評価

• すべての LLM モデルに対応するカスタムパイプライン

• OpenAI 形式の API との互換性

• 簡単に統合できる、モデルの純粋なソースコード

• MCP サーバーのサポートを内蔵

📺 デモ

🔄 パイプライン

🚀 クイックスタート

1. インストール

    conda create -n deepsearch_lightning python==3.11
    conda activate deepsearch_lightning
    pip install -r requirements.txt
    # Optional: For langchain support
    pip install -r requirements_langchain.txt

🔧設定

1. .env.examples を .env に名前変更します
2. モデル情報を入力します（現在は OpenAI 形式の API に対応しています）
3. Baidu の検索はデフォルトで有効です。必要に応じて、ほかのエンジンを設定してください

🚀 実行

        1. test case
                python test_demo.py
        2. streamlit demo
                streamlit run streamlit_app.py
        3. run mcp server
                python mcp_server.py 
                python langgraph_mcp_client.py

計画

🧪 RL で訓練した小規模な検索 QA モデルの検証
🧪 戦略の改善
🧪 マルチエージェントフレームワークの実装

🙌 アイデアの投稿を歓迎します！[Issues] または [Pull Requests] からプロジェクトにご参加ください。

ライセンス

このリポジトリは Apache-2.0 License の下でライセンスされています。