qsearch

qsearch

これは、私自身が日々のリサーチに使うために作りました。100 回以上のリサーチスプリントを実行したところ、エージェントは 200 文字のスニペットを読んでいたため、何度もハルシネーションを起こしていました。qsearch は、複数の検索エンジンの出典情報とともに完全なコンテンツを提供します。ローカルで動作し、所有権は私にあります。

AI エージェントは、ページ全体ではなく 200 文字のスニペットを読むため、事実の17～33％をハルシネーションによって失います（Stanford 2024）。既存の検索 API では、ある結果にどの検索エンジンが同意したかが分かりません。既存のナレッジグラフは、企業向けの価格設定か、ベンダーロックインが必要です。

qsearch は、複数の検索エンジンの出典情報とともに完全なコンテンツをエージェントに提供するオープンソースの検索レイヤーです。お使いのマシン上で動作し、所有権はお客様にあり、すぐに MCP で利用できます。

✅ v0.4.0 は qsearch.pro で公開中です。 複数の検索エンジンの帰属情報、URL ごとの出典情報を含む信頼コーパス（engines[]、sweep_count、trust_score）、/ui のコーパスビューアー、Claude Code および仕様準拠のあらゆるクライアント向け MCP-over-HTTP に対応しています。 📖 アーキテクチャ： ARCHITECTURE.md · ビジョン： docs/VISION.md · 技術仕様： docs/TRUST_MESH.md · フェデレーションの詳細： docs/FEDERATION_ARCHITECTURE.md

デモ

60 秒の紹介：/health（稼働中、ローカル）→ /sweep（複数検索エンジンの engines[] 帰属情報）→ /verify（引用された情報源は実際に主張を裏付けているか？）。npm start の実行後、bash scripts/record-demo.sh でローカルに再現できます。docs/launch/README-demo-embed.md を参照してください。

クイックスタート

無料枠、API キー不要で 5 分で実行できます：

git clone https://github.com/theYahia/qsearch.git && cd qsearch
cp .env.example .env.local       # works as-is on the $0 SearXNG tier
docker compose up -d             # Meilisearch + Qdrant + SearXNG
npm install && npm start         # → qsearch on http://localhost:8080

# multi-engine attribution in one call
curl -X POST http://localhost:8080/sweep \
  -H "Content-Type: text/plain" \
  --data-binary $'t1|self-hosted search engine\n'
# → parsed_snippets.md with "Engines: google, duckduckgo, brave (count=3)"

broad スイープティアはセルフホストの SearXNG 上で動作し、費用はかかりません。focused／critical ティアを利用したい場合にのみ、Brave キーを追加してください。完全なセットアップ（Brave キー、Ollama、MCP サーバー）については以下をご覧ください。

# 1. Clone
git clone https://github.com/theYahia/qsearch.git
cd qsearch

# 2. Get a Brave Search API key (BYOK, $5/mo for ~1000 queries)
#    → https://brave.com/search/api/ → sign up → copy key

# 3. Configure
cp .env.example .env.local
# Set BRAVE_API_KEY=your_key
# Set SEARXNG_URL=http://localhost:8888 (for multi-engine attribution)

# 4. Start infrastructure (Meilisearch + Qdrant + SearXNG)
docker compose up -d

# 5. (Optional) Pull Ollama models for local LLM cleaning + embedding rerank
#    Without them, search still works — just no cleaned_markdown and no rerank.
ollama pull qwen2.5:7b-instruct   # ~5GB, cleaner (used by /sweep_context)
ollama pull nomic-embed-text      # 274MB, embedding rerank (Phase B)

# 6. Install & run
npm install
npm start            # → qsearch v0.4.0 on http://localhost:8080

# 7. (Optional) MCP server for Claude Code / Workbench / OpenClaw
npm run start:mcp    # → http://0.0.0.0:8081

# 8. Test multi-engine attribution
curl -X POST http://localhost:8080/sweep \
  -H "Content-Type: text/plain" \
  --data-binary $'t1|self-hosted search engine\n'
# → parsed_snippets.md with "Engines: google, duckduckgo, brave (count=3)"

日々の使い方

リサーチスプリントのたびに、デュアルスイープを実行します。

# Brave sweep (primary, authoritative)
python research/scripts/brave_sweep.py queries.txt _raw_data/topic_2026-04-28/brave/

# qsearch sweep (secondary, auto-indexes into corpus)
curl -X POST http://localhost:8080/sweep?topic=my_topic \
  -H "Content-Type: text/plain" --data-binary @queries.txt

同じドメインで 10 回以上のスプリントを行うと、/corpus/top?min_engines=3 に、複数のセッションにわたって複数の独立した検索エンジンを通過した URL が表示されます。これらが、私が実際に信頼している URL です。

qsearch が存在する理由

現在、どの AI エージェントも同じ壊れたループに陥っています。

Agent → Tavily/Exa/Serper API → 200-char snippets → hallucinated answer

3 つの問題があります。

1. スニペットだけでは不十分です。 Stanford による 2024 年の本番 RAG 監査では、「ハルシネーションなし」とうたわれているにもかかわらず、Lexis+ AI と Westlaw で 17～33％のハルシネーションが測定されました。Wikipedia の QA では、全文コンテンツはスニペット RAG を 7.3 ポイント上回ります（arxiv 2501.01880）。

2. 信頼性を示すシグナルがありません。 検索 API は、どのエンジンが一致したかを示さずにランキング結果を返します。3 位の SEO スパムは、4 位の信頼できる情報源と同じように見えます。

3. 記憶がありません。 検索は毎回ゼロから始まります。同じ質の低い情報がまた表示され、同じ権威ある情報源が認識されないままです。

qsearch はこの 3 つすべてに対応します。

• スニペットだけでなく、コンテンツ全体を取得してクリーニングします。
• 結果ごとの engines[] フィールド — Google、DDG、Brave、Qwant、Startpage の帰属情報を公開します（SearXNG による集約経由）。
• ローカルコーパスが蓄積され、検索を重ねるごとにすべての URL の信頼プロファイルが成長します。

仕組み

flowchart LR
    A[Your agent] -->|query| Q[qsearch]
    Q -->|fan out| B[Brave Search API]
    Q -->|fan out| S["SearXNG\n(Google, DDG, Brave, Qwant, …)"]
    B -->|results| Q
    S -->|results + engines[]| Q
    Q -->|index by URL| C["Local corpus\n(Meilisearch + Qdrant)"]
    C -->|trust score| Q
    Q -->|re-ranked + full content + provenance| A

    style C fill:#fde68a,stroke:#d97706,color:#000
    style Q fill:#93c5fd,stroke:#2563eb,color:#000
    style S fill:#86efac,stroke:#16a34a,color:#000

黄色のノードはプライベートコーパスです。5 つのエンジン、3 回の検索、4 つのトピックで見つかった URL には、自然に信頼スコアが付与されます。人間によるランキングも、中央集権的な権威も、クラウドへの往復通信もありません。

qsearch の比較

API — v0.4.0

検索エンドポイント

/search が受け付けるパラメーター：query、n_results（1～20）、freshness（pd／pw／pm／py）、search_lang、country、corpus_first（デフォルトは true）、corpus_only（デフォルトは false）。

/sweep は、1 行につき 1 件のクエリを含む、次の形式の text/plain リクエスト本文を受け付けます：label|query[|priority][|domain]

• priority ∈ broad（デフォルト、SearXNG、$0）／focused（Brave、約 $0.005）／critical（Brave + LLM Context、約 $0.01）
• domain ∈ general（デフォルト）／scholarly（arxiv+PubMed+S2、$0）／ru（language=ru-RU によるバイアスを適用した SearXNG、$0）

# Examples
bench_a|qdrant production latency benchmarks|focused
sch_a|crispr cas9 off target effects|broad|scholarly
ru_a|tadviser сро рейтинг 2025|broad|ru
crit_a|self-hosted vector DB choice 2026|critical
gen|simple search|broad        # 2-field still works — defaults broad/general

結果は、フィルター可能な engines[] と engine_count を付けて Meilisearch に自動でインデックス化されます。

/academic_search は JSON を受け付けます：{ query, n_results (1-20), sources?: ["arxiv","pubmed","semanticscholar"] }。3 つのソースに並列で検索を実行し、DOI／タイトルで重複を除去して、上位 N 件を交互に並べて返します。

複数エンジンによる帰属の例

curl -X POST http://localhost:8080/sweep \
  -H "Content-Type: text/plain" \
  --data-binary $'t1|self-hosted search engine 2026\n'

出力の抜粋（parsed_snippets.md）：

**1. GitHub - searxng/searxng**
- URL: https://github.com/searxng/searxng
- Engines: google, duckduckgo, brave, qwant (count=4)
  > A privacy-respecting, hackable metasearch engine...

**2. random-blog.io/seo-spam-2026**
- URL: https://random-blog.io/seo-spam-2026
- Engines: google (count=1)
  > Best self-hosted search engines you must try...

URL #1 の engine_count=4 は、4 つの独立したエンジンで見つかったことを示します。URL #2 の engine_count=1 は、1 つのエンジンでしか見つからなかったことを示します。信頼度のシグナルは後付けではなく、データに組み込まれています。

Meilisearch で信頼度によるフィルター処理

curl -H "Authorization: Bearer masterKey" \
  "http://localhost:7700/indexes/qsearch_corpus/documents?filter=engine_count%20%3E%3D%203"

3 つ以上のエンジンで見つかった URL のみを返します。信頼度の高いサブセットを取得できます。

MCP 統合

MCP サーバーはこのリポジトリに含まれており、npm パッケージはありません。ソースから実行してください：

git clone https://github.com/theYahia/qsearch.git && cd qsearch
npm install
npm start            # REST API on :8080 — must be running first
npm run start:mcp    # MCP server (Streamable HTTP) on :8081

Claude Code

~/.claude/settings.json に追加します：

{
  "mcpServers": {
    "qsearch": {
      "type": "http",
      "url": "http://localhost:8081"
    }
  }
}

利用可能なツール：

• mcp__qsearch__web_search — Brave または SearXNG によるウェブ検索
• mcp__qsearch__sweep — 複数エンジンによる帰属情報付きの一括調査
• mcp__qsearch__academic_search — arxiv + PubMed + Semantic Scholar を通じた査読済み論文の検索
• mcp__qsearch__sweep_context — フェーズ 3 のローカル LLM によるページ抽出（無料、Ollama）
• mcp__qsearch__verify_citation — 引用された URL が主張を実際に裏付けているかを検証します（Supported／Partial／Unsupported／Fabricated）
• mcp__qsearch__economy_report — すべてを Brave にした場合の基準とのコスト内訳の比較
• mcp__qsearch__index_research — glob を使用してローカルの .md ファイルをインデックス化
• mcp__qsearch__news_search — ニュース検索（Brave キーが必要）
• mcp__qsearch__context_search — 詳細なページコンテンツ（Brave キーが必要）

その他の MCP over HTTP クライアント

qsearch は、ポート :8081 の / で Streamable HTTP トランスポートを公開します。Claude Desktop（HTTP モード）、OpenClaw、および仕様に準拠するすべての MCP クライアントと互換性があります。

スタック

ロードマップ

全体像と、過剰な約束をせずに提供できるようになるまでフェデレーションを研究方針にとどめる理由については、docs/VISION.md をご覧ください。

正直なトレードオフ

• コールドスタート。 最初のスイープには 5～10 秒かかります（エンジンへのファンアウト + コーパスのインデックス作成）。長時間稼働するデーモンとして実行するのが最適です。
• ベクトル検索は Windows では利用できません。 Qdrant はベアランタイムを必要とするため、すべてのプラットフォームに対応しているわけではありません。全文検索の Meilisearch はどこでも動作します。
• SearXNG のレート制限。 セルフホストが必要です。パブリックインスタンスは Google にブロックされます。この問題には docker-compose で対応しています。
• engines[] には SearXNG が必要です。 Brave のみのモードでも動作しますが、複数エンジンのシグナルは失われます。
• 全文コンテンツにはレイテンシのコストがあります。 素朴なスニペット取得の約 3 秒に対し、約 31 秒かかります（双方向 RAG の研究）。qsearch では /context エンドポイントからオプトインで利用できます。

フォローする

• 🌐 ライブデモ： qsearch.pro
• ⭐ スター： github.com/theYahia/qsearch
• 🐦 X： @TheTieTieTies

ライセンス

Apache-2.0 — LICENSE をご覧ください。独立運営。BYOK。セルフホスト可能。ベンダーロックインなし。

WWmcp の一部 · Telegram：@vhodvai