DeepSift Search

DeepSift

Claude Code 向けの無料でセルフホスト可能な Tavily の代替ツールです。 質問を1つすると、DeepSift がウェブを検索し、 すべてのページを読み、重要な段落だけを返します。お使いのノートパソコン上で動作し、すでに利用料金を支払っている Claude サブスクリプションを使用します。

Tavily は、AI エージェント向けに構築された有料のウェブ検索 API です。質問を1つ送ると、 ウェブを検索し、最適なページを開いて、質問に答える箇所を抜き出し、整理した回答としてまとめて返します。便利ですが、呼び出すたびにクレジットを消費します。

DeepSift は、同じ処理をお使いのコンピューター上で3つの手順で実行します。

1. 検索：すでに利用している Claude サブスクリプションの Claude ウェブ検索を使って、適切なウェブサイトを探します （バックアップには無料の DuckDuckGo を使用します）。
2. 読み取り：HTML と PDF の各ページを自ら読み込み、メニューや広告、余分な情報を取り除きます。
3. 選択：質問に最も合致する箇所を選び、まとめて1つの回答として返します。

呼び出しごとの料金も、購入が必要な API キーもありません。

自分で実行したくない場合は？Apify で DeepSift Search をお使いください

DeepSift Search はホスト型バージョンです。実際の Google 検索結果を使い、 同じように箇所を選び、インストール不要で、ご自身のノートパソコンだけでなくアプリやチームでも利用できます。

• Tavily のドロップイン代替： 同じ /search、/extract、/crawl、/map のリクエストとレスポンスに対応しています。1行変更するだけです：

  from tavily import TavilyClient
  client = TavilyClient(api_key="<YOUR_APIFY_TOKEN>", api_base_url="https://aadstra--deepsift-search.apify.actor")
  

• Claude、Cursor など向けの MCP サーバー： https://aadstra--deepsift-search.apify.actor/mcp に、Bearer ヘッダーとして Apify トークンを指定します。

• Claude Code プラグイン： /plugin marketplace add pavanmulka/deepsift を実行し、続けて /plugin install deepsift-search@deepsift を実行します。 Claude Code が Apify トークンを一度だけ尋ねます。

• 従量課金、サブスクリプション不要： 検索1,000回につき4ドル、読み取りページ1,000件につき1ドルです。失敗したリクエストは無料で、Apify の無料アカウントには毎月5ドル分のクレジットが含まれます。

Apify バージョンは .actor/ と deepsift/actor.py にあり、お使いの Claude サブスクリプションは一切使用しません。

Claude Code で使える機能

インストールすると、すべての Claude Code セッションで次のツールを利用できます。

ツール	使用例	機能
web_search	「web_search Databricks Unity Catalog pricing」	1つのトピックから複数のウェブサイトを検索し、それぞれから最適な箇所を選んで、1つの回答として返します
web_read	「この3つのページを読み、価格に注目してください」	最大20件のページまたは PDF の全文、あるいは特定のトピックに関する箇所だけを取得します
web_map	「docs.example.com のすべてのページを一覧表示してください」	サイト内のページアドレスを取得します
web_crawl	「example.com の価格ページを読んでください」	1つのサイトの多数のページを読み、関連するものだけを残します
web_research	「上位5つのベクターデータベースを出典付きで調査してください」	複数回の検索による調査を実行し、番号付きの出典を含むレポートを返します（数分かかります）

同じ機能を、任意のターミナルからも利用できます。

deepsift search "Databricks Unity Catalog pricing" --advanced
deepsift read https://example.com/page --focus "pricing"
deepsift map https://docs.example.com
deepsift crawl https://docs.example.com --instructions "pricing"
deepsift research "Which vector databases support hybrid search?"

インストール（約1分）

Claude Code と Python 3.10 以降がインストールされた Mac または Linux コンピューターが必要です。

git clone https://github.com/pavanmulka/deepsift.git
cd deepsift
./install.sh
claude auth login        # only if you aren't signed in to Claude Code's command line yet

新しい Claude Code セッションを開き、web_search を使うよう依頼してください。これで完了です。

./uninstall.sh を実行すると、Claude Code から削除できます。

Tavily との比較

	Tavily	DeepSift
料金	クレジットごとの従量課金	無料（Claude プランを使用）
1回の検索にかかる時間	1～2秒	Claude 経由で約10～30秒、DuckDuckGo のバックアップ経由で約1～3秒
検索、抽出、クロール、マップ、調査	✓	✓
同じリクエスト／レスポンス形式	—	✓（オプションのローカル HTTP API。下記参照）
動作場所	Tavily のサーバー	お使いのノートパソコン

制限事項：

• Claude 経由の検索は、Claude プランの使用量制限にカウントされます（同時に実行できるのは最大3件です）。 24時間以内の繰り返し検索には、ローカルキャッシュが使用されます。
• DuckDuckGo は短時間に検索を連続して行うと一時停止し、その後ツールは15分間待機します。
• JavaScript の実行後にのみテキストを表示するページは、取得できる内容が少なくなります。
• ご自身の Claude サブスクリプションを使った個人利用を目的としています。他の人向けのアプリを動かす場合は、 適切な有料 API をご利用ください。

オプション：ローカルの Tavily 互換 API

./run.sh は、Tavily のパスとフィールド（/search、/extract、 /crawl、/map、/research、GET /research/{id}、/usage）を備えた HTTP サーバーを 127.0.0.1:8787 で起動します。Tavily 用に書かれたコードは、ベース URL をこのサーバーに向けることができます。すべての応答で usage.credits: 0 が報告されます。

設定

エンジン、モデル、キャッシュ時間を変更する場合や、HTTP サーバー用の API キーを設定する場合は、.env.example を .env にコピーしてください。

仕組み

question ─► find sites (Claude WebSearch via `claude -p`, or DuckDuckGo)
         ─► download pages in parallel (httpx) ─► readable text (trafilatura, pypdf)
         ─► split into passages ─► rank by relevance to the question (BM25) ─► one reply

claude -p は常にサブスクリプションのサインインを使用して実行されます。誤って API アカウントに課金されないよう、起動前に ANTHROPIC_API_KEY が削除されます。

テスト

.venv/bin/python -m pytest -q tests

テストはオフラインで実行され、claude の代替を使用します。

ライセンス

MIT