DeepSift Search

DeepSift

面向 Claude Code 的免费、可自托管的 Tavily 替代方案。 提出一个问题；DeepSift 会搜索网页、 读取每个页面，并只返回重要的段落。它在你的笔记本电脑上运行，使用你已经付费订阅的 Claude。

Tavily 是一款专为 AI Agent 打造的付费网页搜索 API。你发送一个问题；它 会搜索网页、打开最相关的页面、摘出能回答问题的内容，并整合成一条简洁的回复发给你。效果不错，但每次调用都要消耗额度。

DeepSift 在你自己的电脑上完成同样的工作，分为三个步骤：

1. 查找相关网站，使用你现有 Claude 订阅中的 Claude 网页搜索 （并以免费的 DuckDuckGo 作为备用）。
2. 阅读每个页面：支持 HTML 和 PDF，并清除菜单、广告和杂乱内容。
3. 筛选出与你的问题最相关的段落，并在一条回复中返回。

无需按次付费，也不用购买 API 密钥。

不想自己运行？在 Apify 上使用 DeepSift Search

DeepSift Search 是托管版本：提供真实的 Google 搜索结果、 同样的段落筛选功能，无需安装，既适用于应用和团队，也适用于个人笔记本电脑。

• 可直接替换 Tavily： /search、/extract、/crawl 和 /map 请求与响应格式相同。只需改一行：

  from tavily import TavilyClient
  client = TavilyClient(api_key="<YOUR_APIFY_TOKEN>", api_base_url="https://aadstra--deepsift-search.apify.actor")
  

• 适用于 Claude、Cursor 等的 MCP 服务： https://aadstra--deepsift-search.apify.actor/mcp，将你的 Apify 令牌作为 Bearer 标头传入。

• Claude Code 插件： /plugin marketplace add pavanmulka/deepsift，然后运行 /plugin install deepsift-search@deepsift。 Claude Code 会提示你输入一次 Apify 令牌。

• 按使用量付费，无需订阅： 每 1,000 次搜索收费 $4，每读取 1,000 个页面收费 $1。失败的请求免费，而且 免费 Apify 账户每月包含 $5 额度。

Apify 版本位于 .actor/ 和 deepsift/actor.py 中；它不会使用你的 Claude 订阅。

Claude Code 可使用的功能

安装后，每个 Claude Code 会话都会有以下工具：

工具	你可以这样提问	功能
web_search	"web_search Databricks Unity Catalog pricing"	一个主题 → 多个网站 → 每个网站中最相关的段落，一条回复返回
web_read	"read these 3 pages and focus on pricing"	获取最多 20 个页面或 PDF 的全文，或只获取与某个主题相关的内容
web_map	"list all pages on docs.example.com"	列出网站的页面地址
web_crawl	"read the pricing pages on example.com"	阅读某个网站的多个页面，并保留相关页面
web_research	"research the top 5 vector databases with sources"	通过多次搜索进行调查，并返回带编号来源的书面报告（需要几分钟）

这些功能也可在任何终端中使用：

deepsift search "Databricks Unity Catalog pricing" --advanced
deepsift read https://example.com/page --focus "pricing"
deepsift map https://docs.example.com
deepsift crawl https://docs.example.com --instructions "pricing"
deepsift research "Which vector databases support hybrid search?"

安装（约 1 分钟）

你需要一台安装了 Claude Code 和 Python 3.10+ 的 Mac 或 Linux 电脑。

git clone https://github.com/pavanmulka/deepsift.git
cd deepsift
./install.sh
claude auth login        # only if you aren't signed in to Claude Code's command line yet

打开一个新的 Claude Code 会话，并让它使用 web_search。就这么简单。

运行 ./uninstall.sh 可从 Claude Code 中移除它。

与 Tavily 的比较

	Tavily	DeepSift
费用	按额度付费	免费（使用你的 Claude 套餐）
每次搜索速度	1–2 s	通过 Claude 约 10–30 s；使用 DuckDuckGo 备用方案约 1–3 s
搜索、提取、爬取、映射、研究	✓	✓
请求/响应格式相同	—	✓（可选的本地 HTTP API，见下文）
运行位置	对方的服务器	你的笔记本电脑

坦诚说明限制：

• 通过 Claude 进行的搜索会计入 Claude 套餐的使用限额（最多同时进行 3 次）。 24 小时内的重复搜索会从本地缓存中读取。
• DuckDuckGo 在短时间内连续搜索后会暂停服务；此时工具会暂停 15 分钟。
• 只有在 JavaScript 运行后才显示文字的页面，返回的内容会很少。
• 它面向你个人使用，并使用你自己的 Claude 订阅。若要为他人提供应用服务， 请使用正规的付费 API。

可选：本地 Tavily 兼容 API

./run.sh 会在 127.0.0.1:8787 上启动 HTTP 服务，提供 Tavily 的路径和字段（/search、/extract、 /crawl、/map、/research、GET /research/{id}、/usage）。为 Tavily 编写的代码可以将基础 URL 指向该服务。每个响应都会报告 usage.credits: 0。

设置

将 .env.example 复制为 .env，即可更改引擎、模型和缓存时间，或为 HTTP 服务设置 API 密钥。

工作原理

question ─► find sites (Claude WebSearch via `claude -p`, or DuckDuckGo)
         ─► download pages in parallel (httpx) ─► readable text (trafilatura, pypdf)
         ─► split into passages ─► rank by relevance to the question (BM25) ─► one reply

claude -p 始终使用订阅登录运行。启动前会移除 ANTHROPIC_API_KEY， 因此不会意外向 API 账户计费。

测试

.venv/bin/python -m pytest -q tests

测试会离线运行，并使用 claude 的替代程序。

许可证

MIT