关于 Wick
Wick 是面向 Agent 的 MCP 服务,通过 Chrome 网络栈抓取网页并返回 Markdown 等内容。它还支持网站爬取、URL 发现、搜索和媒体下载,也可在本地作为 HTTP API 运行。
主要功能
- 01以 Markdown、HTML 或文本抓取页面
- 02爬取同域页面
- 03通过站点地图和链接发现 URL
- 04搜索网页
- 05从支持的网站下载媒体
- 06清除 Cookie 和会话数据
适用场景
- 01读取会拦截常规 HTTP 客户端的页面
- 02收集文档网站的多个页面
- 03查找网站中的 URL
- 04从 URL 下载视频或音频
MCP 相关
Wick 向 MCP 客户端提供抓取、爬取、URL 发现、搜索、下载和会话管理工具。它也可作为本地 HTTP API 供其他工具和 Agent 使用。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
Wick
为 AI Agent 提供浏览器级网页访问能力。 文档 | 博客 | getwick.dev
你的 AI Agent 在访问网页时会遭到拦截。Wick 可以解决这个问题。
Wick 是一个 MCP 服务,它使用 Chrome 的实际网络栈,因此 TLS 指纹与真实浏览器完全一致。它通过你自己的 IP 在本地运行,并返回整洁的 Markdown。我们针对 25 个受反机器人保护的网站进行了测试,包括 Cloudflare、Akamai、PerimeterX 和 AWS WAF,得分为 100%。
由 Lantern 的创建者打造。Lantern 是一款规避审查工具,在伊朗、中国和俄罗斯拥有超过 1.5 亿用户。绕过政府审查的同一套 TLS 规避技术,如今用于突破反机器人防护墙。
Agent: I'll fetch that page for you.
[uses wick_fetch]
Result: 200 OK
# The New York Times - Breaking News
Led by the freshman forward Cameron Boozer,
the No. 1 overall seed faces a tough test...
安装
macOS(Homebrew):
brew tap wickproject/wick && brew install wick
wick setup
Linux(apt):
curl -fsSL https://wickproject.github.io/wick/apt/install.sh | bash
wick setup
npm(适用于任何平台):
npm install -g wick-mcp
wick setup
wick setup 会自动检测你的 MCP 客户端(Claude Code、Cursor 等)并完成配置。
工具
wick_fetch
获取任意 URL,并返回整洁、适合大模型使用的 Markdown。即使网站会拦截标准 HTTP 客户端,Wick 也能返回完整内容,因为它使用 Chrome 的实际 TLS 指纹。
wick fetch https://www.nytimes.com
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
url | string | 必填 | 要获取的 URL |
format | string | "markdown" | 输出格式:markdown、html 或 text |
respect_robots | bool | true | 是否遵守 robots.txt |
wick_crawl
从指定 URL 开始抓取网站。沿着同一域名的链接访问,并通过 Chrome 的 TLS 流程获取每个页面,最后返回所有页面的 Markdown。
wick crawl https://docs.example.com --depth 2 --max-pages 10
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
url | string | 必填 | 起始 URL |
max_depth | number | 2 | 跟进链接的深度(最多 5) |
max_pages | number | 10 | 要获取的页面数(最多 50) |
path_filter | string | 无 | 仅抓取以此前缀开头的路径 |
respect_robots | bool | true | 是否遵守 robots.txt |
wick_map
发现网站上的所有 URL。先检查 sitemap.xml,再跟进链接。
wick map https://example.com --limit 100
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
url | string | 必填 | 起始 URL |
limit | number | 100 | 要发现的 URL 数量上限(最多 5000) |
use_sitemap | bool | true | 是否优先检查 sitemap.xml |
path_filter | string | 无 | 仅包含带此前缀的路径 |
wick_search
搜索网页。使用 wick_fetch 阅读任意搜索结果的完整内容。
wick search "rust async runtime"
wick_download
从 Reddit、YouTube、Twitter 及其他 1000 多个网站下载视频和音频。由 yt-dlp 提供支持。
wick download "https://v.redd.it/4uofpbxa97rg1" -o ./archive
wick_session
清除 Cookie 和会话数据,以全新状态重新开始。
wick session clear
HTTP API
Wick 也可以作为本地 HTTP API 服务运行,供任何工具使用,包括 Python、LangChain、n8n、curl 和自定义 Agent。
wick serve --api
# Wick 0.7.0 + Pro API server running at http://127.0.0.1:8090
# Fetch a page
curl "http://localhost:8090/v1/fetch?url=https://nytimes.com"
# Crawl a site
curl "http://localhost:8090/v1/crawl?url=https://docs.example.com&max_pages=5"
# Discover URLs
curl "http://localhost:8090/v1/map?url=https://example.com"
# Search
curl "http://localhost:8090/v1/search?q=rust+async"
import requests
r = requests.get("http://localhost:8090/v1/fetch", params={"url": "https://nytimes.com"})
print(r.json()["content"]) # clean markdown
所有端点均返回 JSON。完整 API 文档。
反机器人成功率达 100%
我们针对 25 个网站测试了 Wick Pro,这些网站的防护强度分为五个等级:
| 防护等级 | 网站 | 结果 |
|---|---|---|
| 基础 | Wikipedia、GitHub、Hacker News、ArXiv、NPR | 5/5 |
| Cloudflare | Stack Overflow、Medium、ESPN、Craigslist、IMDb | 5/5 |
| 高强度 | NYTimes、Reddit、Amazon、LinkedIn、Indeed、Zillow、Yelp | 7/7 |
| PerimeterX / Akamai | Glassdoor、Walmart、Target、Best Buy、Pinterest、Instagram、Twitter/X | 7/7 |
| 极高强度 | Bloomberg | 1/1 |
所有功能均在本地运行,不依赖任何云服务。
Wick 对比
| Wick | Firecrawl | Bright Data | Browserbase | Playwright MCP | |
|---|---|---|---|---|---|
| 反爬成功率 | 100% | 83% | ~100% | 90% | 0% |
| 本地运行 | 是 | 否 | 否 | 否 | 是 |
| 爬取 / 映射 | 是 | 是 | 否 | 否 | 否 |
| 使用你的住宅 IP | 是 | 否 | 池化 | 池化 | 是 |
| 数据保留在本地 | 是 | 否 | 否 | 否 | 是 |
| 免费 | 无限制 | 500 个页面 | 每月 5K 次请求 | 1 小时 | 免费 |
| Pro 定价 | 每月固定收费 $20 | 每月 $19-599 | 按用量计费 | 每月 $20-99 | 免费 |
为什么 Agent 会被拦截
反爬系统会对 TLS 握手进行指纹识别,包括 HTTP 客户端使用的加密套件、扩展和顺序。Cloudflare 和 Akamai 能在毫秒内识别 Go、Python 和 Node 库各自不同的 TLS 特征。
Wick 使用 Chrome 的实际网络栈(Cronet,也就是实际 Chrome 使用的 BoringSSL 和 HTTP/2 实现),因此其指纹与真实浏览器无法区分。没有模拟,没有伪造标头——用的就是真实浏览器。
Wick Pro
适用于需要 JavaScript 渲染、高级反检测功能,以及访问反爬保护严格网站的团队。Pro 提供带有隐身补丁的真实 Chromium 浏览器引擎。
wick pro activate
每月固定收费 $20。不按请求计费。在 getwick.dev 了解详情,或联系我们。
配置 Agent 始终使用 Wick
Claude Code — 添加到 CLAUDE.md:
When fetching web pages, always use wick_fetch instead of the built-in WebFetch tool.
Use wick_search for web searches. Use wick_crawl to read multi-page sites.
Cursor — 添加到 .cursorrules:
Use wick_fetch to read any URL. Use wick_search for web searches.
Use wick_crawl to read documentation sites and multi-page content.
其他 MCP Agent — 添加到系统提示词或 AGENTS.md:
Use wick_fetch, wick_search, wick_crawl, and wick_map MCP tools for all web access.
Always prefer these over built-in fetch/browse capabilities.
从源代码构建
cd rust
cargo build --release
二进制文件位于 rust/target/release/wick。
许可证
MIT
getwick.dev | 文档 | 博客 | [email protected]
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。