关于 Decodo MCP Server
Decodo MCP Server 将 MCP 客户端连接到 Decodo 的 Web Scraping API,供需要实时网页数据的 AI Agent 和团队使用。它提供抓取与搜索工具,并支持结构化输出、JavaScript 渲染及代理轮换和反机器人处理。
主要功能
- 01支持 JavaScript 渲染的网页抓取
- 02JSON、Markdown 和截图输出
- 03搜索网页及多个平台
- 04可选工具集
- 05内置代理轮换和反机器人处理
适用场景
- 01为 RAG 获取实时网页数据
- 02收集商品和卖家信息
- 03采集 TikTok 和 YouTube 数据
MCP 相关
它将 Decodo Web Scraping API 的能力作为工具提供给 MCP 客户端,包括网页抓取、搜索和按目标分类的工具集。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
本地服务需要在你的电脑上运行后才能读取工具,维护者暂未提供工具列表。
详细介绍
Decodo MCP 服务
使用 MCP(Model Context Protocol)将大模型和 AI Agent 连接到实时网络数据。Decodo MCP 服务可让你直接通过 Claude、Cursor 和 Windsurf 等 AI 工具抓取网站、搜索引擎、电商平台和社交媒体数据,无需从头构建抓取基础设施。
- 提供 JSON、Markdown 和屏幕截图格式的结构化输出
- 服务端 JavaScript 渲染和反机器人处理
- 覆盖 195+ 个地区的 1.25 亿+ 个 IP
什么是 Decodo MCP 服务?
Decodo MCP 服务是面向 AI Agent 的网页抓取层。它将兼容 MCP 的客户端连接到 Decodo 的 Web Scraping API,从而支持:
- 面向大模型的网页抓取
- 为 RAG 实时检索数据
- AI Agent 浏览和研究
- 从动态网站提取结构化数据
无需维护代理、解析器和重试逻辑,只需一个集成入口,即可可靠地访问网络数据。
为什么使用 MCP 进行网页抓取?
Model Context Protocol(MCP)是连接 AI Agent 与外部工具和数据源的新兴标准。借助 MCP:
- Agent 可以动态调用工具
- 集成方式保持标准化
- 工作流可跨环境扩展
Decodo MCP 服务通过这一标准,为你的 Agent 提供可靠、可用于生产环境的网络访问能力。
主要功能
面向 AI Agent 的网页抓取,无需基础设施。 抓取任意网站,包括大量使用 JavaScript 的页面,无需处理代理轮换、CAPTCHA 验证或反机器人系统。
适用于大模型工作流的结构化输出。 提供 Markdown(适用于大模型)、JSON(适用于结构化流水线)和屏幕截图(提供视觉上下文),专为 RAG 流水线、AI 研究 Agent 和自动化流程打造。
内置支持热门目标网站。 提供现成工具,支持 Google 和 Bing(SERP)、Amazon、Walmart 和 Target(电商)、TikTok 和 YouTube(社交媒体),以及 ChatGPT 和 Perplexity(AI 搜索)。
全球代理基础设施。 拥有 1.15 亿+ 个住宅 IP、覆盖 195+ 个地理位置,即使面对防护最严密的目标网站,成功率也高达 99.99%。
模块化 MCP 工具集。 仅启用所需功能:web、search、ecommerce、social_media、ai,让工具选择更简洁,并提升 Agent 性能。
快速见效。 从获取 API 密钥到首次抓取只需几分钟,无需繁琐设置。
使用场景
如果你需要面向 AI Agent 的网页抓取、大规模结构化数据提取、可靠访问动态网站、用于 RAG 的实时数据,或希望避免从头构建抓取基础设施,都可以使用 Decodo MCP 服务。常见场景:
- AI 驱动的网页抓取 – 让大模型能够收集最新数据,而非依赖静态训练数据。
- 使用实时数据进行 RAG – 将 Google、Bing 和 AI 搜索的实时结果引入检索流水线。
- 电商情报 – 跨电商平台追踪商品价格、商品信息和卖家,不受封锁影响。
- 社交媒体数据收集 – 从 TikTok 和 YouTube 收集帖子、频道和互动数据。
- 旅行和价格聚合 – 构建可跨网站收集实时价格和可用情况的工具。
快速开始
- 创建免费账户,访问 dashboard.decodo.com——最多可免费使用 10K 次请求,无需信用卡。
- 获取 API 密钥。 从 dashboard 中的 Web Data API 订阅复制 Web Data API 密钥。较早的套餐提供基本身份验证令牌,同样可用(请参阅身份验证)。
- 从 https://nodejs.org 下载 Node.js 18+。
- 获取 MCP 客户端,例如 Claude Desktop、Cursor、Windsurf 或其他兼容 MCP 的工具。
- 在 AI 客户端中配置 MCP 服务(请参阅下方的配置示例)。
连接到 Decodo 的 MCP 服务
打开你常用的 MCP 客户端,并添加以下配置(请参阅 Claude Code、Cursor、Windsurf 的示例):
{
"mcpServers": {
"Decodo": {
"url": "https://mcp.decodo.com/mcp",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
}
}
身份验证
| 凭据 | 获取位置 | 托管服务请求头 | 本地服务环境变量 |
|---|---|---|---|
| API 密钥(推荐) | dashboard 中的 Web Data API 订阅 | Authorization: Bearer <api_key> | SCRAPER_API_TOKEN=<api_key> |
| 基本身份验证令牌(较早的套餐) | dashboard 上的 Web Scraping API 页面 | Authorization: Basic <basic_auth_token> | SCRAPER_API_TOKEN=<basic_auth_token> |
本地服务会从 SCRAPER_API_TOKEN 读取任一凭据,并自动判断其类型。
Claude Desktop
- 打开 Claude Desktop → Settings → Developer → Edit Config。
- 将以下内容添加到 claude_desktop_config.json:
{
"mcpServers": {
"Decodo": {
"command": "npx",
"args": ["-y", "@decodo/mcp-server"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>",
"TOOLSETS": "web,ai"
}
}
}
}
- 保存并重启 Claude Desktop。
Cursor
- 打开 Settings → MCP。
- 点击 Add a new global MCP server(会打开 mcp.json)。
- 添加与上方相同的配置。
- 保存——查看 Decodo 旁是否显示绿色状态指示灯。
Windsurf
- 打开 Settings → Windsurf Settings。
- 滚动到 Cascade → Add custom server +(会打开 mcp_config.json)。
- 添加与上方相同的配置。
- 保存并重启 Windsurf。
测试设置
连接成功后,在客户端中尝试使用此提示词:
▎ “抓取 Hacker News 上排名前 5 的文章标题”
几秒钟内,你应该会收到结构化列表。如果看到身份验证错误,请在 dashboard 中仔细检查 API 密钥。
本地开发
仅当你想修改服务代码时才需要进行此操作。
从此仓库构建并运行服务
先决条件
- Node.js 18.0+
- MCP 客户端——常用选择包括 Claude Desktop 和 Cursor
分步指南
- 克隆此仓库:
git clone https://github.com/Decodo/mcp-server
- 在终端中运行以下命令:
cd mcp-server
npm install
npm run build
- 记下构建位置:
cd build/
pwd
在此目录末尾添加 index.js 后,构建文件的位置应类似于:
/Users/your.user/projects/mcp-server/build/index.js
- 使用服务信息更新 MCP 客户端:
{
"mcpServers": {
"decodo-mcp": {
"command": "node",
"args": ["/Users/your.user/projects/mcp-server/build/index.js"],
"env": {
"SCRAPER_API_TOKEN": "<api_key>"
}
}
}
}
工具集
工具按工具集进行组织。你能使用哪些工具集取决于连接方式。
Claude(官方连接器)
Claude 连接器目录中的 Decodo 连接器仅包含 Web Data API 工具:
| 工具集 | 工具 |
|---|---|
web | scrape_as_markdown、screenshot、map、crawl_start、crawl_status、crawl_results、crawl_cancel |
search | search |
任意 MCP 客户端
你可以通过 toolsets 查询参数传入以逗号分隔的列表,选择性启用特定工具集:
"Decodo MCP Server": {
"url": "https://mcp.decodo.com/mcp?toolsets=web,ai",
"headers": {
"Authorization": "Bearer <api_key>"
}
}
未指定工具集时,将注册所有工具。
| 工具集 | 工具 |
|---|---|
web | scrape_as_markdown、screenshot、map、crawl_start、crawl_status、crawl_results、crawl_cancel |
search | search、google_search、google_ads、google_lens、google_travel_hotels、bing_search |
ecommerce | amazon_search、amazon_product、amazon_pricing、amazon_sellers、amazon_bestsellers、walmart_search、walmart_product、target_search、target_product、tiktok_shop_search、tiktok_shop_product、tiktok_shop_url |
social_media | tiktok_post、youtube_metadata、youtube_channel、youtube_subtitles、youtube_search |
ai | chatgpt、perplexity、google_ai_mode |
工具
服务提供以下工具:
| 工具 | 描述 | 提示词示例 |
|---|---|---|
scrape_as_markdown | 抓取任意目标 URL;需要通过提示词提供 URL。以 Markdown 格式返回结果。 | 从美国 IP 地址抓取 peacock.com,并告诉我其定价。 |
screenshot | 截取任意网页的屏幕截图,并以 PNG 图片格式返回。 | 从美国 IP 地址截取 github.com 的屏幕截图。 |
map | 列出网站上的 URL,但不获取其内容。仅限 API 密钥。 | 映射 docs.decodo.com,并列出 /scraping-api 下的页面。 |
crawl_start | 开始抓取网站,并立即返回抓取 ID,不等待抓取完成。仅限 API 密钥。 | 抓取 decodo.com/blog 的前 10 个页面。 |
crawl_status | 报告抓取进度:已发现、已完成和失败的页面数。仅限 API 密钥。 | 我的抓取完成了吗? |
crawl_results | 分批返回已抓取页面的 Markdown,每次返回几页,并附带游标。仅限 API 密钥。 | 显示我的抓取找到的页面。 |
crawl_cancel | 停止正在运行的抓取;已抓取的页面仍可读取。仅限 API 密钥。 | 取消我的抓取。 |
search | 搜索网络并返回按排名排列的结果。仅限 API 密钥。 | 搜索网络,查找 MCP 服务托管选项。 |
google_search | 抓取 Google 搜索的指定查询结果,并返回解析后的结果。 | 抓取 Google 搜索中的鞋类结果,并告诉我排名第一的结果。 |
google_ads | 抓取 Google Ads 搜索结果。 | 抓取 Google Ads 中的笔记本电脑广告,并显示排名靠前的广告。 |
google_lens | 抓取 Google Lens 图片搜索结果。 | 在 Google Lens 中搜索此图片:https://example.com/image.jpg |
google_ai_mode | 抓取 Google AI Mode(AI 搜索)的结果。 | 向 Google AI Mode 提问:最受欢迎的三种犬种是什么? |
google_travel_hotels | 抓取 Google Travel Hotels 搜索结果。 | 在 Google Travel Hotels 中搜索巴黎的酒店。 |
amazon_search | 抓取 Amazon 搜索的指定查询结果,并返回解析后的结果。 | 在 Amazon 搜索无线键盘。 |
amazon_product | 抓取 Amazon 商品页面。 | 抓取 Amazon 商品 B09H74FXNW,并显示其详细信息。 |
amazon_pricing | 抓取 Amazon 商品定价信息。 | 获取 Amazon 商品 B09H74FXNW 的定价。 |
amazon_sellers | 抓取 Amazon 卖家信息。 | 获取 Amazon 卖家 A1R0Z7FJGTKESH 的信息。 |
amazon_bestsellers | 抓取 Amazon 畅销商品列表。 | 显示 Amazon 电子产品畅销商品。 |
walmart_search | 抓取 Walmart 搜索的指定查询结果,并返回解析后的结果。 | 在 Walmart 搜索露营帐篷。 |
walmart_product | 抓取 Walmart 商品页面。 | 抓取 Walmart 商品 15296401808。 |
target_search | 抓取 Target 搜索的指定查询结果,并返回解析后的结果。 | 在 Target 搜索厨房电器。 |
target_product | 抓取 Target 商品页面。 | 抓取 Target 商品 92186007。 |
tiktok_post | 抓取 TikTok 帖子 URL 并获取结构化数据(例如互动数据、说明文字、话题标签)。 | 抓取此 TikTok 帖子:https://www.tiktok.com/@nba/video/7393013274725403950 |
tiktok_shop_search | 抓取 TikTok Shop 搜索的指定查询结果,并返回解析后的结果。 | 在 TikTok Shop 搜索手机壳。 |
tiktok_shop_product | 抓取 TikTok Shop 商品页面。 | 抓取 TikTok Shop 商品 1731541214379741272。 |
tiktok_shop_url | 根据 URL 抓取 TikTok Shop 页面。 | 抓取此 TikTok Shop URL:https://www.tiktok.com/shop/s?q=HEADPHONES |
youtube_metadata | 抓取 YouTube 视频元数据。 | 获取 YouTube 视频 dFu9aKJoqGg 的元数据。 |
youtube_channel | 抓取 YouTube 频道视频。 | 抓取 YouTube 频道 @decodo_official。 |
youtube_subtitles | 抓取 YouTube 视频字幕。 | 获取 YouTube 视频 L8zSWbQN-v8 的字幕。 |
youtube_search | 搜索 YouTube 视频。 | 在 YouTube 搜索“How to care for chinchillas”。 |
bing_search | 抓取 Bing 搜索结果。 | 在 Bing 搜索笔记本电脑评测。 |
chatgpt | 向 ChatGPT 发送单条提示词并返回其回答(无对话历史)。 | 请 ChatGPT 用简单的语言解释量子计算。 |
perplexity | 向 Perplexity 发送单条提示词并返回其回答(无对话历史)。 | 请 Perplexity 介绍 Web 开发的最新趋势。 |
参数
以下参数根据用户提示推断得出:
| 参数 | 描述 |
|---|---|
jsRender | 在无头浏览器中渲染目标 URL。 |
geo | 设置请求的来源国家/地区。 |
locale | 设置请求的区域设置。 |
tokenLimit | 返回字符数上限(默认值为 45000)。在上下文窗口较小时很有用。 |
prompt | 发送给 AI 工具(chatgpt、perplexity)的提示词。 |
search | 启用 ChatGPT 的网络搜索功能(仅适用于 chatgpt)。 |
xhr | 为 true 时,在支持的情况下将 XHR 或 fetch 响应包含在抓取结果中(例如 tiktok_post)。 |
deviceType | 要模拟的设备类型(desktop、mobile、tablet)。已解析的目标限制更严格:Amazon 工具仅支持桌面设备,因此会省略此参数;bing_search/google_ai_mode 仅接受 desktop 和 mobile。 |
domain | 请求使用的域名(例如 amazon.com、amazon.co.uk、bing.com)。 |
pageFrom | 分页的起始页码。 |
deliveryZip | 配送地点的邮政编码(Target、Walmart)。 |
storeId | 本地库存的门店 ID(Walmart)。 |
country | TikTok Shop 请求使用的国家/地区。 |
limit | 返回结果的数量上限(例如 YouTube 频道视频)。 |
language_code | 字幕的语言代码(例如 en、es)。 |
示例
抓取受地理位置限制的内容
使用以下提示词查询你的 AI Agent:
Scrape peacock.com from a German IP address and tell me the pricing.
此提示词会说明 peacock.com 受到地理位置限制。要绕过地理限制:
Scrape peacock.com from a US IP address and tell me the pricing.
限制响应令牌数量
如果你的 Agent 的上下文窗口较小,系统会自动截断抓取返回的内容,以避免上下文溢出。你可以在提示词中增加返回的令牌数量:
Scrape hacker news, return 50k tokens.
如果你的 Agent 的上下文窗口较大,请告诉它返回 full content:
Scrape hacker news, return full content.
与 Decodo Agent 技能搭配使用
此服务为你的 Agent 提供抓取_工具_。
Decodo/agent-skills 会教它何时调用这些工具、使用哪个接口,以及如何调用它们——这样 Agent 就能自行选择合适的工具和参数,而不是靠猜。
这些技能可通过 decodo CLI、此托管 MCP 服务和原始 HTTP API 进行调用;如果没有可用的 shell,还会自动回退到 MCP 服务。将两者搭配使用,可以在同一套配置中同时为你的 Agent 提供执行层(此服务)和决策层(这些技能)。
快速开始(Claude Code):
/plugin marketplace add Decodo/agent-skills
/plugin install decodo@decodo-skills
有关手动安装和其他 Agent(Cursor、Codex、Gemini CLI、Windsurf)的信息,请参阅 agent-skills README。
相关仓库
Web Scraping API、 Decodo agent skills、 Decodo OpenClaw skill
立即体验
只需点击几下,即可将 Decodo MCP Server 接入你的 AI 工作流,为你的 AI Agent 提供来自任意网站的实时数据。
许可证
所有代码均以 MIT License 发布。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。
