Taobaoscraper Mcp Server

TaobaoScraper MCP 服务

一个用于从 Taobao/Tmall 和 JD.com（Jingdong）抓取商品数据的 MCP（Model Context Protocol）服务。提供 8 个可直接在 Claude Desktop 或 Claude Code 中使用的工具。

平台：Windows（需要 Chrome 浏览器） 语言：Python 3.10+

功能

• 多平台抓取 - 在一个工具中抓取 Taobao、Tmall 和 JD.com
• 8 个 MCP 工具 - 抓取、任务管理、通知、系统控制
• 热门搜索词 - 发现热门关键词和市场洞察
• 导出 Excel - 自动将结果保存为 .xlsx 文件
• 推送通知 - 微信（ServerChan / PushPlus）和电子邮件提醒
• 双传输协议 - stdio（本地）和 SSE（远程）协议
• 三语图形界面 - 中文 / 英文 / 韩文界面（可选）

架构

Claude Desktop / Claude Code
        |
   MCP Server (stdio or SSE)
        |
   FastAPI Backend (:8000)
        |
   Selenium + Chrome (:9222)

快速开始

1. 前置条件

• Python 3.10+
• Google Chrome 浏览器
• Windows 操作系统

2. 安装

git clone https://github.com/jhongjun1981/taobao-scraper-mcp.git
cd taobao-scraper-mcp

# Install MCP server dependencies
pip install -r requirements_mcp.txt

# Install API backend dependencies
pip install -r requirements_api.txt

3. 配置

cp .env.example .env
# Edit .env to set your SCRAPER_API_KEY

4. 启动带有调试端口的 Chrome

# Close all Chrome instances first, then:
START_GUI.bat
# Or manually:
chrome.exe --remote-debugging-port=9222 --user-data-dir="%LOCALAPPDATA%\Google\Chrome\Debug Profile"

5. 登录 Taobao（仅首次需要）

打开 Chrome 并登录 Taobao 账号。Cookie 会保存在调试配置文件中。

6. 启动 API 后端

python run_api.py

7. 配置 MCP 服务

对于 Claude Code - 添加到 .claude/settings.json：

{
  "mcpServers": {
    "taobao-scraper": {
      "command": "python",
      "args": ["run_mcp.py"],
      "cwd": "/path/to/taobao-scraper-mcp"
    }
  }
}

对于 Claude Desktop - 添加到 claude_desktop_config.json：

{
  "mcpServers": {
    "taobao-scraper": {
      "command": "python",
      "args": ["run_mcp.py"],
      "cwd": "C:\\path\\to\\taobao-scraper-mcp"
    }
  }
}

SSE 模式（远程）：

python run_mcp.py --transport sse --port 8001

{
  "mcpServers": {
    "taobao-scraper": {
      "type": "sse",
      "url": "http://your-server:8001/sse"
    }
  }
}

工具参考

抓取工具

scrape_products

从电商平台抓取商品数据。

参数	类型	默认值	描述
keyword	string	必填	搜索关键词
platform	string	"taobao"	"taobao" / "jd" / "multi"
pages	int	3	抓取页数
sort_by	string	"sale"	排序方式
tmall_only	bool	false	仅抓取 Tmall 商品
exact_match	bool	false	精确匹配关键词
price_min	float	0	最低价格筛选
price_max	float	0	最高价格筛选
wait_for_result	bool	true	等待完成
timeout	int	300	超时时间（秒）

示例：“从 Taobao 和 JD 两个平台抓取跑鞋”

scrape_hotwords

抓取热门/相关搜索关键词，用于市场分析。

参数	类型	默认值	描述
keyword	string	必填	基础关键词
wait_for_result	bool	true	等待完成
timeout	int	120	超时时间（秒）

任务管理工具

list_tasks

列出最近的抓取任务及其状态（pending/running/completed/failed）。

参数	类型	默认值	描述
limit	int	20	返回的任务数上限

get_task

获取指定任务的详细状态。设置 include_result=true 可获取完整结果。

参数	类型	默认值	描述
task_id	string	必填	任务 ID
include_result	bool	false	包含结果数据

cancel_task

取消正在运行或等待中的任务。

参数	类型	默认值	描述
task_id	string	必填	要取消的任务 ID

导出工具

list_files

列出所有已导出的 Excel 数据文件，包括文件名、大小和修改时间。

通知工具

send_notification

通过微信或电子邮件发送推送通知。

参数	类型	默认值	描述
channel	string	必填	"wechat" / "email" / "test"
title	string	""	通知标题
content	string	""	通知正文
wx_type	string	"server_chan"	"server_chan" 或 "pushplus"

系统工具

system_status

检查系统运行状况或重启 Chrome。

参数	类型	默认值	描述
action	字符串	"check"	"check" 或 "restart_chrome"

环境变量

变量	默认值	描述
SCRAPER_API_KEY	changeme-your-secret-key	API 身份验证密钥
SCRAPER_API_URL	http://localhost:8000	FastAPI 后端 URL
SCRAPER_CHROME_PORT	9222	Chrome 调试端口
MCP_SSE_HOST	0.0.0.0	SSE 监听地址
MCP_SSE_PORT	8001	SSE 监听端口
MCP_HTTP_TIMEOUT	30	HTTP 请求超时

数据输出

抓取的数据会自动保存为 Excel 文件，包含：

• 商品标题、图片 URL、价格
• 月销量、评论数
• 店铺名称、店铺类型、店铺地区
• 商品 URL、抓取时间戳

重要说明

• 淘宝需要登录 - 你必须先在 Chrome 中登录自己的淘宝账号
• 京东无需登录 - 抓取京东数据不需要身份验证
• 一次处理一个任务 - Chrome 一次只能处理一个抓取任务
• 仅限 Windows - Chrome 自动化层使用 Windows 专用 API
• 遵守速率限制 - 过度抓取可能触发反机器人保护机制

许可证

MIT 许可证 - 参见 LICENSE 文件。