关于 Octoparse MCP Server
Octoparse MCP Server 将 Octoparse 网页采集能力提供给 MCP 客户端,适用于使用预设模板创建和管理云任务的用户。它支持搜索模板、执行任务并导出结构化数据。
主要功能
- 01搜索采集模板
- 02通过预设模板创建并运行云任务
- 03校验模板参数
- 04搜索并管理现有任务
- 05导出多种格式的数据
适用场景
- 01按关键词查找采集模板
- 02运行模板采集网站数据
- 03导出已完成任务的结果
- 04管理账户中的云任务
MCP 相关
它通过托管的 Streamable HTTP 端点连接 MCP 客户端,并提供模板搜索、任务管理和数据导出工具。支持 OAuth 或 API key 身份验证。
配置
远程服务无需本地安装。选择你使用的客户端,复制配置或使用一键安装。
https://mcp.octoparse.comclaude mcp add --transport http octoparse https://mcp.octoparse.com{"mcpServers":{"octoparse":{"type":"http","url":"https://mcp.octoparse.com"}}}在 Cursor 中打开{"servers":{"octoparse":{"type":"http","url":"https://mcp.octoparse.com"}}}在 VS Code 中打开{"mcpServers":{"octoparse":{"type":"http","url":"https://mcp.octoparse.com"}}}{"mcpServers":{"octoparse":{"serverUrl":"https://mcp.octoparse.com"}}}命令在终端中运行;JSON 粘贴到对应客户端的 MCP 配置后重启。需要授权的服务会在首次连接时提示登录。
工具
详细介绍
Octoparse MCP 服务
Octoparse MCP 服务将兼容 MCP 的 AI 客户端连接到 Octoparse,让用户可以发现抓取模板、根据 Octoparse 预设模板创建云任务、管理现有任务并导出结构化数据。
托管服务
使用托管的 Streamable HTTP 端点:
https://mcp.octoparse.com
请将此项配置为 MCP 服务端点,而不是 REST API 工具。
身份验证
托管服务正式支持 OAuth 和 API 密钥两种身份验证方式:
- OAuth:当 MCP 客户端可以打开浏览器授权流程时,这是默认选项。
- API 密钥:适用于可以发送自定义 HTTP 标头的客户端,是一种可选的身份验证方式。
使用 API 密钥模式时,请将密钥放在 x-api-key 标头中。请勿将真实密钥放入源代码管理、问题报告、屏幕截图或共享日志中。
快速开始
通用 HTTP MCP 配置:
{
"mcpServers": {
"octoparse": {
"type": "http",
"url": "https://mcp.octoparse.com"
}
}
}
Claude OAuth/默认身份验证:
claude mcp add --transport http octoparse https://mcp.octoparse.com
使用 API 密钥的 Claude:
claude mcp add --transport http octoparse https://mcp.octoparse.com --header "x-api-key: YOUR_API_KEY"
Codex CLI:
codex mcp add octoparse --url https://mcp.octoparse.com
Gemini CLI 示例配置:
{
"mcpServers": {
"octoparse": {
"httpUrl": "https://mcp.octoparse.com",
"oauth": {
"clientId": "Octoparse",
"enabled": true
}
}
}
}
添加服务后,如果客户端提示进行 OAuth 身份验证,请在浏览器中完成授权。
更多客户端示例请参阅配置。
工具
| 工具 | 用途 |
|---|---|
search_templates | 按关键词、模板 ID 或 slug 查找 Octoparse 模板。 |
execute_task | 验证参数、根据 Octoparse 预设模板创建云任务并开始提取。 |
export_data | 数据就绪后,将任务结果导出为 JSON、CSV、Excel、HTML 或 XML。 |
search_tasks | 搜索已通过身份验证的账户中的现有任务。 |
start_or_stop_task | 按任务 ID 启动或停止现有云任务。 |
redeem_coupon_code | 兑换用户提供的促销码、优惠券码或资源码。 |
输入、示例和常见失败情况请参阅工具。
典型工作流
search_templates -> execute_task -> export_data
用户提示词示例:
Find a cloud-capable Octoparse template for Amazon product listings, run it for wireless earbuds, and export the result as CSV.
对于现有任务,请使用:
search_tasks -> export_data
计划任务、通知、定期作业和外部自动化由 MCP 客户端或其他自动化系统处理。MCP 服务提供任务和导出工具;它本身不提供独立的计划任务调度器。
范围
Octoparse MCP 服务可以:
- 搜索 Octoparse 模板库。
- 根据 Octoparse 预设模板创建并运行支持云端执行的任务。
- 在执行前验证模板参数。
- 在任务有可用数据时导出已收集的数据。
- 搜索、启动、停止、监控和导出现有支持云端执行的任务,包括现有的支持云端执行的自定义任务。
它不能:
- 通过托管服务运行仅限本地的桌面任务。
- 创建完全自定义的抓取任务。
- 创建或编辑自定义任务配置详情,例如自定义字段、分页规则、循环逻辑、浏览器工作流或提取步骤。
- 上传私有模板。
- 提供账单或账户管理工具。
- 自行安排定期运行。
常见限制
- 某些模板仅限本地运行,必须在 Octoparse 桌面应用中运行。
- 云端执行取决于账户权限、可用积分或配额、目标网站是否可用以及模板是否受支持。
- 长时间运行的任务可能需要后续调用。如果数据仍在收集或导出,请稍候并再次调用
export_data。 - 可以通过
includeTools或excludeToolsURL 参数缩小可用工具范围。请参阅概述。
安全
- 请勿将 API 密钥和 OAuth 令牌放入 Git、日志、屏幕截图或公开问题中。
- 对交互式客户端,尽可能使用 OAuth。
- 仅在能够安全存储标头的客户端中使用
x-api-key。 - 请私下报告漏洞。请参阅安全。
文档
开发
npm install
npm run build
npm test
对于本地环境变量,请将 .env.example 复制为 .env,并仅填写环境所需的值。切勿提交 .env。
贡献
欢迎贡献。创建问题或提交拉取请求前,请阅读 CONTRIBUTING.md。
许可证
MIT。请参阅 LICENSE.md。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。