关于 Scrapeer
Scrapeer MCP Server 将 AI Agent 连接到 Scrapeer 的可视化网页抓取工作流。用户可通过拖放编辑器设计流程,Agent 则通过 MCP 执行、检查、调试和修改流程。
主要功能
- 01列出并查看已保存的抓取流程
- 02运行流程并获取结构化结果
- 03查看执行步骤和运行历史
- 04创建、验证和修改流程
- 05查看账户额度并取消云端运行
适用场景
- 01运行已保存的流程收集网页数据
- 02检查失败步骤以调试流程
- 03验证并逐步修改工作流
MCP 相关
该服务向 MCP 客户端提供 Scrapeer 流程管理和执行工具。Agent 可运行并监控流程、获取结果,以及创建或修改流程定义。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
工具
15收录的工具列表 · 更新于 2 周前
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
| limit | integer | 否 | 要返回的最大项目数。默认值为 20,最大值为 100。 |
| offset | integer | 否 | 分页时要跳过的项目数。默认值为 0。 |
详细介绍
Scrapeer MCP 服务
从 Claude Code、Codex、Cursor 和 VS Code Copilot 运行 Scrapeer 可视化网页抓取工作流。
Scrapeer 是一个可视化浏览器自动化和网页抓取平台,适合不想从头编写抓取程序的人使用。你可以在拖放式编辑器中构建确定性的抓取工作流,逐步查看浏览器运行过程,然后在本地或 Scrapeer 云端运行相同的工作流。
这个 MCP 服务将 AI Agent 连接到 Scrapeer,让它们能够:
- 运行已保存的抓取工作流并获取结构化结果
- 检查工作流定义、区块配置、执行步骤和运行历史
- 使用 Scrapeer 的区块目录和验证 API 创建或修补工作流
- 查看账户额度并取消正在运行的云端任务
这样可以有效划分职责:由人类在 Scrapeer 中设计可靠的浏览器工作流,Agent 则通过 MCP 触发、监控、调试和扩展这些工作流。
为什么选择 Scrapeer
Scrapeer 专为透明可视的抓取而打造:你可以准确查看抓取程序的操作、检查每个区块的输出,并在网站发生变化时修复工作流。Scrapeer 不会让 Agent 每次都临时摸索浏览器操作,而是为 Agent 提供一组可靠、经过验证且可按需运行的已保存工作流。
快速开始
在 https://app.scrapeer.com/settings#security 创建 Scrapeer API 密钥,然后将服务添加到 MCP 客户端。这些示例使用 npx,因此用户无需全局安装该软件包。
Claude Code(.mcp.json)
要配置项目级 Claude Code 设置,请在项目根目录中创建 .mcp.json:
{
"mcpServers": {
"scrapeer": {
"command": "npx",
"args": ["-y", "@scrapeer/mcp-server"],
"env": { "SCRAPEER_API_KEY": "sk_..." }
}
}
}
要配置私有的用户级设置,请运行 claude mcp add --scope user --env SCRAPEER_API_KEY=sk_... scrapeer -- npx -y @scrapeer/mcp-server,Claude 会为你的计算机写入正确的 ~/.claude.json 条目。
Codex CLI 和 IDE 扩展(~/.codex/config.toml)
[mcp_servers.scrapeer]
command = "npx"
args = ["-y", "@scrapeer/mcp-server"]
[mcp_servers.scrapeer.env]
SCRAPEER_API_KEY = "sk_..."
Cursor(~/.cursor/mcp.json 或 .cursor/mcp.json)
{
"mcpServers": {
"scrapeer": {
"type": "stdio",
"command": "npx",
"args": ["-y", "@scrapeer/mcp-server"],
"env": { "SCRAPEER_API_KEY": "sk_..." }
}
}
}
VS Code Copilot(.vscode/mcp.json)
{
"servers": {
"scrapeer": {
"type": "stdio",
"command": "npx",
"args": ["-y", "@scrapeer/mcp-server"],
"env": { "SCRAPEER_API_KEY": "sk_..." }
}
}
}
可用工具
读取
| 工具 | 描述 |
|---|---|
scrapeer_list_flows | 列出已保存的抓取工作流 |
scrapeer_get_flow | 获取特定工作流的详细信息 |
scrapeer_get_block_catalog | 列出工作流可用的区块类型及其自定义字段架构。在创建、更新或修补之前,请先调用此工具;猜测类型或配置键会导致验证失败 |
scrapeer_validate_flow | 对工作流 JSON 进行试运行验证,但不保存 |
scrapeer_get_account | 账户信息:额度余额、订阅方案、云端运行可用性 |
运行
| 工具 | 描述 |
|---|---|
scrapeer_run_flow | 触发云端运行并立即返回执行 ID |
scrapeer_run_flow_and_wait | 运行工作流并轮询,直到结果就绪(推荐) |
scrapeer_get_run_status | 查看正在运行或已完成的执行状态 |
scrapeer_get_run_results | 获取已完成运行的结构化输出数据 |
scrapeer_get_run_steps | 获取逐区块的执行明细(便于调试故障) |
scrapeer_list_runs | 列出执行历史,可按状态或工作流筛选 |
scrapeer_cancel_run | 取消正在运行的云端执行 |
修改
| 工具 | 描述 |
|---|---|
scrapeer_create_flow | 使用给定标题创建一个新的(空)工作流 |
scrapeer_update_flow | 替换工作流的完整定义(覆盖整个工作流)。增量编辑时优先使用 scrapeer_patch_flow |
scrapeer_patch_flow | 应用细粒度补丁操作:add_block、update_block_custom、remove_block、add_edge、remove_edge |
构建工作流:推荐顺序
修改工具会强制执行乐观并发控制。每次保存都会发送调用方上次读取时看到的版本标记,网关会拒绝过期写入并返回 409,避免人在编辑器中和大模型通过 MCP 同时编辑时发生静默覆盖。MCP 服务会在同一会话的调用之间自动追踪此版本标记,因此大模型无需手动管理。
典型顺序:
从头创建:
scrapeer_get_block_catalog -> learn valid block types
scrapeer_create_flow -> returns flow_id (event_id cached)
scrapeer_patch_flow flow_id [...] -> add_block ops; cache -> baseProjectEventID
修改现有工作流:
scrapeer_get_block_catalog -> learn valid block types
scrapeer_get_flow flow_id -> caches the current event_id
scrapeer_validate_flow {...} -> optional dry-run before commit
scrapeer_patch_flow flow_id [...] -> uses cached event_id automatically
如果触发 409,缓存的 event_id 会自动失效。重新调用 scrapeer_get_flow,然后重试修改操作。
配置
| 变量 | 必需 | 默认值 | 描述 |
|---|---|---|---|
SCRAPEER_API_KEY | 是 | - | 来自 app.scrapeer.com/settings 的 API 密钥 |
开发
pnpm install
pnpm test
pnpm run build
测试使用 msw 模拟 Scrapeer API。无需真实凭据。
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。