webextrator

WebExtrator 网页渲染与提取

通过 AceDataCloud 的 WebExtrator API 渲染和提取网页内容——使用真正的无头 Chromium，以及三层提取管线（schema.org JSON-LD 映射器 → 大模型类型化提取器 → Readability/Markdown 回退方案）。

**设置：**令牌设置请参阅身份验证。

快速开始

curl -X POST https://api.acedata.cloud/webextrator/extract \
  -H "Authorization: Bearer $ACEDATACLOUD_API_TOKEN" \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com", "expected_type": "general"}'

几秒内即可同步返回——无需轮询任务。

端点

路径	用途
POST /webextrator/render	无头 Chromium 渲染 → 原始 HTML + 清理后的文本 + 标题
POST /webextrator/extract	渲染 + 结构化提取（schema.org + 大模型类型）+ Markdown
POST /webextrator/tasks	查询历史渲染/提取任务信封（保留 7 天，免费）

工作流

1. 提取类型化内容

POST /webextrator/extract
{
  "url": "https://example.com",
  "expected_type": "general"
}

真实响应（已删节）：

{
  "success": true,
  "task_id": "604b1cfb-6c5a-42c9-b900-a281e1b9c3c5",
  "trace_id": "f2a7c0b0-c17c-4bc9-b6e7-9c59746dd366",
  "elapsed": 0.003,
  "data": {
    "kind": "extract",
    "url": "https://example.com",
    "finalUrl": "https://example.com/",
    "contentType": "general",
    "title": "Example Domain",
    "description": "This domain is for use in documentation examples without needing permission. Avoid use in operations.",
    "language": "en",
    "images": [],
    "links": [],
    "markdown": "...",
    "text": "...",
    "structured": { "schemaOrg": {}, "openGraph": {}, "jsonLd": [] }
  }
}

2. 渲染原始 HTML

POST /webextrator/render
{
  "url": "https://example.com",
  "wait_until": "networkidle",
  "block_resources": ["image", "media", "font"]
}

返回 data.html、data.text、data.title、data.status、data.finalUrl。

3. 查询任务

POST /webextrator/tasks
{
  "action": "retrieve",
  "id": "604b1cfb-6c5a-42c9-b900-a281e1b9c3c5"
}

参数

渲染与提取（通用）

参数	必填	描述
url	是	要渲染的页面 URL（http(s)://）
wait_until	否	load / domcontentloaded / networkidle / commit（默认值为 networkidle）
timeout	否	导航超时时间，单位为秒（默认值为 30）
delay	否	wait_until 后额外等待的时间，单位为秒（适用于 SPA）
wait_for_selector	否	就绪前等待的 CSS 选择器
block_resources	否	丢弃 image/font/media/stylesheet/xhr/fetch
headers	否	发往目标站点的额外请求标头
user_agent	否	覆盖浏览器 User-Agent
async	否	true 表示提交时不阻塞；轮询 /webextrator/tasks 获取结果
callback_url	否	异步运行时，最终信封将发送到此 URL

仅提取

参数	必填	描述
expected_type	否	product / article / general——跳过启发式判断
enable_llm	否	当未找到 schema.org 时，允许使用大模型提取器（默认值为 false）

任务

参数	必填	描述
action	是	retrieve（单个）或 retrieve_batch（多个）
id / trace_id	二选一	用于 retrieve
ids / trace_ids	二选一	用于 retrieve_batch

注意事项

• 参数使用 snake_case（wait_until、block_resources），而不是 camelCase
• 命中缓存仍会计费；相同 URL 的返回时间约为 0.003 秒
• expected_type 仅接受 product/article/general——类型化内容（recipe/video/job）会根据 schema.org 自动检测
• 如果页面提供了 schema.org JSON-LD，enable_llm 不会生效——确定性映射器会免费优先处理
• Tasks API 免费，记录仅保留 7 天

MCP：pip install mcp-webextrator | 托管服务：https://webextrator.mcp.acedata.cloud/mcp | 查看所有 MCP 服务