web-search-scraper-api-skill

网页搜索抓取 API 技能

📖 简介

这项技能通过 BrowserAct Web Search Scraper API 模板，为用户提供一站式网页提取服务。它可以直接从任意给定的 URL 中提取结构化的 Markdown 内容。只需输入目标 URL，即可获取干净、可用的 Markdown 数据。

✨ 功能

1. 无幻觉，确保数据提取稳定精准：预设工作流可避免 AI 生成式幻觉。
2. 无需处理人机验证问题：无需应对 reCAPTCHA 或其他验证挑战。
3. 无 IP 访问限制或地理围栏：无需处理区域 IP 限制。
4. 执行速度更快：与纯 AI 驱动的浏览器自动化方案相比，任务执行速度更快。
5. 极具性价比：与消耗大量 Tokens 的 AI 方案相比，可显著降低数据获取成本。

🔑 API Key 获取流程

运行前，必须检查 BROWSERACT_API_KEY 环境变量。如果未设置，请先不要执行其他操作；应询问用户并等待用户配合提供。 Agent 此时必须告知用户：

"由于您尚未配置 BrowserAct API Key，请先前往 BrowserAct Console 获取您的 Key。"

🛠️ 输入参数详情

Agent 调用脚本时，应根据用户需求灵活配置以下参数：

1. target_url
   • 类型：string
   • 说明：要提取内容的网站 URL。支持任意 HTTP/HTTPS URL。
   • 示例：https://www.browseract.com

🚀 调用方法（推荐）

Agent 应执行以下独立脚本，实现“一条命令获取结果”：

# Example invocation
python -u ./scripts/web_search_scraper_api.py "target_url"

⏳ 执行状态监控

由于任务涉及自动化浏览器操作，可能需要较长时间（几分钟）。脚本运行时会持续输出带时间戳的状态日志（例如，[14:30:05] Task Status: running）。 Agent 注意事项：

• 等待脚本返回结果时，请持续关注终端输出。
• 只要终端仍在输出新的状态日志，就说明任务正在正常运行。不要误判为死锁或无响应。
• 如果状态长时间没有变化，或者脚本停止输出且未返回结果，则可以触发重试机制。

📊 数据输出说明

成功执行后，脚本会直接解析并打印 API 响应中的结果。结果包含：

• content：网页的完整 Markdown 内容。

⚠️ 错误处理与重试机制

脚本执行期间若发生错误（例如网络波动或任务失败），Agent 应遵循以下逻辑：

1. 检查输出内容：

   • 如果输出包含 "Invalid authorization"，则表示 API Key 无效或已过期。此时不要重试，应引导用户重新检查并提供正确的 API Key。
   • 如果输出不包含 "Invalid authorization"，但任务执行失败（例如，输出以 Error: 开头或返回结果为空），Agent 应自动重新执行脚本一次。

2. 重试次数限制：

   • 自动重试仅限一次。如果第二次尝试仍然失败，请停止重试并向用户报告具体的错误信息。

🌟 典型用例

1. 文章提取：将新闻文章链接中的主要内容抓取为 Markdown。
2. 博客文章解析：从目标博客文章 URL 下载可读文本。
3. 网页转 Markdown：将任意给定的网站 URL 转换为简洁的 Markdown 格式。
4. 文档抓取：获取教程或文档页面的内容，以便离线阅读。
5. 内容监控：自动提取特定网页的文本，以跟踪更新。
6. 数据处理：解析任意 HTTP/HTTPS URL 的 HTML，并将其内容结构化。