mcpField
B
browser-automation

browser-automation

github.com/borghei开发1.0k109 次安装1 周前更新
代码仓库

关于 browser-automation

browser-automation 是面向工程任务的浏览器自动化技能，可审查脚本、生成表单自动化代码和带限速的网页抓取代码。它强调先确认目标、授权和请求策略，再生成自动化方案。

主要功能

  1. 01检查脚本中的检测特征
  2. 02从表单生成自动化脚本
  3. 03生成带限速的抓取代码
  4. 04提供合规抓取建议

适用场景

  1. 01审查现有网页抓取脚本
  2. 02根据表单 HTML 生成填写脚本
  3. 03为授权网站生成抓取代码

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/borghei/claude-skills --skill browser-automation

安装后在 Claude Code 中输入/browser-automation确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
browser-automation-guide.md
scripts/
anti_detection_checker.py
form_automation_builder.py
scraping_toolkit.py

详细介绍

浏览器自动化

类别： 工程 领域： Web 自动化

概述

浏览器自动化技能提供一系列工具，用于构建可靠的 Web 自动化、检查脚本中的机器人检测特征、生成表单自动化代码，以及创建包含速率限制和最佳实践的 Web 抓取方案。

先确认信息

生成自动化方案前，请确认以下输入。如果有任何信息未知或模糊，请询问，不要自行假设：

  • 目标网站和任务 — URL，以及需要自动化或抓取的具体内容（决定生成的选择器和流程）
  • 要使用的工具 — 审查现有脚本、构建表单自动化，还是生成抓取器（决定使用 anti_detection_checker.py、form_automation_builder.py 还是 scraping_toolkit.py）
  • 礼貌策略和授权 — 礼貌或激进的策略、是否遵守 robots.txt，以及你是否获准自动化此目标（决定生成代码中的请求延迟和退避策略）

停止规则：只询问最能影响输出的 2-3 项。如果用户说“先起草一版”，则继续，并在产物开头列出假设。

快速开始

# Check automation script for detection signatures
python scripts/anti_detection_checker.py --file ./my_scraper.py

# Generate form automation code from HTML
python scripts/form_automation_builder.py --url https://example.com/form --output form_script.py

# Generate scraping code with rate limiting
python scripts/scraping_toolkit.py --url https://example.com --strategy polite --output scraper.py

工具概览

工具用途关键标志
anti_detection_checker.py审查自动化代码中的机器人检测特征--file、--format
form_automation_builder.py根据 HTML 分析生成表单填写脚本--url、--html-file、--output
scraping_toolkit.py生成带速率限制的 Web 抓取代码--url、--strategy、--output

工作流

构建可靠的抓取器
  1. 使用 scraping_toolkit.py 分析目标并生成基础代码
  2. 使用 anti_detection_checker.py 检查生成的代码
  3. 处理发现的所有检测特征
  4. 逐步测试速率限制
自动提交表单
  1. 向 form_automation_builder.py 提供表单 HTML
  2. 检查生成的脚本中的字段映射
  3. 自定义数据源和验证规则
  4. 对最终脚本运行反检测检查

参考文档

常见模式

礼貌抓取
  • 遵守 robots.txt 指令
  • 出错时实施指数退避
  • 在请求之间延迟 2-5 秒
  • 使用描述性 User-Agent 标识你的机器人
  • 缓存响应以尽量减少重复请求
反检测最佳实践
  • 以真实的方式轮换 User-Agent 字符串
  • 随机化请求时间（避免固定间隔）
  • 妥善处理 Cookie 和会话
  • 避免暴露无头浏览器指纹的特征

评论

支持 Markdown