mcpField
W
web-scraper

web-scraper

github.com/cowork-os数据与数据库51761 次安装今天更新
代码仓库

关于 web-scraper

基于 Scrapling 抓取网页并提取结构化内容的技能,适用于动态页面或特定数据提取,不用于简单 URL 获取或本地文件。

主要功能

  1. 01使用 Scrapling 抓取网页
  2. 02通过 CSS 选择器定位内容
  3. 03提取文本、表格、链接、图片和元数据

适用场景

  1. 01收集动态网页中的结构化数据
  2. 02从 URL 提取指定内容和链接

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/cowork-os/cowork-os --skill web-scraper

安装后在 Claude Code 中输入/web-scraper确认已加载。

详细介绍

网页抓取器

用途

使用 Scrapling 抓取网页并提取结构化数据。

路由

  • 使用场景:用户想要抓取网站内容,尤其是包含动态内容或需要提取结构化数据的页面时使用。
  • 不适用场景:对于使用 web_fetch 即可轻松处理的简单 URL 获取任务,请勿使用。不要用于内部文件或本地内容。
  • 输出:提取的网页内容,包括文本、表格、链接、图片和元数据。
  • 成功标准:成功从目标 URL 提取所需内容,并以清晰的格式呈现。

触发示例

正向
  • 请使用 web-scraper 技能处理此请求。
  • 帮我使用网页抓取器。
  • 用户想要抓取网站内容,尤其是包含动态内容或需要提取结构化数据的页面时使用。
  • 网页抓取器:提供可执行的结果。
负向
  • 对于使用 web_fetch 即可轻松处理的简单 URL 获取任务,请勿使用。不要用于内部文件或本地内容。
  • 请勿将 web-scraper 用于无关请求。
  • 此请求不属于网页抓取器的适用范围。
  • 这只是概念讨论,不需要执行工具工作流。

参数

名称类型必填描述
urlstring是要抓取的 URL
selectorstring否用于指定内容的 CSS 选择器(可选)

运行时提示词

  • 当前运行时提示词长度:1117 个字符。
  • 运行时提示词直接定义在 ../web-scraper.json 中。

评论

支持 Markdown