mcpField
F
firecrawl-scrape

firecrawl-scrape

github.com/parcadei数据与数据库3.9k492 次安装39 周前更新
代码仓库

关于 firecrawl-scrape

通过 Firecrawl 服务抓取网页、提取结构化内容并搜索网络的技能，适用于需要获取 Markdown、HTML 或纯文本页面内容的工作流。

主要功能

  1. 01抓取指定 URL
  2. 02提取网页内容
  3. 03搜索网络
  4. 04选择 Markdown、HTML 或纯文本输出

适用场景

  1. 01收集文档页面内容
  2. 02获取网页文本
  3. 03搜索主题并抓取结果

MCP 相关

运行抓取脚本需要配置 `firecrawl` MCP 服务和 `FIRECRAWL_API_KEY`。

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/parcadei/continuous-claude-v3 --skill firecrawl-scrape

安装后在 Claude Code 中输入/firecrawl-scrape确认已加载。

详细介绍

Firecrawl 抓取技能

适用场景

  • 抓取任意 URL 的内容
  • 从网页中提取结构化数据
  • 搜索网络并获取内容

说明

uv run python -m runtime.harness scripts/mcp/firecrawl_scrape.py \
    --url "https://example.com" \
    --format "markdown"
参数
  • --url：要抓取的 URL
  • --format：输出格式，可选 markdown、html、text（默认：markdown）
  • --search：（替代选项）使用搜索查询，而不是直接指定 URL
示例
# Scrape a page
uv run python -m runtime.harness scripts/mcp/firecrawl_scrape.py \
    --url "https://docs.python.org/3/library/asyncio.html"

# Search and scrape
uv run python -m runtime.harness scripts/mcp/firecrawl_scrape.py \
    --search "Python asyncio best practices 2024"

必需的 MCP 服务

需要在 mcp_config.json 中配置 firecrawl 服务，并提供 FIRECRAWL_API_KEY。

评论

支持 Markdown