mcpField
W
web-utilities-research

web-utilities-research

github.com/crawlora-org其他139 次安装2 天前更新
代码仓库

关于 web-utilities-research

通过 Crawlora 获取标准化的网页、地理编码、生活成本、贸易、流量和品牌数据，适合需要组合多类公开网络与商业查询的研究者。

主要功能

  1. 01将网页抓取为 Markdown、HTML 或链接
  2. 02按提供的架构提取结构化数据
  3. 03识别网站技术栈
  4. 04正向与反向地理编码
  5. 05比较生活成本数据
  6. 06查询贸易、流量和品牌信息

适用场景

  1. 01收集并整理公开网页内容
  2. 02识别网站使用的技术
  3. 03比较不同城市的生活成本
  4. 04查询企业贸易记录或网站流量

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/crawlora-org/crawlora-skills --skill web-utilities-research

安装后在 Claude Code 中输入/web-utilities-research确认已加载。

附带文件reference/endpoints.mdscripts/crawlora.sh

详细介绍

Web 情报工具

一组通用查询工具，适用于不属于某个平台的场景： 原始 URL 抓取/提取、技术栈识别、地理编码、生活成本对比、进出口贸易记录、网站流量和品牌识别——全部以标准化 JSON 的形式从 Crawlora API 返回。

何时使用此技能

  • “抓取这个 URL，并为我提供整洁的 Markdown/HTML。”
  • “从这个页面提取结构化数据（一个 schema）。”
  • “这个网站是用什么构建的？”（技术栈识别）
  • “X 的地址/坐标是什么？”（正向或反向地理编码）
  • “在 生活比在 贵多少？”（Numbeo）
  • “这家公司进口什么，又是从谁那里进口的？”（ImportYeti——美国海关记录）
  • “这个网站的流量有多少？”（SimilarWeb）
  • “将这个域名解析为品牌名称/Logo。”

设置（一次性）

  • 获取免费的 Crawlora API 密钥（每月 2,000 个额度，无需银行卡）：https://crawlora.net。
  • 运行辅助脚本前，在环境中设置 CRAWLORA_API_KEY。
  • 辅助脚本会从环境中读取 CRAWLORA_API_KEY，并向 https://api.crawlora.net/api/v1 发送请求。密钥缺失/无效时会返回 401。

工作原理

  1. 抓取/提取/技术栈（POST） — POST /web/scrape 会将 URL 以 Markdown/HTML/链接/元数据的形式返回（{"url": "...", "formats": ["markdown"]}）； POST /extract 会返回符合你提供的 schema 的 JSON （{"url": "...", "schema": {...}}）；POST /web/techstack 会识别 网站使用的技术（{"url": "..."}）。这三个接口都接受顶层扁平字段—— 尽管工具目录将请求体命名为 scrapeOption/extractOption/request，但这些名称并不是 JSON 包装键；请直接将字段放在请求体顶层。
  2. 地理编码 — /geocoding/search（q 或结构化的 street/city/ country）用于正向地理编码；/geocoding/reverse（lat+lon） 用于反向地理编码；/geocoding/lookup（osm_ids）用于查询已知的 OpenStreetMap ID。
  3. Numbeo（生活成本） — /numbeo/cost-of-living/city/{slug} 或 /country 可查询某个地点的完整价格明细； /numbeo/cost-of-living/rankings 可查询排名列表； /numbeo/indices/* 可查询生活质量类指数（传入一个 index 名称）。
  4. ImportYeti — 使用 /importyeti/search（q）查找公司，然后通过 /importyeti/company（slug）获取其美国海关进出口记录摘要。
  5. SimilarWeb — /similarweb/web/{domain} 可查询网站流量 概览；/similarweb/search（q）可将名称解析为域名。
  6. 品牌 — /brand/retrieve（domain）可将域名解析为品牌 元数据（名称、Logo、颜色）。

完整的端点列表、方法和参数：reference/endpoints.md。

调用 API

# Scrape a URL to markdown (POST, flat body):
scripts/crawlora.sh -X POST /web/scrape '{"url":"https://example.com","formats":["markdown"]}' | jq '.'

# Tech-stack fingerprint:
scripts/crawlora.sh -X POST /web/techstack '{"url":"https://example.com"}' | jq '.'

# Geocoding:
scripts/crawlora.sh /geocoding/search q="1600 Amphitheatre Parkway, Mountain View, CA" | jq '.'

# Cost of living:
scripts/crawlora.sh /numbeo/cost-of-living/city/Lisbon | jq '.'

# Site traffic + brand:
scripts/crawlora.sh /similarweb/web/example.com | jq '.'
scripts/crawlora.sh /brand/retrieve domain=example.com | jq '.'

所有请求都使用 scripts/crawlora.sh；它会避免在命令行参数中暴露 API 密钥。

端点参考

请参阅 reference/endpoints.md，了解此技能使用的 Web、 Geocoding、Numbeo、ImportYeti、SimilarWeb 和 Brand 端点。

示例

  • 网站研究组合： 一次性使用 /web/scrape（内容）+ /web/techstack （网站的构建技术）+ /similarweb/web/{domain}（流量）研究竞争对手的网站。
  • 搬迁成本比较： 查询两个城市的 /numbeo/cost-of-living/city/{slug}，对比租金/杂货/交通项目。
  • 供应商研究： 使用 /importyeti/search 查找品牌，然后通过 /importyeti/company 查询其运输历史和已知供应商。

注意事项与限制

  • **额度 / 成功后付费：**仅在返回 2xx 时计费；免费套餐每月提供 2,000 个额度。 请在 https://crawlora.net 获取密钥。
  • 仅限公开数据——只抓取允许 robots 访问的公开页面； 请遵守各网站的使用条款。
  • **安全性：**密钥仅保存在 CRAWLORA_API_KEY 中——切勿将其硬编码、放入查询参数或提交到代码库。
  • /web/scrape、/extract 和 /web/techstack 接收扁平的顶层字段，且已通过实际请求验证（scrape 使用 url、formats；extract 使用 url、schema；techstack 使用 url）——工具目录中的 scrapeOption/ extractOption/request 名称描述的是请求正文的用途，并不表示需要将字段嵌套在这些键下。工具架构中也未列出较少使用的字段（render、only_main_content、/extract 的完整 JSON Schema）——依赖这些字段前，请先在 crawlora.net/docs 或操场确认。
  • ImportYeti 和 SimilarWeb 的数据更新频率由各自的数据提供方决定，并非实时数据。

评论

支持 Markdown