mcpField
C
crawlora

crawlora

github.com/crawlora-org数据与数据库142 次安装2 天前更新
代码仓库

关于 crawlora

Crawlora 是一项技能，通过托管 API 获取公共网站的规范化 JSON 数据，供 Agent 执行实时网络研究。它覆盖搜索、市场平台、社交媒体、金融和评论等来源，无需手动解析 HTML。

主要功能

  1. 01通过托管 API 访问公开网络数据
  2. 02按平台分组的端点目录
  3. 03搜索与查询返回 JSON
  4. 04支持有额度限制的爬取和研究任务
  5. 05辅助脚本避免将 API 密钥放入参数

适用场景

  1. 01查询商品列表与价格
  2. 02获取视频字幕或评论
  3. 03搜索实时网页结果和趋势
  4. 04查询金融报价或应用评论

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/crawlora-org/crawlora-skills --skill crawlora

安装后在 Claude Code 中输入/crawlora确认已加载。

附带文件scripts/crawlora.sh

详细介绍

Crawlora — 结构化公共网络数据

Crawlora 是一个托管 API，可将公共网站内容转换为干净、规范化的 JSON。 当前公共数据目录包含 3,509 个工具，分属 467 个平台组，仓库还提供 169 个可安装的研究技能。一个 API 密钥即可调用随附目录中的端点——涵盖搜索引擎、电商平台、社交和视频、金融和加密货币、地图、应用商店、媒体和评论——让 Agent 无需运行浏览器、代理或 HTML 解析器即可获取真实数据。

范围、计费和作业副作用

此技能会调用 Crawlora 托管的第三方 API。其目录包含广泛的公共网络搜索和有界爬取路由，以及常规的单次数据查询。一些路由会启动持久化研究或有界网络爬取作业，这些作业会在初始请求后继续运行，并保留按所有者隔离的作业状态、事件和结果。成功的请求可能会消耗额度；POST /web/crawl 需要设置 max_credits 限额。在启动此类作业之前，请向用户说明数据源范围、额度限额以及作业会持续运行的行为。不要启动周期性或无界的任务。只能使用用户通过 CRAWLORA_API_KEY 提供的 API 密钥，切勿打印、存储或提交该密钥。

此技能有意排除账户用量、近期 IP、网站监控管理、通用 URL 抓取、APK 分析和批量个人资料数据集端点。专用技能涵盖这些特定工作流，且此辅助工具也会拒绝这些路径。

何时使用此技能

当用户请求获取来自公共网站的实时数据时，请使用 Crawlora，例如：

  • “X 在 Amazon / eBay / Shopify 上的价格是多少？”
  • “获取这段 YouTube 视频的文字稿 / 评论。”
  • “获取最新的 Google / Bing 搜索结果……”或“Google Trends 上什么内容正在走红？”
  • “这款 iOS / Android 应用的评论和评分。”
  • “NVDA 的 Yahoo Finance 报价 / 财务数据”，“CoinGecko 涨幅最大的币种”。
  • “关于……的 TikTok / Instagram / Reddit 帖子”，“关于……的 Trustpilot 评论”。
  • 任何替代方案需要抓取 HTML 或维护爬虫的任务。

如果已安装更具体的 Crawlora 技能，请优先使用它（例如 product-price-research、youtube-research、app-review-mining、 serp-keyword-research）。此综合技能涵盖其他所有场景。

设置（一次性）

  • 在 https://crawlora.net 获取免费的 Crawlora API 密钥（每月 2,000 点额度，无需银行卡）。

  • 导出密钥，以便辅助工具和任何 curl 调用都能读取：

    export CRAWLORA_API_KEY

    运行辅助工具前，将 CRAWLORA_API_KEY 设置为你收到的密钥。

  • 所有请求都会发送到 https://api.crawlora.net/api/v1，并在请求头中携带从环境变量读取的 CRAWLORA_API_KEY。缺少密钥或密钥无效时会返回 401。

工作原理

  1. 选择端点。 打开 reference/catalog.md——其中按平台列出了所有端点及其方法、路径和参数。将用户的任务与平台组匹配，再选择相应端点。
  2. 调用端点，使用 scripts/crawlora.sh（见下文）。它会处理身份验证并输出 JSON。
  3. 解析 JSON 并作答。大多数端点会返回分页列表；请按文档说明传递 page / count 参数。

调用 API

# GET with query params (key=value):
scripts/crawlora.sh /amazon/search k=laptop | jq '.'
scripts/crawlora.sh /google/suggest q="web scraping" | jq '.'
scripts/crawlora.sh /youtube/transcript/dQw4w9WgXcQ | jq '.'

# POST endpoints take a JSON body (note the -X POST):
scripts/crawlora.sh -X POST /google/search '{"keyword":"web scraping api","language":"en","country":"us"}' | jq '.'
scripts/crawlora.sh -X POST /google/trends/explore/interest-over-time '{"keywords":["bitcoin"]}' | jq '.'

所有请求都请使用 scripts/crawlora.sh；它可以避免将 API 密钥暴露在命令行参数中。

目录会标明每个端点的 HTTP 方法。路径参数（如 {id}）会替换进 URL；GET 参数放在查询字符串中；POST 参数放在 JSON 请求体中。

端点参考

完整端点列表（方法、路径、参数、说明）按平台分组列于 reference/catalog.md。

示例

  • 产品价格： scripts/crawlora.sh /amazon/search k="standing desk" → 读取 .data[].price 以比较商品列表。
  • YouTube 转录文本： 从 URL 中解析视频 ID，然后运行 scripts/crawlora.sh /youtube/transcript/<id> 并进行总结。
  • 趋势检查： scripts/crawlora.sh -X POST /google/trends/explore/interest-over-time '{"keywords":["electric bikes"]}'。
  • 金融： scripts/crawlora.sh /yahoo-finance/ticker/NVDA/quote（确切路径和参数请参阅目录中的 Yahoo Finance 分组）。

说明与限制

  • 额度 / 成功后付费： 仅对 2xx 响应计费；失败不会收费。 免费套餐为每月 2,000 个额度。请在 https://crawlora.net 获取密钥。
  • 长时间运行的任务： /research/jobs 和 /web/crawl 会创建持久任务。 使用 max_credits 限制抓取额度，仅在需要时轮询；当用户不再需要任务时，请取消任务。
  • 仅限公开数据。 Crawlora 返回公开可用的网页数据；不会涉及第三方账户凭据。请遵守各数据源的条款和速率限制。
  • 安全性： 仅将密钥保存在 CRAWLORA_API_KEY 中——切勿硬编码、放入 URL 查询参数或提交到版本库。
  • 部分搜索端点在上游提供质询页面时会返回 503；请重试或改用其他搜索服务商（Google ↔ Bing ↔ Brave）。

评论

支持 Markdown