crawlora-datasets

Crawlora 托管数据集

查询 Crawlora 自有的预抓取、预索引数据集——在 Crawlora 已构建并按计划刷新的语料库中进行搜索、分面查询和按 ID 获取记录。 这与此仓库中的其他技能不同：其他技能会调用各平台的实时端点（一次请求，一页结果）；此技能则会在包含数百万条已收集记录的搜索索引中查询，因此更适合回答总体层面的问题（“有多少”“按 X 排名前 N”“所有符合 Y 的记录”），而不是查询单条记录。

何时使用此技能

• “有多少 / X 中有多大比例符合 Y？”——分面 / 聚合问题。
• “查找所有具有 Y 属性的 X”（例如，薪资超过 $150k 的职位、评分达到 4.5+ 的应用、位于某城市附近的 GitHub 用户、某都会区的房屋）。
• “给我 Z 的完整列表”，而不是单条记录——批量 / 列表调研。
• 以下任一数据集：Airbnb 市场、应用商店应用 / 评论 / 榜单、GitHub/Instagram/X 用户、招聘信息及哪些公司正在招聘、美国住房市场（来源于 Redfin）、Google 地图商家、Goodreads 作者 / 图书、Apple Podcasts 节目、Chrome Web Store 扩展程序、PitchBook 公司 / 基金 / 投资者 / 顾问 / LP、PlayStation 游戏、Product Hunt 创作者 / 产品 / 趋势、Reddit 热门趋势、SEC 公司及机构持仓、Steam 游戏 / 价格 / 玩家数量 / 评论 / 新闻 / 成就 / 榜单、TrustMRR 初创公司、记者、Numbeo 生活成本城市 / 国家、网站技术栈。
• 如果任务是“立即查找这一个个人资料 / 列表”（例如 youtube-research、movie-tv-research），请改用对应的平台专用技能——数据集会定期刷新，并非实时数据。

设置（一次性）

• 在 https://crawlora.net 获取免费的 Crawlora API 密钥（每月 2,000 个积分，无需银行卡）。
• 运行辅助脚本前，将 CRAWLORA_API_KEY 设置到环境中。
• 辅助脚本会从环境中读取 CRAWLORA_API_KEY，并向 https://api.crawlora.net/api/v1 发送请求。缺少或无效的密钥会返回 401。

工作原理

每个数据集都遵循 /datasets/<dataset-id>/... 下的相同结构：

1. 发现 — GET /datasets 会列出所有可用的数据集 ID 及其功能（搜索 / 分面 / 单条记录 / 附近查询）。
2. 搜索 — GET /datasets/<id>/search 支持全文搜索和筛选搜索；使用 page/size 翻页（各数据集的说明见 reference/endpoints.md）。
3. 分面 — GET /datasets/<id>/facets 会一次性返回数据集中所有可分面字段的汇总细分（例如，jobs 数据集会在一次调用中返回热门公司、部门、地点、资历、远程办公比例等）——适用于“有多少 / 按 X 细分”的问题。
4. 单条记录 — GET /datasets/<id>/items/{id} 会根据数据集键获取一条记录（因数据集而异：login、username、slug、cik、appid、domain、region_type/table_id 等）。
5. 附近查询 — 在支持此功能的数据集中（airbnb-markets、github-users、google-map-businesses、jobs），GET /datasets/<id>/nearby 会查找 lat/lon 坐标在 radius_km 半径范围内的记录。

完整端点列表、各数据集 ID 和参数：reference/endpoints.md。

调用 API

# List every dataset id and what it supports:
scripts/crawlora.sh /datasets | jq '.'

# Search the jobs dataset (all companies' live postings):
scripts/crawlora.sh /datasets/jobs/search q="staff engineer" location="remote" | jq '.'

# Facet: hiring-market breakdown (top companies, seniority, remote share, ...):
scripts/crawlora.sh /datasets/jobs/facets | jq '.'

# Item: one GitHub user by login:
scripts/crawlora.sh /datasets/github-users/items/torvalds | jq '.'

# Nearby: GitHub users within 50km of a coordinate (radius in meters):
scripts/crawlora.sh /datasets/github-users/nearby lat=37.7749 lon=-122.4194 radius_m=50000 | jq '.'

所有请求都使用 scripts/crawlora.sh；它会避免在命令行参数中暴露 API 密钥。

端点参考

请参阅 reference/endpoints.md，了解所有数据集 ID、搜索 / 分面 / 单条记录 / 附近查询端点及其参数。

示例

• **招聘市场动态：**使用 /datasets/jobs/facets 查看汇总细分数据（热门公司、资历级别、远程办公占比），然后使用 /datasets/jobs/companies 查看哪些雇主正在积极发布职位。
• **应用商店概览：**按类别和评分筛选 /datasets/apps/search，然后使用 /datasets/apps-reviews/search 了解热门结果背后的用户情绪。
• **初创公司收入排行榜：**使用按 MRR 排序的 /datasets/trustmrr/search，然后使用 /datasets/trustmrr/history/{slug} 查看某家公司的趋势线。
• **住房市场快照：**使用 /datasets/housing-markets/search 查询某个都市区，然后使用 /datasets/housing-markets/items/{region_type}/{table_id} 查看完整的月度数据序列。

注意事项和限制

• **点数 / 成功后付费：**仅对 2xx 响应计费；免费套餐每月提供 2,000 点数。 密钥获取地址：https://crawlora.net。
• 仅限公开数据——所有数据集均基于公开来源构建。
• **安全性：**密钥仅存放在 CRAWLORA_API_KEY 中——切勿将其硬编码、放入查询参数或提交到代码库。
• 数据集按计划刷新（视来源而定，每日或每周更新），并非实时数据。若要实时查询单条记录，请优先使用此代码库中对应的平台专用技能（例如 job-market-research、movie-tv-research）。
• 结果采用分页方式（page/size）返回——请遍历各页以获取完整数据。