find-data

查找数据技能

帮助研究人员为实证研究项目发现、评估和编目数据集。

此技能会对政府数据库、公共存储库、学术研究复现档案、非政府组织报告和结构化网页内容开展全面且富有创意的搜索，以找出符合研究人员需求的数据集。搜索范围远不止那些显而易见的来源。

---

输入参数

搜索前，请向用户收集以下信息。若有任何信息缺失，请询问。

参数	必填	说明	示例
主题 / 研究问题	是	实质性领域或具体问题	“ICE 执法对心理健康的影响”“托儿服务对劳动力供给的影响”
时间范围	是	所需年份或日期范围	2010–2023、2012 年前后、2005–2020 年月度数据
数据频率	是	时间粒度	年度、季度、月度、每周、每日
分析层级	是	地理和 / 或分析单位层级	全国、州、县、邮编、人口普查区、个人、企业、学校、医院
主题筛选条件	可选	用于聚焦搜索的大致领域	健康、犯罪、教育、劳动力、移民、住房、环境
结果数据还是处理数据	可选	用户需要结果指标、政策 / 处理变化，还是两者都需要	“我需要结果方面的数据——县-月层面的心理健康指标”

如果用户提供的是研究问题，而非结构化参数，请推断相关参数，并在继续之前与用户确认。

---

搜索策略

目标是做到全面且富有创意，而不只是列出大家都知道的显而易见的数据集。面向研究人员的数据搜索，应能发掘他们尚未想到的数据来源。

阶段 1：系统搜索各类来源

针对以下每个类别，结合用户的主题、地理范围和时间参数开展定向网络搜索。每个类别使用多个搜索查询——变换关键词、尝试缩写，并同时尝试机构名称和数据集名称。

类别 A：联邦统计机构和调查

人口普查局（ACS、CPS、decennial、SIPP、ASE、CBP、QWI）、BLS（QCEW、JOLTS、OES、CES、ATUS）、BEA（REIS、州 / 大都市区 GDP）、NCHS（NVSS、NHIS、NHANES、NAMCS、NHAMCS）、CDC（BRFSS、WONDER、WISQARS、YRBSS、PRAMS）、SAMHSA（NSDUH、TEDS、N-SSATS）、DOJ/BJS（NCVS、UCR/NIBRS、NPS、NCRP、LEMAS）、DOE/NCES（CCD、IPEDS、ECLS、NAEP、ELS、HSLS）、HHS（MEPS、MAX/TAF Medicaid、CMS Medicare）、USDA（SNAP QC、FNS 数据、ERS）、HUD（HMDA、PIC、LIHTC）、EPA（TRI、AQS、ECHO）、SSA（行政收入、OASDI）、IRS（SOI）、美联储（SCF、SHED、Call Reports）、DHS（移民统计年鉴）、ICE（拘留、遣返）、DOL（失业保险申请、WARN）、FEMA、FDA、NIH/NCI（SEER）、AHRQ（HCUP、SID、NIS）。

类别 B：州和地方政府数据

州卫生部门、生命统计办公室、儿童福利机构（州级 NCANDS 提取数据）、州法院系统（联邦案件可查 PACER，州级案件可查州司法机构网站）、惩教部门、州教育机构、州劳工 / 劳动力机构、警察部门（部分会发布事件级数据）、法医 / 验尸办公室、州保险监管机构、州 Medicaid 机构、县评估员 / 登记官办公室。

类别 C：学术和研究数据存储库

ICPSR、Harvard Dataverse、OpenICPSR、Roper Center、IPUMS（CPS、ACS、NHIS、ATUS、DHS、NHGIS、Terra）、Stanford Open Policing Project、Opportunity Insights、Chetty/Hendren 流动性数据、Eviction Lab、Police Scorecard、Marshall Project、Vera Institute、Gun Violence Archive、RAND 数据集、Urban Institute、相关文献中已发表论文的复现包（搜索 AEA 注册库、期刊补充材料、作者网站、GitHub）。

类别 D：国际及跨国来源

WHO、世界银行（WDI、微观数据）、OECD、联合国机构、Eurostat、DHS Program（人口与健康调查）、LSMS、European Social Survey、Latinobarómetro、各国统计部门。

类别 E：私人、非政府组织及机构数据

Robert Wood Johnson Foundation（County Health Rankings）、KFF、Annie E. Casey（KIDS COUNT）、Guttmacher Institute、March of Dimes（PeriStats）、National Alliance on Mental Illness、National Council on Aging、发布数据的基金会和智库（Brookings、AEI、Pew、Gallup）、行业协会、专业组织、医院／保险公司数据（部分可公开获取）。

类别 F：创意及非传统来源

这正是这项技能大显身手的地方。跳出传统数据集的范畴思考：

• 可抓取的结构化网络内容：纪念／荣誉页面（ODMP 警察因公殉职数据库、殉职消防员数据库）、法院备案数据库、州执照委员会记录、检查报告（OSHA、餐厅卫生、养老院）、公开会议纪要、竞选资金记录、游说披露、政府合同数据库（USASpending、FPDS）、慈善机构纳税申报表（通过 ProPublica 获取 IRS 990 表）、FDA 不良事件报告（FAERS）、医疗委员会纪律处分、环境许可数据库、建筑许可证记录、房产交易记录、公用事业费率备案、公开薪资数据库。
• 社交媒体和数字痕迹数据：Google Trends、Twitter/X Academic API（历史数据）、Reddit 数据（Pushshift 存档）、Yelp/Google 评论、新闻文章存档（NewsBank、ProQuest、media cloud）、用于获取历史网络内容的 Wayback Machine。
• 呼叫／热线数据：988／危机热线数据（Vibrant Emotional Health）、中毒控制中心数据（AAPCC）、家庭暴力热线记录、城市的 311/911 呼叫数据。
• 行政流程衍生数据：可通过 FOIA 获取的记录、州阳光法案申请、公共记录数据库、解密记录。
• 卫星和地理空间数据：夜间灯光（VIIRS/DMSP）、土地利用／土地覆盖（NLCD）、NASA 空气质量卫星数据、交通数据（FHWA、州 DOT）、手机移动数据（SafeGraph、Streetlight——部分时期的数据可公开获取）。

类别 G：访问受限及需申请的数据

IRS 行政税务数据（通过 Census RDC 获取）、SSA 收入记录、州 Medicaid 理赔数据（通过 DUA 获取）、Medicare 理赔数据（通过 CMS RDC 或 ResDAC 获取）、LEHD/LODES、受限 Census 微观数据（通过 FSRDC 获取）、FBI NIBRS 受限文件、NCANDS 儿童级数据（通过 NDACAN 获取）、含身份标识信息的州生命统计记录、VA 健康记录、监狱行政记录、雇主—雇员匹配数据（LEHD）、征信机构数据（通过 Fed 或研究协议获取）、EHR 数据（通过医疗系统合作获取）。

第 2 阶段：有针对性的深入搜索

完成系统性检索后，继续开展网络搜索：

1. 近期使用相关主题数据的工作论文（在 NBER、SSRN、Google Scholar 上搜索最近 2–3 年发表的「[主题] [方法]」论文——论文的数据章节会揭示数据来源）
2. 密切相关已发表研究的数据附录和复现文件
3. 数据清单和指南（例如，「犯罪数据指南」「面向研究人员的 [主题] 数据资源」）
4. 政府数据目录搜索（data.gov、特定机构的数据门户）
5. 该主题领域的专业数据聚合平台

第 3 阶段：核实并补充信息

对每个有前景的数据集：

1. 访问实际数据页面（使用 web_fetch），确认可用性、格式和覆盖范围
2. 查找数据字典或代码手册——如有，请附上链接
3. 注明访问方式——直接下载、API、申请、FOIA、RDC 等
4. 识别实际提供的文件格式
5. 根据用户参数评估时间和地理覆盖范围
6. 注明已知局限性——抽样、数据抑制、定义变更、缺失年份

---

输出格式

将所有已识别的数据集分为三个层级，然后为每个数据集提供结构化条目。

# Dataset Search Results

**Research question:** [user's question/topic]
**Parameters:** [time window] | [frequency] | [level of analysis] | [topic filter]
**Date of search:** [YYYY-MM-DD]

---

## Tier 1: Publicly Available and Ready to Use

Datasets that can be downloaded now with no application or agreement required.

### [Dataset Name] ([Abbreviation])

| Field | Detail |
|-------|--------|
| **Source** | [Agency/organization] |
| **Access** | [Direct download URL or portal] |
| **Format** | [CSV, Stata .dta, SAS, fixed-width, API, Excel, etc.] |
| **Level** | [Individual, county, state, etc.] |
| **Time coverage** | [Start–End, frequency] |
| **Data dictionary** | [Link if available, or "not available — would need to be constructed from documentation"] |
| **Novelty** | [Commonly used / Moderately known / Underutilized / Novel] |

**What it contains:** [2–3 sentence description of key variables relevant to the user's question]

**Limitations:** [Representativeness, suppression cells, definitional breaks, missing periods, measurement issues]

**How to get it:** [Step-by-step: go to URL, select parameters, download — be specific]

---

## Tier 2: Publicly Available but Requires Scraping or Processing

Data that exists on the public web but is not in a ready-to-analyze format.

### [Source Name]

| Field | Detail |
|-------|--------|
| **Source** | [URL] |
| **Current format** | [HTML tables, PDFs, interactive dashboards, individual records on web pages] |
| **Target format** | [What it would look like after processing — CSV with columns X, Y, Z] |
| **Level** | [What unit of observation could be constructed] |
| **Time coverage** | [What periods are available] |
| **Scraping complexity** | [Low / Medium / High — with brief explanation] |
| **Novelty** | [Commonly used / Moderately known / Underutilized / Novel] |

**What it contains:** [Description of available information]

**Limitations:** [Completeness, consistency over time, legal/ToS considerations for scraping]

**How to obtain:** [Scraping approach — what tools, what the page structure looks like, whether an API is hidden behind the frontend, whether pagination is involved]

---

## Tier 3: Restricted-Access Data

Datasets that require applications, data use agreements, or secure access.

### [Dataset Name]

| Field | Detail |
|-------|--------|
| **Source** | [Agency/organization] |
| **Access mechanism** | [RDC, DUA, application, FOIA, partnership] |
| **Format** | [If known] |
| **Level** | [Individual, county, etc.] |
| **Time coverage** | [Start–End] |
| **Typical approval timeline** | [Weeks/months/years] |
| **Cost** | [If applicable — RDC fees, data purchase costs] |
| **Novelty** | [Commonly used / Moderately known / Underutilized / Novel] |

**What it contains:** [Key variables]

**Limitations:** [Output disclosure review, cell suppression, restrictions on linking]

**How to access:**
1. [Step-by-step application process]
2. [Who to contact — specific office, email, or URL]
3. [What is required — IRB approval, proposal, DUA, institutional affiliation]
4. [Tips — e.g., "processing times are faster if you apply through a Census RDC rather than directly"]

---

## Summary Table

| Dataset | Tier | Level | Frequency | Coverage | Format | Novelty |
|---------|------|-------|-----------|----------|--------|---------|
| ... | 1/2/3 | ... | ... | ... | ... | ... |

---

## Suggested Combinations

[If relevant, suggest how datasets could be linked or combined to answer the research question. Note which identifiers enable merging — FIPS codes, year, SSN (in restricted settings), etc.]

---

## Next Steps

[Offer to help with any of the following:]
- Download and inspect specific Tier 1 datasets
- Write scraping code for Tier 2 sources
- Draft a data access application for Tier 3 sources
- Construct a data dictionary for a source that lacks one
- Merge or harmonize multiple datasets

---

搜索后的协助

用户在初步搜索后请求后续帮助时，此技能应协助完成以下事项：

下载和检查数据

• 通过 URL 或 API 获取数据文件
• 将数据加载到 Python/Stata 中，并描述其内容（变量、观测值、时间覆盖范围、缺失情况）
• 检查数据是否符合宣传描述

抓取数据

• 编写 Python 抓取脚本（requests + BeautifulSoup，或使用 Selenium 抓取动态页面）
• 处理分页、速率限制和错误恢复
• 使用 tabula-py 或 pdfplumber 解析 PDF
• 将抓取的原始内容整理为可用于分析的格式
• 遵守 robots.txt 和服务条款——指出法律方面的顾虑

数据访问申请

• 起草研究计划或数据使用协议申请
• 协助撰写受限数据的 IRB 方案
• 确定正确的联系人或办公室
• 推荐机构资源（例如 Census RDC 地点、NCHS RDC）

构建数据字典

• 如果没有代码本，则通过检查数据、文档和相关论文来构建数据字典
• 记录变量名称、类型、值标签、缺失值编码和备注

---

重要指导

• 宁可多纳入，不要少纳入。 展示一个最终发现略微偏离目标的数据集，也好过漏掉有用的数据。研究人员可以筛选；但他们无法发现你没有展示的数据。
• 如实说明局限。 不要夸大数据集的价值。如果覆盖不完整，就明确说明。如果用户需要的变量只是一个粗略的代理指标，也要说明。
• 优先发掘新颖数据源。 研究人员可能已经了解 CPS 和 ACS。这项技能的真正价值，在于找出不那么显而易见的数据源——ODMP 纪念数据库、州级法院立案记录、可通过 FOIA 申请获取的行政数据，以及一篇 2023 年工作论文中整理新颖数据集的复现文件。
• 报告前先核实。 使用 web_fetch 确认链接有效、数据确实能以所述格式获取，并且覆盖范围符合你的描述。过时的链接和失效的门户会损害信任。
• 广泛搜索，精准报告。 执行多次搜索，但只在输出中纳入真正符合用户要求的数据集。
• 像一位受托用两天时间寻找所有可能数据源的研究助理那样思考。 机敏、善于创新，并尽可能全面。