find-data

データ検索スキル

実証研究プロジェクト向けのデータセットを、研究者が発見、評価、整理できるよう支援します。

このスキルでは、政府のデータベース、公開リポジトリ、学術研究の再現用アーカイブ、NGO の報告書、構造化されたウェブコンテンツを幅広く創造的に検索し、研究者のニーズに合うデータセットを特定します。誰もがすぐに思いつく情報源にとどまりません。

---

入力パラメーター

検索を始める前に、ユーザーから以下の情報を収集してください。不足している情報があれば、質問してください。

パラメーター	必須	説明	例
トピック／研究上の問い	はい	研究対象の分野、または具体的な問い	「ICE の取り締まりがメンタルヘルスに与える影響」、「育児労働の供給」
期間	はい	必要な年または日付の範囲	2010～2023 年、2012 年以前／以後、2005～2020 年の月次データ
データの頻度	はい	時間の細かさ	年次、四半期、月次、週次、日次
分析単位	はい	地理的な単位、または対象単位	全国、州、郡、ZIP、国勢調査区、個人、企業、学校、病院
トピックの絞り込み	任意	検索対象を絞る広範な分野	健康、犯罪、教育、労働、移民、住宅、環境
アウトカムデータと処置データ	任意	必要なのがアウトカム指標、政策／処置の変動、またはその両方か	「アウトカム側のデータが必要です。郡・月単位のメンタルヘルス指標です」

ユーザーが構造化されたパラメーターではなく研究上の問いを提示した場合は、パラメーターを推定し、検索を進める前に確認してください。

---

検索戦略

目的は、誰もがすでに知っているデータセットをただ列挙するのではなく、徹底的かつ創造的に検索することです。研究者向けの優れたデータ検索では、研究者がまだ思いついていない情報源を見つけ出します。

フェーズ 1：情報源のカテゴリーを網羅的に検索

以下の各カテゴリーについて、ユーザーのトピック、地域、期間のパラメーターを組み合わせた対象を絞ったウェブ検索を実施してください。各カテゴリーで複数の検索クエリを使い、キーワードを変えたり、略称を使ったり、機関名とデータセット名の両方を試したりしてください。

カテゴリー A：連邦政府の統計機関および調査

Census Bureau（ACS、CPS、decennial、SIPP、ASE、CBP、QWI）、BLS（QCEW、JOLTS、OES、CES、ATUS）、BEA（REIS、州／都市圏別 GDP）、NCHS（NVSS、NHIS、NHANES、NAMCS、NHAMCS）、CDC（BRFSS、WONDER、WISQARS、YRBSS、PRAMS）、SAMHSA（NSDUH、TEDS、N-SSATS）、DOJ/BJS（NCVS、UCR/NIBRS、NPS、NCRP、LEMAS）、DOE/NCES（CCD、IPEDS、ECLS、NAEP、ELS、HSLS）、HHS（MEPS、MAX/TAF Medicaid、CMS Medicare）、USDA（SNAP QC、FNS データ、ERS）、HUD（HMDA、PIC、LIHTC）、EPA（TRI、AQS、ECHO）、SSA（行政記録の所得、OASDI）、IRS（SOI）、Federal Reserve（SCF、SHED、Call Reports）、DHS（移民統計年鑑）、ICE（拘留、退去強制）、DOL（失業保険請求、WARN）、FEMA、FDA、NIH/NCI（SEER）、AHRQ（HCUP、SID、NIS）。

カテゴリー B：州および地方自治体のデータ

州の保健局、人口動態統計局、児童福祉機関（州レベルの NCANDS 抽出データ）、州裁判所制度（連邦裁判所は PACER、州裁判所は州司法機関のサイト）、矯正局、州教育機関、州の労働／職業訓練機関、警察署（一部では事件レベルのデータを公開）、検視官／郡検視局、州保険監督官、州 Medicaid 機関、郡の不動産評価／登記機関。

カテゴリー C：学術・研究データのリポジトリ

ICPSR、Harvard Dataverse、OpenICPSR、Roper Center、IPUMS（CPS、ACS、NHIS、ATUS、DHS、NHGIS、Terra）、Stanford Open Policing Project、Opportunity Insights、Chetty/Hendren の移動データ、Eviction Lab、Police Scorecard、Marshall Project、Vera Institute、Gun Violence Archive、RAND のデータセット、Urban Institute、関連分野の論文に付属する再現用パッケージ（AEA レジストリ、学術誌の補足資料、著者のウェブサイト、GitHub を検索してください）。

カテゴリ D：国際および複数国の情報源

WHO、World Bank（WDI、マイクロデータ）、OECD、国連機関、Eurostat、DHS Program（人口保健調査）、LSMS、European Social Survey、Latinobarómetro、各国の統計局。

カテゴリ E：民間、NGO、組織のデータ

Robert Wood Johnson Foundation（County Health Rankings）、KFF、Annie E. Casey（KIDS COUNT）、Guttmacher Institute、March of Dimes（PeriStats）、National Alliance on Mental Illness、National Council on Aging、データを公開している財団やシンクタンク（Brookings、AEI、Pew、Gallup）、業界団体、専門家団体、病院／保険会社のデータ（一部は公開されています）。

カテゴリ F：創造的な非従来型の情報源

この分野では、このスキルの真価を発揮できます。従来のデータセットにとらわれずに考えてください。

• スクレイピングできる構造化されたウェブコンテンツ：追悼／顕彰ページ（警察官の職務中死亡者を対象とするODMP、殉職した消防士のデータベース）、裁判所の提出書類データベース、州の免許委員会の記録、検査報告書（OSHA、飲食店の衛生検査、介護施設）、公開会議の議事録、選挙資金記録、ロビー活動の開示情報、政府契約データベース（USASpending、FPDS）、慈善団体の税務申告書（ProPublica経由のIRS 990s）、FDAの有害事象報告（FAERS）、医療委員会の懲戒処分、環境許可データベース、建築許可記録、不動産取引記録、公共料金の料金申請書、公開給与データベース。
• ソーシャルメディアおよびデジタルトレースデータ：Google Trends、Twitter/X Academic API（過去のデータ）、Redditのデータ（Pushshiftアーカイブ）、Yelp／Googleのレビュー、ニュース記事のアーカイブ（NewsBank、ProQuest、media cloud）、過去のウェブコンテンツを閲覧できるWayback Machine。
• 電話／ホットラインのデータ：988／危機ホットラインのデータ（Vibrant Emotional Health）、中毒管理センターのデータ（AAPCC）、家庭内暴力ホットラインの記録、各都市の311／911通報データ。
• 行政データの副産物：FOIAで請求可能な記録、州の情報公開法に基づく請求、公開記録データベース、機密解除された記録。
• 衛星および地理空間データ：夜間光（VIIRS/DMSP）、土地利用／土地被覆（NLCD）、衛星による大気質データ（NASA）、交通データ（FHWA、州のDOT）、携帯電話の移動データ（SafeGraph、Streetlight — 一部の期間は公開されています）。

カテゴリ G：アクセス制限があり申請が必要なデータ

IRSの行政税務データ（Census RDC経由）、SSAの所得記録、州のMedicaid請求データ（DUA経由）、Medicare請求データ（CMS RDCまたはResDAC）、LEHD/LODES、アクセス制限付きのCensusマイクロデータ（FSRDC経由）、FBI NIBRSのアクセス制限付きファイル、NCANDSの子ども単位のデータ（NDACAN経由）、識別情報を含む州の人口動態記録、VAの医療記録、刑務所の行政記録、雇用主と従業員を照合したデータ（LEHD）、信用調査機関のデータ（Fed経由または研究契約経由）、EHRデータ（医療システムとの提携経由）。

フェーズ 2：対象を絞った詳細検索

体系的な確認の後、次の項目について追加のウェブ検索を実施します。

1. 対象分野のデータを使用した最近のワーキングペーパー（NBER、SSRN、Google Scholarで「[topic] [method]」を検索し、過去2～3年の論文を探します。データに関するセクションから情報源が分かります）
2. 関連性の高い公刊研究のデータ付録および再現用ファイル
3. データ目録およびガイド（例：「犯罪データガイド」、「[topic] data resources for researchers」）
4. 政府のデータカタログ検索（data.gov、各省庁のデータポータル）
5. 対象分野に特化したデータアグリゲーター

フェーズ 3：確認と情報の補完

有望なデータセットを特定したら、それぞれについて次の作業を行います。

1. 実際のデータページにアクセスします（web_fetchを使用）。利用可能かどうか、形式、対象範囲を確認します。
2. データ辞書またはコードブックがあるか確認します — 利用可能な場合はリンクします。
3. アクセス方法を記録します — 直接ダウンロード、API、申請、FOIA、RDCなど。
4. 実際に利用できるファイル形式を特定します。
5. ユーザーの条件に照らして、期間および地理的な対象範囲を評価します。
6. 既知の制約を記録します — サンプリング、秘匿処理、定義の変更、欠損年など。

---

出力形式

特定したすべてのデータセットを3つの階層に整理し、それぞれを構造化された項目として提示します。

# Dataset Search Results

**Research question:** [user's question/topic]
**Parameters:** [time window] | [frequency] | [level of analysis] | [topic filter]
**Date of search:** [YYYY-MM-DD]

---

## Tier 1: Publicly Available and Ready to Use

Datasets that can be downloaded now with no application or agreement required.

### [Dataset Name] ([Abbreviation])

| Field | Detail |
|-------|--------|
| **Source** | [Agency/organization] |
| **Access** | [Direct download URL or portal] |
| **Format** | [CSV, Stata .dta, SAS, fixed-width, API, Excel, etc.] |
| **Level** | [Individual, county, state, etc.] |
| **Time coverage** | [Start–End, frequency] |
| **Data dictionary** | [Link if available, or "not available — would need to be constructed from documentation"] |
| **Novelty** | [Commonly used / Moderately known / Underutilized / Novel] |

**What it contains:** [2–3 sentence description of key variables relevant to the user's question]

**Limitations:** [Representativeness, suppression cells, definitional breaks, missing periods, measurement issues]

**How to get it:** [Step-by-step: go to URL, select parameters, download — be specific]

---

## Tier 2: Publicly Available but Requires Scraping or Processing

Data that exists on the public web but is not in a ready-to-analyze format.

### [Source Name]

| Field | Detail |
|-------|--------|
| **Source** | [URL] |
| **Current format** | [HTML tables, PDFs, interactive dashboards, individual records on web pages] |
| **Target format** | [What it would look like after processing — CSV with columns X, Y, Z] |
| **Level** | [What unit of observation could be constructed] |
| **Time coverage** | [What periods are available] |
| **Scraping complexity** | [Low / Medium / High — with brief explanation] |
| **Novelty** | [Commonly used / Moderately known / Underutilized / Novel] |

**What it contains:** [Description of available information]

**Limitations:** [Completeness, consistency over time, legal/ToS considerations for scraping]

**How to obtain:** [Scraping approach — what tools, what the page structure looks like, whether an API is hidden behind the frontend, whether pagination is involved]

---

## Tier 3: Restricted-Access Data

Datasets that require applications, data use agreements, or secure access.

### [Dataset Name]

| Field | Detail |
|-------|--------|
| **Source** | [Agency/organization] |
| **Access mechanism** | [RDC, DUA, application, FOIA, partnership] |
| **Format** | [If known] |
| **Level** | [Individual, county, etc.] |
| **Time coverage** | [Start–End] |
| **Typical approval timeline** | [Weeks/months/years] |
| **Cost** | [If applicable — RDC fees, data purchase costs] |
| **Novelty** | [Commonly used / Moderately known / Underutilized / Novel] |

**What it contains:** [Key variables]

**Limitations:** [Output disclosure review, cell suppression, restrictions on linking]

**How to access:**
1. [Step-by-step application process]
2. [Who to contact — specific office, email, or URL]
3. [What is required — IRB approval, proposal, DUA, institutional affiliation]
4. [Tips — e.g., "processing times are faster if you apply through a Census RDC rather than directly"]

---

## Summary Table

| Dataset | Tier | Level | Frequency | Coverage | Format | Novelty |
|---------|------|-------|-----------|----------|--------|---------|
| ... | 1/2/3 | ... | ... | ... | ... | ... |

---

## Suggested Combinations

[If relevant, suggest how datasets could be linked or combined to answer the research question. Note which identifiers enable merging — FIPS codes, year, SSN (in restricted settings), etc.]

---

## Next Steps

[Offer to help with any of the following:]
- Download and inspect specific Tier 1 datasets
- Write scraping code for Tier 2 sources
- Draft a data access application for Tier 3 sources
- Construct a data dictionary for a source that lacks one
- Merge or harmonize multiple datasets

---

検索後の支援

最初の検索後にユーザーが追加の支援を求めた場合、このスキルでは次の対応を行います。

データのダウンロードと確認

• URLまたはAPI経由でデータファイルを取得する
• Python／Stataに読み込み、内容（変数、観測値、対象期間、欠損状況）を説明する
• データが説明どおりのものか確認する

スクレイピング

• Pythonのスクレイピングスクリプトを作成する（requests＋BeautifulSoup、または動的ページにはSeleniumを使用）
• ページネーション、レート制限、エラーからの復旧に対応する
• tabula-pyまたはpdfplumberでPDFを解析する
• 生のスクレイピングデータを分析に適した形式に整える
• robots.txtと利用規約を遵守し、法的な懸念事項があれば明示する

データ利用申請

• 研究計画書やデータ利用契約の申請書の草案を作成する
• 利用制限のあるデータについて、IRBプロトコルの作成を支援する
• 適切な連絡担当者または窓口を特定する
• 機関のリソース（例：Census RDCの所在地、NCHS RDC）を提案する

データ辞書の作成

• コードブックが存在しない場合、データ、ドキュメント、関連論文を確認して作成する
• 変数名、型、値ラベル、欠損値コード、注記を記録する

---

重要な指針

• 含める方向で判断してください。 少し的外れなデータセットを提示することになっても、有用なデータセットを見逃すよりは望ましいです。研究者は候補を絞り込めますが、提示されなかったデータセットを見つけることはできません。
• 制約について正直に伝えてください。 データセットを過大に評価してはいけません。カバレッジにばらつきがある場合は、そのように伝えてください。ユーザーが必要とする変数が大まかな代理指標である場合も、そのように伝えてください。
• 新規性を優先してください。 研究者はおそらくCPSやACSについてすでに知っています。このスキルの真価は、あまり知られていない情報源を見つけることにあります。たとえば、ODMP memorial database、州レベルの裁判所提出記録、FOIAで請求可能な行政データ、独自のデータセットを構築した2023年のワーキングペーパーの再現用ファイルなどです。
• 報告前に確認してください。 web_fetchを使って、リンクが機能すること、データが説明された形式で実際に利用できること、カバレッジが説明どおりであることを確認してください。古いリンクや廃止されたポータルは、信頼を損ないます。
• 幅広く検索し、的確に報告してください。 多数の検索を実行しつつ、出力にはユーザーの条件に本当に関連するデータセットのみを含めてください。
• 可能な限りすべてのデータソースを見つけるため、2日間を与えられたリサーチアシスタントのように考えてください。 工夫を凝らし、創造的かつ徹底的に調査してください。