Legal Data Hunter

World Wide Law

面向 110 多个国家开放法律数据的开源采集脚本。

每个国家都会在线发布法律、法院判决和法规，但格式各不相同，使用不同的 API，也有不同的访问规则。World Wide Law 正在构建开放基础设施，用于采集、规范化这些数据，并使其全部可搜索。

本仓库中的所有来源都是开放数据——来自官方政府门户网站、API 和批量下载端点的公开法律信息。我们始终优先使用 API 和批量访问，而非网页提取。

实时仪表板与 API

• 仪表板：legaldatahunter.com——跟踪覆盖情况、浏览来源、提交反馈
• 搜索 API：可通过 legaldatahunter.com 使用——搜索 1,600 多万份已编入索引的法律文档

仓库内容

本仓库包含 960 多个采集脚本，覆盖 110 多个国家，可从全球各地的政府门户网站下载并规范化开放法律数据。每个脚本都遵循标准接口，任何开发者都可以运行、测试或改进脚本。一些来源被标记为受阻（验证码、IP 限制等），但仍包含相应脚本，供开发者查看并尝试贡献修复方案。

sources/
  FR/LegifranceCodes/     # French consolidated legal codes (API)
  DE/GesetzeImInternet/   # German federal laws (bulk XML)
  IT/NormattivaLegislation/ # Italian legislation (API)
  ES/BOE/                 # Spanish official gazette (API)
  ... (110+ countries)

快速开始

# Clone the repo
git clone https://github.com/worldwidelaw/legal-sources.git
cd legal-sources

# Install dependencies
pip install -r requirements.txt

# Check project status
python runner.py status

# Test a specific source
python runner.py sample FR/LegifranceCodes

# See what needs work
python runner.py next

工作原理

单个来源的结构

每个来源都位于 sources/{COUNTRY_CODE}/{SourceName}/ 中，并包含：

文件	用途
bootstrap.py	采集脚本——实现 fetch_all()、fetch_updates()、normalize()
config.yaml	来源元数据、访问方式、速率限制、模式
sample/	10 份以上用于验证的样本文档
README.md	数据来源的文档
.env.template	所需的 API 密钥或凭据（如有）
retrieve.py	引用解析器（例如，将 "article 1240 code civil" 解析为对应文档）

两种数据模型

立法（可变）：法律会被修订。ID 不变，内容更新。策略：使用版本跟踪进行 upsert。

判例法（不可变）：法院判决在发布后不会更改。策略：仅追加并去重。

标准输出模式

每个脚本都会将文档规范化为通用模式：

• _id -- 唯一标识符
• _source -- 来源标识符（例如，FR/LegifranceCodes）
• _type -- legislation 或 case_law
• title -- 文档标题
• text -- 全文内容
• date -- 发布日期或裁决日期
• url -- 原始来源链接

架构

legal-sources/
  manifest.yaml          # Master inventory: all sources + status
  runner.py              # CLI: run, test, and manage collection scripts
  common/                # Shared libraries
    base_scraper.py        Base class all scripts inherit from
    http_client.py         HTTP client with retries + caching
    rate_limiter.py        Token bucket rate limiter
    storage.py             JSONL storage with deduplication
    validators.py          Schema validation
  templates/             # Templates for new sources
    scraper_template.py    Boilerplate for bootstrap.py
    config_template.yaml   Boilerplate for config.yaml
    retrieve_template.py   Boilerplate for retrieve.py
  sources/               # One directory per data source
    {CC}/{Source}/          (see per-source structure above)

覆盖范围

地区	国家/地区	来源
欧盟成员国	AT, BE, BG, CY, CZ, DE, DK, EE, ES, FI, FR, GR, HR, HU, IE, IT, LT, LU, LV, MT, NL, PL, PT, RO, SE, SI, SK	130+
EFTA / EEA	CH, NO, IS, LI	10+
欧洲委员会	UK, TR, UA, GE, AM, AZ, MD	20+
西巴尔干地区	RS, BA, ME, AL, MK, XK	15+
拉丁美洲	AR, BR, CL, CO, MX, PE	25+
亚太地区	AU, JP, KR, NZ, SG, TW, IN	30+
中东和非洲	EG, MA, ZA, NG, KE, TN	20+
其他	US, CA 等	15+

在仪表板上跟踪实时进展。

贡献

欢迎开发者、法律研究人员以及尤其是政府机构贡献力量，将其开放法律数据纳入其中。

谁可以贡献？

您是……	可以如何提供帮助
开发者	构建或修复采集脚本、添加检索脚本、改进工具
政府官员 / 司法辖区负责人	告诉我们您所在国家/地区的法律数据门户——无需编写代码
律师 / 法律研究人员	验证数据质量、改进法律引用解析、指出覆盖缺口
任何人	报告数据质量问题、失效来源或覆盖缺口

提交数据源（无需编写代码）：

• 创建“新数据源”问题，告诉我们您所在国家/地区的法律数据门户

修复或改进采集脚本：

• 完整指南请参阅 CONTRIBUTING.md

报告问题：

• 数据质量问题 -- 数据缺失或不正确
• 错误报告 -- 脚本失效

适合新手的问题：浏览 label:good-first-issue，寻找适合入门的问题。

许可证

本项目采用 GNU Affero 通用公共许可证 v3.0（AGPL-3.0）授权。您可以自由使用、修改和分发本软件，但通过网络提供任何修改版本时，也必须依据同一许可证提供其源代码。

商业许可：如果您希望在不受 AGPL-3.0 义务约束的情况下使用本软件（例如用于专有产品或 SaaS），可申请商业许可。详情请联系 [email protected]。