publicdata.au

publicdata.au

オーストラリア政府のオープンデータを、CSV、Excel、JSON、Parquet、SQLite、DuckDB、GeoJSON、GeoPackage 形式で、変更されない URL に再公開しています。公開元によるリリースはすべて日付付きのバージョンとなり、スキーマ、出典情報、公開元自身のファイル、およびひとつ前のリリースとの差分とともに、その内容が保持されます。

これは National Digital が運営する独立したサイトです。政府機関は運営、資金提供、承認のいずれも行っていません。各データセットは、公開元のライセンスに基づき、そのライセンスで求められるクレジット表記を付けて再公開されます。

コントリビューション

どなたからのコントリビューションも歓迎します。バックログにあるデータセットは register/ 内の YAML ファイルひとつで追加でき、新しいファイル形式は pipeline/publicdata/serialise/writers/ 内のライターひとつで追加できます。アダプター、修正、クライアントに関する手順も含め、詳しくは CONTRIBUTING.md をご覧ください。概要は publicdata.au/contribute にあります。各データセットのページから、そのデータセットの構築元である登録エントリーにアクセスできます。

参加するには、行動規範に同意する必要があります。データセットのリクエストやサポートの問い合わせ先は SUPPORT.md を、脆弱性の非公開での報告方法は SECURITY.md をご覧ください。GOVERNANCE.md には意思決定者が、AGENTS.md にはコーディングエージェント向けの情報が記載されています。

構成

• register/ データセットごとに YAML ファイルひとつを配置します。ソース、証拠を含むライセンス、クレジット表記、フィールドの許可リスト、キー、パーティション、ステータスを記載します。バックログやブロック中のエントリーもここに置きます。
• store/ 取得したバージョンごとにマニフェストひとつを配置します。データ本体は R2 に保存され、ビルド前にハッシュを使って取得されます。
• pipeline/ Python によるビルド処理です。publicdata register validate | fetch | build | gate | split | store pull|push | dist-push | shards | purge を実行します。
• functions/ Cloudflare Pages Functions です。投票、リクエスト、保存済みダッシュボード、クエリ API、latest/ リダイレクト、R2 フォールバックを扱います。
• explorer/ と package.json には、ビルドにコピーされるエクスプローラーのブラウザーライブラリが含まれています。
• clients/ には、別の言語からサイトを呼び出すためのパッケージがあります。clients/python は PyPI の publicdata-au、clients/r は CRAN の publicdataau です。どのスラッグも指定できるため、新しいデータセットの追加にリリースは必要ありません。
• docs/ARCHITECTURE.md には、コードを決定するルールが記載されています。
• docs/CORRECTIONS.md には、公開済みファイルの不具合の報告・修正方法と、すべての修正履歴が記載されています。
• docs/adr/ には、これらのルールの根拠となる意思決定の記録があります。それぞれの決定内容、検討した代替案、代償について記載されています。
• docs/ACCESSIBILITY.md には、WCAG 2.2 AAA の目標、CI で適用される要件、例外が記載されています。

実行方法

CONTRIBUTING.md では、作業用コピーのセットアップ、フィクスチャのビルド、実際のデータセットの取得、定例の変更作業について説明しています。いずれの作業にも認証情報は必要ありません。

デプロイ

.github/workflows/deploy.yml は、main へのプッシュごとに大容量ファイルをビルドし、ゲート処理、分割、R2 へのプッシュを行い、Pages プロジェクト publicdata-au にデプロイします。また、このリポジトリのプルリクエストごとにプレビューを作成します。認証情報は GitHub の環境に保存されています。main のみが使用できる production には、デプロイとハブの認証情報が保存されています。preview には、プルリクエストのプレビュー用認証情報が保存されています。こちらも main のみが使用できる fetch には、フェッチとカタログ用の認証情報が保存されています。それぞれに専用の Cloudflare トークンがあり、各トークンがアクセスできる R2 バケットは次のとおりです。

環境	ワークフロー	書き込み可能	読み取りのみ
production	main での deploy.yml	publicdata-dist、publicdata-build-cache	publicdata-raw
preview	プルリクエストでの deploy.yml	なし	publicdata-raw、publicdata-dist、publicdata-build-cache
fetch	fetch.yml、catalogue.yml	publicdata-raw	なし

デプロイ時に再ビルドしないバージョンを取得するビルドキャッシュには専用のバケットがあるため、本番デプロイのみが、そこからサイトに公開する内容を変更できます。

.github/workflows/fetch.yml は毎週火曜日にすべての稼働中のソースを読み込み、1日おきに稼働中のフィードを読み込みます。ソースに変更があった政府ごとに、プルリクエストを1つ作成します。 .github/workflows/catalogue.yml はポータルのデータセット一覧を収集します。一部のポータルはクラウドのアドレスからのアクセスを拒否するため、どちらのワークフローもオーストラリアにある独自のランナーで実行します。このランナーグループでは、main 上のこれら2つのワークフローのみを許可しており、ワークフローが開始されるのはスケジュールに従う場合か、メンテナーが実行する場合のみです。どちらのワークフローも、GitHub App「publicdata.au fetch」としてプルリクエストを作成します。この App のキーは、それらの環境だけに保存されたシークレットです。ルールセットにより、この App だけが data/ ブランチを作成またはプッシュできるため、自動化を装ってプルリクエストを作成することはできません。.github/workflows/data-pr.yml は、これらのプルリクエストのみを承認します。

ライセンス

コードは GNU Affero General Public License v3.0 以降（LICENSE）に基づいてライセンスされています。変更を加えたコピーをサービスとして運用する場合、利用者に変更内容のソースを提供する必要があります。clients/ のクライアントは、それぞれのパッケージの LICENSE に記載された MIT ライセンスに基づいています。

publicdata.au の名称とマークはコードのライセンスの対象ではありません。コピーに必要な変更については、BRAND.md をご覧ください。

データのライセンスを付与できるのは、私たちではありません。各データセットは、公開元のライセンスに基づいて公開されています。そのライセンスは、レジストリのエントリー、マニフェスト、各ファイル名に記載されており、ライセンスが求める帰属表示も含まれています。レジストリ用に私たちが作成するテキストは CC BY 4.0（LICENSE-DATA.md）に基づいています。テスト用抜粋、ブランド書体、エクスプローラーのライブラリは、THIRD-PARTY-NOTICES.md に記載されています。書体は RandomMaerks の無料パッケージで、独自のライセンスに基づいて再配布されています。