DataRaum

DataRaum

組織の運用モデルを、その組織独自のデータに基づいて確立する理解レイヤーです。

セマンティックレイヤーは、BI ツールに列の 名前 を伝えます。DataRaum は、列の 意味 — 組織の概念、関係性、ルール、指標 — を学習し、それぞれを実際のデータに結び付け、根拠となる信頼度も測定します。全体像についてはドキュメントをご覧ください。

モノレポの構成

packages/
├── engine/          # Python — pipeline, detectors, Temporal activity worker
├── cockpit/         # TypeScript — TanStack Start web UI
├── dataraum-config/ # YAML data — entropy config, LLM prompts, verticals (bind-mounted, never imported)
└── infra/           # docker-compose orchestration

各パッケージには独自の README があります。特定のパッケージで作業する場合は、まずそちらをご覧ください。

ステータス

DataRaum は、ワークスペースごとに分離されたマルチコンテナーのプラットフォームとして動作します。

• engine（Python）— HTTP を使わない Temporal アクティビティワーカーです。永続性のある分析（add_source、begin_session、operating_model）を実行し、メタデータをワークスペースの Postgres スキーマに書き込みます。
• cockpit（TanStack Start）— 使用する Web アプリです。チャットエージェントをホストし、結果を表示して、Temporal 経由で engine のワークフローを起動することで一連の流れを調整します。

各ワークスペースは、この 2 つのコンテナーをそれぞれ 1 つずつ実行します。その前段には、portal（別の役割も担う cockpit イメージ — ログイン、メンバーシップのルーティング、ワークスペースのプロビジョニング）と Caddy があり、親ドメインでは portal を、各ワークスペースではそれぞれのサブドメインでそのワークスペースを配信します。

これらは 1 つの基盤を共有します。Postgres（メタデータ＋cockpit の状態＋カタログ）、S3 オブジェクトストア（DuckLake データレイク＋アップロード）、Temporal（永続性のあるオーケストレーション）です。engine と cockpit の間に HTTP の境界はなく、統合インターフェースは Postgres＋Temporal です。プラットフォームアーキテクチャをご覧ください。

クイックスタート

# Set the LLM key
cp packages/infra/.env.example packages/infra/.env
echo "ANTHROPIC_API_KEY=sk-ant-..." >> packages/infra/.env

# Bring up the whole installation (substrate, engine worker + cockpit for the
# default workspace, portal, and the Caddy ingress)
docker compose -f packages/infra/docker-compose.yml up -d --wait

# Engine health = the Temporal worker heartbeat (no HTTP endpoint):
docker compose -f packages/infra/docker-compose.yml run --rm --no-deps \
  --entrypoint temporal temporal-admin-tools \
  worker list --namespace default --address temporal:7233   # → Status: Running

# Sign in at the portal, then open the default workspace from there
open http://dataraum.localhost              # [email protected] / dataraum-dev

Caddy はホスト名に基づいてルーティングします。親ドメインでは portal（ログイン＋ワークスペース）が配信され、 各ワークスペースには独自のサブドメイン（http://ws1.dataraum.localhost）があります。localhost:3000 はデバッグ用にのみ公開されています。セッション Cookie は親ドメインにスコープされるため、ブラウザーでアクセスすると portal にリダイレクトされ、 スクリプトでアクセスすると 401 が返されます。

初回実行時に注意が必要なのは、Caddy がポート 80 をバインドすることです。 すでに別のプロセスが使用している場合 （macOS には Apache が標準搭載されています）、コンテナーの起動時に up が失敗し、portal が起動しません。移動するには CADDY_HTTP_PORT と、それに対応する DATARAUM_PORTAL_ORIGIN を設定してください。（*.localhost には /etc/hosts のエントリーは不要です。）

Compose で定義されるワークスペースのペアは 1 組のみです。これは、新規インストール時にログイン先と、プロビジョナーが複製する対象を用意するためのブートストラップ用の足場です。それ以外のワークスペースはすべて、portal（New workspace）または bun run workspace:create から作成します。Compose にワークスペースごとのサービスが追加されることはありません。

トラブルシューティングを含む詳しい手順については、スタックの実行をご覧ください。

UI の反復開発では、ホットリロードを有効にするため、Docker の外部で cockpit の開発サーバーを実行してください。packages/cockpit/README.md をご覧ください。

リリース済みバージョンを実行する（公開イメージ）

上記のクイックスタートでは、ソースから engine と cockpit をビルドします。代わりに公開済みのリリースイメージを実行する場合（デプロイ先のホストでビルドツールチェーンを使わない場合）は、リリース用オーバーレイを重ね、バージョンを指定します。

export DATARAUM_VERSION=1.2.3          # any tag from a GitHub Release
docker compose \
  -f packages/infra/docker-compose.yml -f packages/infra/docker-compose.release.yml \
  --env-file packages/infra/.env up -d --wait --no-build

この設定では、そのタグの ghcr.io/dataraum/{dataraum, dataraum-cockpit, dataraum-cockpit-migrate} を取得します。イメージ、スキーマ／マイグレーションの処理、ワークスペースごとの構成については、デプロイをご覧ください。

開発

• Engine（Python）： cd packages/engine && uv sync --group dev && uv run pytest --testmon tests/unit -q。packages/engine/README.md と packages/engine/CLAUDE.md をご覧ください。
• Cockpit（TypeScript）： cd packages/cockpit && bun install && bun --bun run dev（--bun フラグが必要です）。packages/cockpit/README.md と packages/cockpit/CLAUDE.md をご覧ください。
• engine のメタデータスキーマを取得する（cockpit）： cd packages/cockpit && DATARAUM_WORKSPACE_ID=<id> METADATA_DATABASE_URL=<url> bun run db:pull:metadata。engine で SQLAlchemy モデルを追加・変更した後に、再実行してください。

ドキュメント

プラットフォームのドキュメントはdocs/（ワークスペースのルート）にあり、Zensical を通じて公開されています。 まずは docs/index.mdをご覧ください。または、サイトをローカルで起動できます：

uv run --project packages/engine zensical serve   # run from the repo root

• ドキュメントのトップページ — DataRaum の概要
• 全体の流れ · パイプラインとフェーズ · 学習可能な領域 · 測定と検出器
• プラットフォームアーキテクチャ — 内部の仕組み
• 意思決定記録 — アーキテクチャの背景にある 理由

ライセンス

Apache 2.0 — LICENSEを参照してください。