关于 datris-platform-oss
datris-platform-oss 是面向 AI Agent 的开源数据控制平台,可在现有数仓和数据湖旁处理数据获取、验证、转换与交付。它将受治理的数据管道、来源追踪和凭据控制整合到 MCP 接口中。
主要功能
- 01提供 79 个数据操作 MCP 工具
- 02生成并运行隔离的数据采集脚本
- 03用自然语言规则验证和转换数据
- 04将数据写入多个目标端
- 05跟踪数据来源、运行记录和审批
- 06保护敏感字段
适用场景
- 01响应 Agent 请求获取并加载数据
- 02构建数据验证与转换管道
- 03搜索数据并查询目标存储
- 04监控数据任务并查看来源信息
MCP 相关
平台内置 MCP 服务,提供 79 个用于管道管理、上传、查询、搜索、分析、采集脚本、目录和来源追踪的工具。MCP 客户端可连接其内置的 SSE 端点。
配置
本地服务的配置在各客户端中通用,复制后粘贴到客户端的 MCP 配置文件即可。
uvx datris-mcp-serverDATRIS_API_URLURL of the Datris server API (default http://localhost:8080)DATRIS_API_KEY密钥API key for the Datris server (only when USE_API_KEYS=true)本地服务需要在你的电脑上安装运行环境(如 Node.js 18+)。各客户端的配置文件位置不同,请参考客户端文档。
工具
79收录的工具列表 · 更新于 2 周前
此工具无需参数。
详细介绍
Datris — AI Agent 的数据控制平面
datris.ai · 文档 · MCP Registry · PyPI
⭐ 如果 Datris 对你有用,请为仓库点星——这能帮助其他人发现它。
Agent 向 Datris 请求数据。Datris 会找到并获取数据,完成验证,将数据写入你现有的数据存储,并附上来源信息后返回——通过 MCP 完成,全程不会接触你的密钥。它与数据仓库和数据湖并存,而不是取代它们。
90 秒了解它——描述你需要的数据,助手就会构建数据采集器、运行它并写入数据:
https://github.com/user-attachments/assets/4f03dc12-e9d7-4f93-8ba4-d712ab7d3733
🔊 默认关闭声音——点击播放器中的扬声器图标即可开启。
为什么选择 Datris?
https://github.com/user-attachments/assets/ba3de886-1413-4d92-92bb-99018cfaff38
🔊 默认关闭声音——点击播放器中的扬声器图标即可开启,或在 YouTube 上观看。
你的 Agent 已经在获取、验证和加载数据。没有控制平面,它们做得并不好。Datris 将这些工作统一纳入一个受管控的界面:
- 一个 MCP 入口——通过单个 MCP 服务提供 79 个工具。Claude、Cursor 及任何兼容 MCP 的 Agent 只需学习一个接口,而不必对接 79 种集成
- 由保险库代理凭据——Agent 通过名称引用密钥,且不会持有密钥;由 Agent 编写的代码在隔离容器中运行,容器内不含任何密钥
- 受限密钥、审批关卡、审计日志——每个 Agent 都有自己的 API 密钥,其权限仅限于你授予的能力;Agent 策略会针对每项操作决定是让 Agent 执行、等待人员审批,还是拒绝;启用审计日志(
USE_AUDIT_LOG=true)后,审计日志会记录操作主体和内容;默认尽力记录,在严格模式下则不会丢失记录 - 记录每次运行——记录每次运行的作业状态和行数,并为数据行添加来源信息;每个生成的脚本都会在 git 中进行版本管理
- 持久化状态——管道和同步书签保存在平台中,而非聊天记录里,因此重新生成脚本不会丢失进度
- 运作闭环——获取(AI 生成的数据采集器)→ 验证(简单明了的规则)→ 写入(多目标管道)→ 观测(来源信息和作业状态)→ 解释与修复(AI 错误说明);启用审计日志后,每次操作都使用相同的审计记录(参见严格模式)
- 可在任何地方自行托管——可部署在本地、任意云端或你的笔记本电脑上;基础设施 100% 开源(MinIO、PostgreSQL、MongoDB、Kafka、Vault),采用 AGPL-3.0 许可,无托管服务
快速开始
你需要 Docker 和一个 AI 提供商密钥(Anthropic、OpenAI、Grok、Azure OpenAI 或 Amazon Bedrock)。该安装程序会拉取预构建镜像和运行时文件,创建 .env,并在 ./datris 中启动整个服务栈——无需克隆 Git 仓库。安装程序会提示你输入密钥:
curl -fsSL https://get.datris.ai/install.sh | sh
要通过编码 Agent 或无终端连接的 CI 作业安装?请先导出密钥(ANTHROPIC_API_KEY、OPENAI_API_KEY 或其他提供商的密钥):安装程序不会提示输入,而是从环境中读取。然后,在继续之前检查 http://localhost:8080/api/v1/version 是否有响应。完整步骤:为 Agent 安装。
最简安装(适合笔记本电脑)。 默认服务栈会运行约十个容器,捆绑的嵌入服务会在首次启动时下载一个 2.2 GB 的模型。这些都不是必需的。在 .env 中设置三个选项,即可将其精简为八个小型容器,无需下载,内存占用约为 3.5 GB(4 GB Docker 内存足够;完整服务栈需要 8 GB):
TEI_ENABLED=0 # skip the local embedding server and its 2.2 GB download
EMBEDDING_PROVIDER=openai # semantic search via OpenAI (needs OPENAI_API_KEY); omit if you have no OpenAI key
POSTGRES_ENABLED=0 # optional: skip bundled Postgres; MongoDB stays as the destination
选择 OpenAI 嵌入时,安装程序会设置前两个选项。datris 服务本身默认使用 2 GB 堆内存。详情:安装 → 最简安装。
install.sh安装程序是 POSIX shell 脚本(macOS/Linux)。在 Windows 上,请从 WSL2 或 Git Bash 运行,或使用下方的单文件 Compose 选项,该选项可在 PowerShell 中原生运行。
单文件,无需安装程序(适用于 Windows)
完全自包含的 Compose 文件——初始化脚本和配置均已内嵌,因此无需其他文件(需要 Docker Compose ≥ 2.23):
# macOS / Linux
curl -O https://get.datris.ai/docker-compose.standalone.yml
ANTHROPIC_API_KEY=sk-ant-... docker compose -f docker-compose.standalone.yml up -d
# Windows (PowerShell) — use curl.exe, and set the key with $env:
curl.exe -O https://get.datris.ai/docker-compose.standalone.yml
$env:ANTHROPIC_API_KEY="sk-ant-..."
docker compose -f docker-compose.standalone.yml up -d
从 Git 克隆开始
git clone https://github.com/datris/datris-platform-oss.git
cd datris-platform-oss
cp .env.example .env # Add your ANTHROPIC_API_KEY and/or OPENAI_API_KEY (or the AZURE_OPENAI_* trio, XAI_API_KEY, or AI_PROVIDER=bedrock)
docker compose up -d
界面:http://localhost:4200 · API:http://localhost:8080
连接 AI Agent
将以下内容添加到你的 MCP 客户端配置中(Claude Desktop、Claude Code、Cursor 等)。Docker 服务栈运行后,npx mcp-remote stdio 桥接程序会连接到捆绑的 3000 端口 MCP 服务——你的客户端会显示在 Datris 界面的 Agent Monitor 选项卡中,并实时流式显示工具调用:
{
"mcpServers": {
"datris": {
"command": "npx",
"args": ["-y", "mcp-remote", "http://localhost:3000/sse", "--transport", "sse-only"]
}
}
}
适用于默认本地设置,复制粘贴即可使用——当 USE_API_KEYS=false(OSS 默认值)时无需 API 密钥。如果你的实例启用了身份验证(USE_API_KEYS=true 或多租户),请在 args 数组中追加 "--header", "x-api-key:<your-key>"。配置 → 连接你的 Agent 页面会为你生成代码片段;粘贴密钥时还会自动添加请求头。
需要在 PATH 中安装 Node.js(brew install node)。有关无需 Docker 的 stdio 替代方案,或 Claude Desktop / Claude Code / Cursor 的完整操作指南,请参阅配置 Claude。
要让你自己项目中的编码 Agent(Claude Code、Codex 等)学会使用 Datris 处理数据,请从 skills/ 安装 datris-platform 技能——参阅 Agent 技能。
CLI
brew tap datris/tap
brew install datris
datris ingest data.csv --dest postgres
datris ingest sales.csv --ai-validate "prices > 0" --ai-transform "convert dates to YYYY/MM/DD"
datris query "SELECT * FROM sales"
datris search "quarterly revenue" --store pgvector
datris tap create "Fetch S&P 500 daily prices from yfinance" --pipeline stocks
datris taps
datris doctor # operational self-check; prints the fix for every finding
功能介绍
Source (Tap / File Upload / MinIO Event / Database Pull / Kafka)
→ Preprocessor (optional REST endpoint)
→ Field Protection (pseudonymize, mask, redact, encrypt, or drop sensitive fields)
→ Data Quality (AI rules, header validation, schema validation)
→ Transformation (AI transformation, destination schema)
→ Destinations (in parallel):
PostgreSQL, MongoDB, Snowflake, Databricks,
MinIO / S3 (Parquet, ORC, Apache Iceberg), Kafka, ActiveMQ,
REST Endpoint, Qdrant, Weaviate, Milvus, Chroma, pgvector
→ Notifications (ActiveMQ topic)
AI 驱动的功能
| 功能 | 描述 |
|---|---|
| MCP Server | 为 AI Agent 提供 79 个工具——管道的增删改查、上传、查询、搜索、分析、数据接入器、目录、数据溯源 |
| 数据接入器 | 用通俗英语描述数据源——AI 会生成 Python 脚本,按需或按计划获取数据,并在隔离容器中运行 |
| 助手 | 在 UI 中通过对话创建数据接入器和管道,并执行操作和配置 |
| AI 数据质量 | 用通俗英语描述验证规则——AI 会生成并运行验证脚本 |
| AI 转换 | 用通俗英语描述转换操作——AI 会生成并运行转换脚本 |
| AI 架构生成 | 上传文件,获取完整的管道配置 |
| AI 数据分析 | 上传文件,获取统计信息和建议的验证规则 |
| AI 错误说明 | 用通俗英语解释作业失败原因 |
| 自然语言查询 | 用英语提问并获取 SQL 结果 |
| RAG 管道 | 对数据进行分块、嵌入,并在 5 种向量数据库中搜索 |
| 字段保护 | 在任何 AI 阶段或目标端接触敏感字段之前,对其进行假名化、遮蔽、删改、加密或丢弃 |
支持的格式
CSV、JSON、XML、Excel、PDF、Word(DOCX)、PowerPoint、HTML、电子邮件、EPUB、纯文本
AI 提供商
Anthropic Claude(聊天默认使用 Fable 5.1,CodeGen 使用 Opus 5.5) · OpenAI(聊天和 CodeGen 默认使用 GPT-5.6 Sol) · Azure OpenAI(使用你自己的 Azure 资源;模型按部署名称指定) · Amazon Bedrock(通过你的 AWS 账户使用 Claude——采用 IAM 身份验证、由 AWS 计费,支持 IAM 角色且无需存储密钥) · Grok(通过其兼容 OpenAI 的 API 使用 xAI 的模型) · Ollama(本地模型,可选)。嵌入可通过 OpenAI text-embedding-3-small(拥有 OpenAI 密钥时推荐)、Azure OpenAI、随附的 TEI sidecar(BAAI/bge-m3——完全本地运行,无需 API 密钥)或 Ollama 实现。
架构
| 服务 | 用途 |
|---|---|
| MinIO | 兼容 S3 的对象存储,用于文件暂存和数据输出 |
| PostgreSQL | 默认的结构化目标端,同时为 RAG 提供 pgvector |
| MongoDB | 配置存储、作业状态跟踪、元数据 |
| ActiveMQ | 文件通知队列、管道事件通知 |
| HashiCorp Vault | 密钥管理(数据库凭据、API 密钥) |
| TEI | 文本嵌入推理 sidecar(BAAI/bge-m3)——不使用 OpenAI 嵌入时,可在本地生成向量嵌入 |
| Apache Kafka | 可选的流式数据源和目标端 |
| Apache Spark | 本地 Spark,用于将 Parquet、ORC 和 Iceberg 表写入 MinIO / S3 |
| 数据接入器运行器 | 在隔离容器中运行 AI 生成的数据接入器脚本;不提供任何平台凭据,也无法访问内部服务 |
| MCP 服务 | 随附的 MCP 端点(端口 3000 上的 SSE),供 AI Agent 使用 |
文档
完整文档见 docs.datris.ai,也可在本地查阅 docs/。准备投入生产?请从安全架构和 SECURITY.md 开始。
许可证
评论
一个开放协议,规定了 AI 应用如何以统一方式连接外部工具与数据源。客户端负责与模型对话,MCP 服务负责提供工具、资源和提示模板,两者通过标准消息通信,同一个服务可以被不同客户端复用。