mcpField
D
data-quality

data-quality

github.com/alphaonedev数据与数据库46 次安装
代码仓库

关于 data-quality

data-quality 是面向数据工程工作流的数据质量技能，用于验证、清理和监控数据管道。它提供规则检查、异常告警及审计报告，适用于 ETL 和新数据源接入。

主要功能

  1. 01按规则检查模式和值
  2. 02清理字符串并填补缺失值
  3. 03监控指标并发送异常告警
  4. 04支持 CSV、JSON 和 Parquet
  5. 05生成审计报告与日志

适用场景

  1. 01验证 ETL 管道中的数据
  2. 02检查受监管流程的数据合规性
  3. 03接入新数据源时发现不一致

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/alphaonedev/openclaw-graph --skill data-quality

安装后在 Claude Code 中输入/data-quality确认已加载。

详细介绍

data-quality

用途

此技能通过执行验证、清洗和监控，确保数据管道中的数据准确、完整且一致。它可集成到数据工程工作流中，利用基于规则的检查和自动告警等工具，尽早发现问题。

适用场景

在构建或维护处理大型数据集的数据管道（例如 ETL 流程）时使用此技能，以防止下游错误。在受监管行业中进行合规检查，或集成可能引入不一致的新数据源时，也可使用此技能。对于无需验证的简单数据任务，请勿使用。

主要功能

  • 使用预定义规则验证数据架构和值（例如，检查空值、重复项或类型不匹配）。
  • 通过修剪字符串或填补缺失值等转换来清洗数据集。
  • 通过指标和异常告警实时监控管道。
  • 支持多种数据格式（CSV、JSON、Parquet），并可与 S3 或数据库等存储系统集成。
  • 生成用于审计的报告或日志，包括汇总统计信息和错误计数。

使用模式

通过 CLI 调用此技能以快速检查，或将其集成到 Python 脚本中，用于自动化管道。始终先加载配置文件，再运行验证。若要进行监控，请设置定期运行的作业。示例模式：加载数据、执行验证、按需清洗，并监控输出。

常用命令/API

使用 OpenClaw CLI 直接执行，或使用 REST API 以编程方式访问。运行命令前，需设置环境变量 $OPENCLAW_API_KEY 进行身份验证。

  • CLI 命令：使用规则验证文件
    openclaw data-quality validate --file data.csv --rules config.json --output report.txt
    此命令会根据 config.json 中的规则检查数据，并将结果保存到 report.txt。

  • CLI 命令：清洗并监控数据
    openclaw data-quality clean --input data.parquet --rules clean_rules.json --monitor
    应用清洗规则，并启用监控以持续执行检查。

  • API 端点：POST /api/data-quality/validate
    发送如下 JSON 请求体：
    { "file_url": "s3://bucket/data.csv", "rules": { "columns": ["id", "name"], "checks": ["no_nulls"] } }
    响应：包含状态和错误信息的 JSON，例如 { "status": "success", "errors": [] }。

  • API 端点：GET /api/data-quality/monitor/{job_id}
    获取监控状态：
    curl -H "Authorization: Bearer $OPENCLAW_API_KEY" https://api.openclaw.ai/api/data-quality/monitor/12345
    返回错误率等指标。

配置格式：规则使用 JSON，例如：
{ "checks": [ { "type": "null_check", "column": "age", "action": "alert" } ] }

集成说明

使用 OpenClaw SDK 与 Python 集成：导入并使用你的 API 密钥进行初始化。例如，在数据管道中：
import openclaw
client = openclaw.Client(api_key=os.environ['OPENCLAW_API_KEY'])
result = client.validate_data(file_path='data.csv', rules={'checks': ['duplicates']})
确保数据管道通过检查响应状态码来处理异步 API 调用。若要进行云集成，请配置告警 Webhook，例如在验证失败时向你的端点发送 POST 请求。务必先在预发布环境中测试集成。

错误处理

通过检查 CLI 返回码或 API 响应来处理错误。对于 CLI，如果命令失败，将以非零代码退出；请解析 stderr 获取详细信息。在代码中，捕获如下异常：
try:
result = client.validate_data(...)
except openclaw.APIError as e:
log_error(e.message) # e.message contains error details
常见错误包括身份验证失败（例如 401 Unauthorized）或配置无效（例如 400 Bad Request）。对于网络错误等暂时性问题，请使用指数退避重试逻辑。

图关系

  • 相关：data-processing（用于集成到数据管道）、data-monitoring（用于共享警报功能）
  • 依赖：data-storage（用于访问数据源）
  • 互补：machine-learning（用于机器学习工作流中的数据准备）

评论

支持 Markdown