data-quality

data-quality

目的

このスキルは、検証、クリーニング、監視を実行して、パイプライン内のデータの正確性、完全性、一貫性を確保します。ルールベースのチェックや自動アラートなどのツールを使って問題を早期に検出し、データエンジニアリングのワークフローに統合できます。

使用する場面

ETL プロセスなど、大規模なデータセットを扱うデータパイプラインを構築または保守する際に、このスキルを使用して後続のエラーを防ぎます。規制の厳しい業界でのコンプライアンスチェックや、不整合を招く可能性のある新しいデータソースを統合する場合にも適用してください。検証が不要な単純なデータタスクには使用しないでください。

主な機能

• 事前定義されたルールを使ってデータのスキーマと値を検証します（例：NULL、重複、型の不一致をチェックします）。
• 文字列のトリミングや欠損値の補完などの変換を適用して、データセットをクリーニングします。
• メトリクスと異常アラートを使って、パイプラインをリアルタイムで監視します。
• さまざまなデータ形式（CSV、JSON、Parquet）に対応し、S3 やデータベースなどのストレージシステムと統合します。
• 要約統計量やエラー件数を含む、監査用のレポートやログを生成します。

使用パターン

簡単なチェックには CLI 経由でこのスキルを呼び出し、自動化されたパイプラインには Python スクリプトに統合します。必ず最初に設定ファイルを読み込んでから、検証を実行してください。監視には、定期実行ジョブを設定します。使用パターンの例：データを読み込み、検証を適用し、必要に応じてクリーニングを行い、出力を監視します。

主なコマンド／API

直接実行するには OpenClaw CLI を、プログラムからアクセスするには REST API を使用します。コマンドを実行する前に、環境変数 $OPENCLAW_API_KEY を設定して認証します。

• CLI コマンド：ルールを使ってファイルを検証する
  openclaw data-quality validate --file data.csv --rules config.json --output report.txt
  config.json のルールに照らしてデータをチェックし、結果を report.txt に保存します。

• CLI コマンド：データをクリーニングして監視する
  openclaw data-quality clean --input data.parquet --rules clean_rules.json --monitor
  クリーニングルールを適用し、継続的なチェックの監視を有効にします。

• API エンドポイント：POST /api/data-quality/validate
  次のような JSON 本文を送信します：
  { "file_url": "s3://bucket/data.csv", "rules": { "columns": ["id", "name"], "checks": ["no_nulls"] } }
  応答：ステータスとエラーを含む JSON。例：{ "status": "success", "errors": [] }。

• API エンドポイント：GET /api/data-quality/monitor/{job_id}
  監視ステータスを取得します：
  curl -H "Authorization: Bearer $OPENCLAW_API_KEY" https://api.openclaw.ai/api/data-quality/monitor/12345
  エラー率などのメトリクスを返します。

設定形式：ルールには JSON を使用します。例：
{ "checks": [ { "type": "null_check", "column": "age", "action": "alert" } ] }

統合に関する注意事項

OpenClaw SDK を使って Python と統合します。API キーを指定してインポートし、初期化してください。データパイプラインでの例：
import openclaw
client = openclaw.Client(api_key=os.environ['OPENCLAW_API_KEY'])
result = client.validate_data(file_path='data.csv', rules={'checks': ['duplicates']})
応答ステータスコードを確認し、データパイプラインで非同期 API 呼び出しを処理できるようにしてください。クラウドとの統合では、検証失敗時にエンドポイントへ POST するなど、アラート用の Webhook を設定します。統合は必ず最初にステージング環境でテストしてください。

エラー処理

CLI の戻りコードまたは API の応答を確認してエラーを処理します。CLI では、コマンドが失敗するとゼロ以外のコードで終了します。詳細を確認するには stderr を解析してください。コードでは、次のように例外をキャッチします：
try:
result = client.validate_data(...)
except openclaw.APIError as e:
log_error(e.message) # e.message contains error details
よくあるエラーには、認証エラー（例：401 Unauthorized）や無効な設定（例：400 Bad Request）などがあります。ネットワークエラーなどの一時的な問題には、指数バックオフを用いたリトライロジックを使用してください。

グラフの関係

• 関連：data-processing（パイプライン統合のため）、data-monitoring（アラート機能を共有するため）
• 依存：data-storage（データソースにアクセスするため）
• 補完：machine-learning（ML ワークフローでのデータ準備のため）