csv-data-wrangler

CSV データ処理

目的

CSV ファイルの効率的な処理、データのクリーニング、変換に関する専門知識を提供します。大容量ファイル、エンコーディングの問題、不正な形式のデータ、および表形式データのワークフローにおけるパフォーマンス最適化に対応します。

使用する場面

• 大容量の CSV ファイルを効率的に処理する
• CSV データをクリーニングして検証する
• データセットを変換して再構成する
• エンコーディングや区切り文字の問題に対応する
• CSV ファイルを結合または分割する
• 表形式のフォーマット間で変換する
• SQL（DuckDB）で CSV をクエリする

クイックスタート

次の場合にこのスキルを呼び出してください：

• 大容量の CSV ファイルを効率的に処理する
• CSV データをクリーニングして検証する
• データセットを変換して再構成する
• エンコーディングや区切り文字の問題に対応する
• SQL で CSV をクエリする

次の場合は呼び出さないでください：

• 書式設定された Excel ファイルを作成する（xlsx-skill を使用）
• データの統計分析を行う（data-analyst を使用）
• データパイプラインを構築する（data-engineer を使用）
• データベースを操作する（sql-pro を使用）

判断フレームワーク

Tool Selection by File Size:
├── < 100MB → pandas
├── 100MB - 1GB → pandas with chunking or polars
├── 1GB - 10GB → DuckDB or polars
├── > 10GB → DuckDB, Spark, or streaming
└── Quick exploration → csvkit or xsv CLI

Processing Type:
├── SQL-like queries → DuckDB
├── Complex transforms → pandas/polars
├── Simple filtering → csvkit/xsv
└── Streaming → Python csv module

主なワークフロー

1. 大容量 CSV の処理

1. ファイルの特性を確認する（サイズ、エンコーディング、区切り文字）
2. 規模に適したツールを選ぶ
3. メモリに制約がある場合は、チャンク単位で処理する
4. エンコーディングの問題に対応する（UTF-8、Latin-1）
5. 各列のデータ型を検証する
6. 適切な引用符を使用して出力する

2. データクリーニングのパイプライン

1. サンプルを読み込み、構造を把握する
2. 欠損値と不正な形式の値を特定する
3. 列ごとにクリーニングルールを定義する
4. 変換を適用する
5. 出力品質を検証する
6. クリーニングの統計情報を記録する

3. DuckDB による CSV のクエリ

1. DuckDB に CSV ファイルを指定する
2. DuckDB にスキーマを推論させる
3. SQL クエリを直接記述する
4. 結果を新しい CSV にエクスポートする
5. 必要に応じて Parquet として保存する

ベストプラクティス

• エンコーディングは必ず明示的に指定する
• 大容量ファイルの読み込みにはチャンク処理を使用する
• ツールを選ぶ前にファイルの特性を確認する
• 元のファイルは保持し、新しいファイルに書き込む
• 処理前後の行数を検証する
• 引用符付きフィールドとエスケープを適切に処理する

アンチパターン

アンチパターン	問題	正しい方法
すべてをメモリに読み込む	大容量ファイルでメモリ不足になる	チャンク処理またはストリーミングを使用する
エンコーディングを推測する	文字化けする	まず chardet で検出する
引用符を無視する	フィールドの解析が壊れる	適切な CSV パーサーを使用する
検証しない	データ破損に気づかない	行数と列数を検証する
文字列を手動で分割する	特殊なケースで失敗する	csv モジュールまたは pandas を使用する