excel-data-analyzer

Excel Data Analyzer

概要

Excel ファイルを分析し、データ構造、品質上の問題、書式の不整合、統計的な傾向を特定します。データのクリーニングと改善に役立つ実行可能なインサイトを含む、包括的な Markdown レポートを生成します。

クイックスタート

次のコマンドを 1 つ実行するだけで、任意の Excel ファイルを分析できます。

cd /path/to/skill/scripts
bun install  # First time only
bun run analyze_excel.ts /path/to/data.xlsx

出力：完全な分析結果を含む Markdown レポート（data_analysis.md）。

主な機能

1. データ構造の検出

次の項目を自動的に特定します。

• 列名とデータ型（整数、浮動小数点数、文字列、日付、メールアドレス、ブール値、混在）
• シートごとの行数と列数
• 個別の値の数
• すばやく確認できるサンプル値

2. データ品質の分析

次のような品質上の問題を検出します。

• 欠損値： 列ごとの null の割合と件数
• null が多い列： 欠損データが 50% を超える列にフラグを付けます
• 混在するデータ型： 型に一貫性のない列を特定します
• 書式の問題： 先頭または末尾の空白、一貫性のない大文字・小文字、数値文字列を検出します

3. 統計的な要約

数値列について、次の統計情報を生成します。

• 最小値、最大値、平均値、中央値、標準偏差
• 外れ値の検出： 標準偏差の 3 倍を超える値
• 値の分布： 出現頻度の高い上位 10 個の値とその件数

テキスト列について：

• 最小、最大、平均の文字数
• 値の出現頻度分布

4. 品質スコアの算出

次の項目に基づいて品質スコア（0～100）を割り当てます。

• ヘッダーの欠落：-10 点
• null の割合が高い列：-15 点
• 書式の不整合：-10 点
• 列名の重複：-15 点

5. 複数シートへの対応

ブック内のすべてのシートを分析します。

• シートごとの品質スコア
• シートごとの列分析
• ブック全体の品質スコア

使用方法

基本的な分析

bun run analyze_excel.ts data.xlsx

生成されるファイル：data_analysis.md

カスタム出力パス

bun run analyze_excel.ts data.xlsx --output reports/audit.md

初回セットアップ

分析スクリプトを実行する前に、次の操作を行います。

cd /path/to/excel-data-analyzer/scripts
bun install

これにより、必要な依存関係（xlsx ライブラリ）がインストールされます。

ワークフロー

ユーザーから分析対象の Excel ファイルが提供された場合：

1. 分析スクリプトを実行し、提供されたファイルを分析します
2. 生成されたレポートを読み、分析結果を把握します
3. 主な問題を要約してユーザーに伝えます。
   • 全体的な品質スコア
   • 最も重大な問題（欠損値、書式の問題）
   • 対応が必要な列
4. 分析に基づいて推奨事項を提示します。
   • 調査すべき列
   • 推奨されるクリーニング方法
   • 修正の優先度（高／中／低）

レポートの構成

生成される Markdown レポートには、次の内容が含まれます。

エグゼクティブサマリー

• ファイルのメタデータ（名前、サイズ、シート）
• 全体的な品質スコア
• 概要レベルの分析結果

シートごとの分析

• サイズ（行数 × 列数）
• 品質スコア
• 検出された問題の一覧
• 列分析テーブル（型、個別の値の数、欠損率、問題）

列の詳細情報

各列について：

• データ型の分類
• 欠損値の統計情報
• サンプル値
• 書式の問題（ある場合）
• 統計的な要約（数値列）
• 値の分布

よくあるデータの問題

優先度の高い問題

混在するデータ型：

• 列に数値、文字列、日付が含まれています
• 適切な分析が妨げられます
• 例：123、"abc"、2023-01-15

欠損率が高い（>50%）：

• 列のデータが不十分です
• 列の削除または欠損値の補完を検討してください

列名の重複：

• 分析で曖昧さが生じます
• 列名の変更が必要です

優先度が中程度の問題

数値文字列：

• 数値がテキストとして保存されています。例：123 ではなく "123"
• 計算が妨げられます

書式の不整合：

• 先頭または末尾の空白：" value "
• 大文字・小文字の不統一："john"、"JOHN"、"John"
• 日付形式の混在："2023-01-15"、"01/15/2023"

外れ値：

• 標準偏差の 3 倍を超える値
• エラーまたは特殊なケースを示している可能性があります
• 調査が必要です

優先度の低い問題

ヘッダーの欠落：

• 列名が空です
• 規則的な列名（Column_1、Column_2）が生成されます

テキストの長さのばらつき：

• 文字列の長さに大きな幅があります
• データ入力の不整合を示している可能性があります

高度なパターン

データ品質のパターンと検出方法の詳細については、以下を参照してください。

references/analysis-patterns.md - 以下を網羅した包括的なガイド：

• データ型の問題（型の混在、数値文字列、日付形式）
• 欠損データのパターン（欠損率が高い、データが疎、プレースホルダー）
• 形式の不整合（空白、大文字・小文字、区切り文字）
• 統計的な異常（外れ値、偏った分布）
• 構造上の問題（重複した名前、空の行・列）
• ドメイン固有のパターン（メールアドレス、電話番号、日付）
• エンコーディングの問題（文字エンコーディング、Unicode）

通常とは異なるパターンに遭遇した場合や、より詳しい分析方法が必要な場合は、このリファレンスを参照してください。

出力の解釈

品質スコアの範囲

• 90-100: 優秀 - 問題は最小限です
• 70-89: 良好 - 軽微な形式の問題があります
• 50-69: 普通 - 品質に関する重大な懸念があります
• 50未満: 不良 - データに重大な問題があります

修正の優先順位

1. 最初に： 構造上の問題に対処します（重複した列、ヘッダーの欠落）
2. 次に： 欠損値が多い列（>50%）を修正します
3. 3番目に： データ型の混在を解消します
4. 4番目に： 形式の不整合を修正します
5. 5番目に： 外れ値を調査します

パフォーマンス

大きなファイル向けに最適化されています：

• Bun ランタイム： 高速な JavaScript の実行
• ストリーミングのサポート： 大規模なデータセットでもメモリーを効率的に使用
• xlsx ライブラリ： 業界標準の Excel 解析

一般的なパフォーマンス：

• 小さなファイル（<1MB）：<1秒
• 中規模のファイル（1-100MB）：1-10秒
• 大きなファイル（>100MB）：10-60秒

制限事項

• 分析レポートのみを生成します（データのクリーニングは実行しません）
• テキストベースの分析です（ビジネスコンテキストは解釈しません）
• 統計手法では、定量分析に数値データがあることを前提とします
• 外れ値の検出には単純な3シグマルールを使用します（ロバストな手法ではありません）

リソース

scripts/

analyze_excel.ts - メインの分析スクリプト（Bun/TypeScript）

• xlsx ライブラリを使用して Excel ファイルを解析します
• データ型と品質の問題を検出します
• 統計的な要約を生成します
• Markdown レポートを作成します

package.json - Bun の依存関係

• xlsx：Excel ファイルの解析

references/

analysis-patterns.md - データ品質パターンの包括的なガイド

• 詳細な検出方法
• 影響の評価
• 各問題タイプに対する推奨事項

assets/

report-template.md - Markdown レポートのテンプレート構造

• 想定される出力形式を示します
• レポートの各セクションを理解するためのリファレンスです