sn-da-excel-workflow

Excel データ分析ワークフロー

構造化された Excel 分析のエンドツーエンドのワークフローです。各ステップは、詳細なパターンを確認するために読み込める機能別サブスキルに対応しています。

ワークフロー

ステップ 1 — すべてのシートの行数をカウントする（軽量、全データの読み込みなし）

データをメモリに読み込まずに、シートごとの行数をカウントします。openpyxl の read_only モードを使用します。これはどのファイルサイズでも動作します。

import openpyxl, gc

wb = openpyxl.load_workbook(file_path, read_only=True, data_only=True)
total_rows = 0
sheet_info = {}
for name in wb.sheetnames:
    ws = wb[name]
    row_count = sum(1 for _ in ws.iter_rows(min_row=2, values_only=True))
    total_rows += row_count
    sheet_info[name] = row_count
    print(f"Sheet '{name}': {row_count} rows")
wb.close()
print(f"总行数={total_rows}")

⚠️ 行数のカウントに pd.read_excel() を使用しないでください — すべてのデータをメモリに読み込むため、大きなファイルではメモリ不足（OOM）になります。

→ 機能：excel-reading/multi-sheet-reading

ステップ 2 — 大容量ファイルの判定（重要 — 行数に応じて戦略を選択）

total_rows	戦略	実行内容
< 10k	直接読み込み	df = pd.read_excel(file_path, sheet_name=target_sheet)
10k – 100k	Parquet キャッシュ	pd.read_excel() を 1 回実行 → df.to_parquet() → 以降はすべて Parquet から読み込み
>= 100k	停止。sn-da-large-file-analysis スキルを読み込む	その SKILL.md を読み、ストリーミング読み込みと Parquet のパターンに従います。pd.read_excel() は一切使用しないでください — 100k 行以上ではメモリ不足になるか、タイムアウトします。

100k 行以上の場合：

read_file(path="<skills_base>/sn-da-large-file-analysis/SKILL.md")

次に、そのスキルの stream_excel_to_parquet() を使用します。これは openpyxl の iter_rows を使って 50k 行ずつ定メモリで読み込みます。

10k～100k 行の場合のみ：

import pandas as pd
parquet_path = "/tmp/_auto_parquet.parquet"
df = pd.read_excel(file_path, sheet_name=target_sheet)
df.to_parquet(parquet_path, engine="pyarrow")
del df; gc.collect()
df = pd.read_parquet(parquet_path)

→ 機能：excel-reading/large-excel-reading

ステップ 3 — スキーマとデータ型を確認する

対象シートの構造をプレビューします。大きなファイル（10k 行以上）では、小さなサンプルのみを読み込み、確認のために全データを読み込まないでください。

# For any file size — read only first N rows for inspection
df_head = pd.read_excel(file_path, sheet_name=target_sheet, nrows=20)
print(f"Columns: {df_head.columns.tolist()}")
print(f"Dtypes:\n{df_head.dtypes}")
print(df_head.head(10))

→ 機能：excel-reading/range-reading

ステップ 4 — データのクリーニング

欠損値を処理し、テキストを正規化し、無効な文字をクリーニングします。

# Missing values
null_count = df[col].isna().sum()

# Text cleaning: keep only Chinese characters
import re
def clean_text(val):
    if pd.isna(val): return val
    return "".join(re.findall(r"[\u4e00-\u9fff]", str(val))) or ""

df[col] = df[col].apply(clean_text)

⚠️ 大容量ファイルのルール：total_rows >= 100k の場合、df.apply(lambda...) を使用しないでください。 代わりにベクトル化演算または np.where() を使用します。ベクトル化処理のチートシートについては、sn-da-large-file-analysis スキルを参照してください。

→ 機能：

• excel-data-cleaning/missing-value-handling
• excel-data-cleaning/invalid-data-cleaning
• excel-data-cleaning/text-normalization

ステップ 5 — フィルタリングと抽出

条件またはカテゴリによるフィルターを適用し、結果を集計します。

# Condition filter
mask = df[col].astype(str).str.strip() == target_value
filtered = df[mask]

# Category extraction (for headerless layouts)
df_raw = pd.read_excel(file_path, sheet_name=sheet, header=None)
# Walk rows to find category markers, collect items until next marker

→ 機能：

• excel-data-filtering/condition-filtering
• excel-data-filtering/category-filtering
• excel-data-filtering/threshold-filtering

ステップ 6 — 結果をエクスポートする

フィルタリングまたはクリーニングしたデータを Excel または CSV として保存します。ダウンロードリンクを提示します。

output_path = "/mnt/data/result.xlsx"
result_df.to_excel(output_path, index=False)
print(f"[Download](sandbox:{output_path})")

→ 機能：

• excel-result-export/single-sheet-export
• excel-result-export/formatted-export

主なルール

• 必ず最初に行数をカウントする — 10k のしきい値に基づいて大容量ファイル用の処理を判断します。
• 100k 行以上 → 必ず sn-da-large-file-analysis スキルを読み込む — pd.read_excel() で処理しようとしないでください。
• 列名にはスペースが含まれる場合があります（例：'是否通 过'）— 正確な文字列でインデックス指定します。
• ヘッダーのないシート — header=None と位置インデックスを使用します。
• 大容量ファイル（100k 行以上）で禁止される操作：
  • 全データの読み込みに pd.read_excel() を使う（ストリーミング読み込み → Parquet を使用）
  • df.apply(lambda...) または df.iterrows() を使う（ベクトル化演算または itertuples() を使用）
  • フォント検索に fc-list、find ... fonts、subprocess を使う、または pip install を実行する（以下の固定フォントパスを使用）
  • すべてのユニーク値または DataFrame 全体を出力する（.head()、.value_counts().head() を使用）

CJK フォントの設定（グラフでは必須）

matplotlib でグラフを生成する場合、このブロックをそのままコピーしてください。フォントを検索しないでください。

import os
import matplotlib
import matplotlib.pyplot as plt
import matplotlib.font_manager as fm

_FONT_PATHS = [
    '/mnt/afs_agents/SimHei.ttf',
    '/mnt/afs_agents/mnt/data/SimHei.ttf',
    os.path.expanduser('~/.fonts/SimHei.ttf'),
    '/usr/share/fonts/truetype/wqy/wqy-zenhei.ttc',
    '/usr/share/fonts/SimHei.ttf',
]
for _p in _FONT_PATHS:
    if os.path.exists(_p):
        fm.fontManager.addfont(_p)
        matplotlib.rcParams['font.family'] = fm.FontProperties(fname=_p).get_name()
        break
matplotlib.rcParams['axes.unicode_minus'] = False

サブスキルの読み込み方法

各ワークフローステップは、1 つ以上の機能別サブスキルを参照します。あるステップの詳細なコードパターンが必要な場合は、必要に応じてサブスキルを読み込みます。

read_file(path="<base_path>/<category>/<sub-skill-name>/SKILL.md")

ルール：

• 現在のステップに必要なサブスキルのみを読み込みます。
• すべてのサブスキルを一度に読み込まないでください — コンテキストを浪費します。
• 最上位のワークフロー（このファイル）がガイドとなり、サブスキルには詳細な実装パターンが記載されています。

利用可能な機能別サブスキル

ベースパス：<skills_root>/sn-da-excel-workflow/capability/{category}/{sub-skill}/SKILL.md

excel-reading — 读取与解析

Sub-skill	功能
single-sheet-reading	读取单个工作表，支持合并单元格处理、交叉分析及多维度可视化
multi-sheet-reading	读取多工作表，动态评估数据量启用Parquet优化，支持正则清洗、分类汇总与线性拟合
range-reading	特定区域数据提取，根据数据量动态选择处理策略
large-excel-reading	大型Excel文件处理，支持Parquet转换提速，生成带条件高亮的格式化报告
multi-file-reading	多文件读取与统计，支持大文件Parquet转换与可视化报告
specific-sheet-reading	跨Sheet特定字段统计、数据清洗与交叉分析，生成带下载链接的汇总报告
structured-header-reading	动态识别目标列进行统计，正则清洗文本字段提取中文字符

excel-data-cleaning — 数据清洗

Sub-skill	功能
missing-value-handling	多Sheet智能清洗、跨表核对与可视化分析
duplicate-removal	多Sheet去重统计，生成摘要与明细报表
invalid-data-cleaning	正则清洗指定文本列（如保留中文字符），大文件自动Parquet加速
text-normalization	文本标准化清洗（去除异常前缀、提取纯中文字符等）
numeric-format-normalization	数值格式标准化，支持关键指标合计核对与结果文件导出
outlier-detection	IQR异常值检测，结合偏度/峰度分析数据分布，适用于非正态数据预处理

excel-data-filtering — 数据筛选

Sub-skill	功能
condition-filtering	根据数据规模动态选择处理策略进行条件筛选
category-filtering	自定义分类统计、交叉分析，支持文本长度/术语密度/正则匹配等综合评分与分级
range-filtering	根据多维数值条件筛选并导出，支持大规模数据自动性能优化
threshold-filtering	数值列清洗、条件过滤，使用openpyxl对符合条件的单元格进行样式标记

excel-data-analysis — 数据分析

Sub-skill	功能
comparison-analysis	两类分类数据对比分析，统计数量差异与比例关系并生成可视化
group-by-analysis	多Sheet数据清洗及分组聚合分析，生成带样式标记的统计表与图表
kpi-metric-analysis	提取关键指标进行单位一致性验证与排序分析
pivot-table-analysis	交叉表与热力图进行多维度占比分析，适用于奖项分布/绩效评估/市场占有率
time-series-analysis	时间序列趋势分析、百分比清洗、绩效分级建模与预测，生成高分辨率可视化报告
trend-analysis	多维度分级评估与趋势预测，差异化增长率计算，适用于绩效评估/目标设定

excel-data-statistics — 统计计算

Sub-skill	功能
basic-statistics	基础统计，支持按条件筛选计算均值，指定行区间提取数据去重求和
category-statistics	各类别数量与占比统计，生成柱状图/饼图等组合可视化报告
grouped-statistics	多Sheet数据合并与前向填充，分组统计
percentage-calculation	逐行扫描或列匹配提取关键指标并计算占比/均值，输出结构化报告及图表

excel-data-visualization — 数据可视化

Sub-skill	功能
bar-chart-visualization	处理合并单元格，交叉分组统计，生成支持中英文字体的美化柱状图
histogram-visualization	数值型分布分析与异常值检测，支持正则提取误差项，生成箱线图与直方图
line-chart-visualization	特征清洗与聚类分析，生成趋势对比/分布特征/参数敏感性多维度图表
pie-chart-visualization	分类汇总统计，自动识别关键字段生成包含占比/数值的美化饼图
scatter-plot-visualization	多维度统计分析与散点图可视化
stacked-chart-visualization	百分比字符串数据处理，补全缺失维度，生成堆叠柱状图展示构成变化趋势

excel-cell-coloring — 单元格着色

Sub-skill	功能
category-coloring	提取目标指标计算最大值，对特定行进行高亮标注
duplicate-value-coloring	对比多表中的特定系数并对异常值进行颜色标记
outlier-coloring	识别超限数值与错误单元格并进行高亮标注
threshold-cell-coloring	计算时间序列平均值，使用openpyxl输出带条件格式（如低于均值标绿）的报告
top-value-coloring	根据数据规模动态选择策略，多表合并、统计筛选，关键指标自动化样式高亮

excel-conditional-formatting — 条件格式

Sub-skill	功能
data-bar-formatting	从带单位字符串列提取数值并清洗，生成直方图/饼图/条形图/累积分布图

excel-result-export — 结果导出

Sub-skill	功能
single-sheet-export	多Sheet数据探查与条件过滤导出，重命名字段后生成带下载链接的Excel
formatted-export	条件筛选记录并以整行标红格式导出Excel
chart-embedded-export	分类分布清洗与统计，生成多维度交叉分析与高分辨率嵌入式图表报告
report-generation-export	从Excel提取多类型数据，生成包含可视化图表与下载链接的综合分析报告

excel-table-styling — 表格样式

Sub-skill	功能
table-theme-styling	大文件Parquet加速读取，条件筛选/分类汇总与结果导出