关于 data-quality-audit
data-quality-audit 是一项用于检查数据集并整理质量发现的技能，适合数据团队和数据治理工作。它指导检查空值、重复项、引用完整性、取值范围和数据新鲜度，并按严重程度归类发现。
主要功能
- 01分析空值与完整性
- 02检测行级和键级重复
- 03检查引用完整性
- 04验证业务取值范围
- 05检查数据新鲜度
- 06生成报告与评分卡
适用场景
- 01在下游报表使用前验证数据
- 02调查数值错误或数据过时问题
- 03在基于新数据源构建前评估质量
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/data-quality-audit确认已加载。
包含的文件
除 SKILL.md 外，安装时一起下载的参考资料和脚本。
assets/audit_report_template.htmlquality_rubric.mdreferences/business_rule_patterns.mdquality_dimensions.mdscripts/duplicate_finder.pyfreshness_check.pynull_counter.pyreferential_integrity.pyvalue_range_validator.py详细介绍
适用场景
- 数据管道刚加载了新数据，需要先进行验证，再供下游报告使用
- 利益相关方指出了数据质量问题（总计错误、出现意外空值、数据过时）
- 作为数据治理流程的一部分，需要为某项数据资产生成正式的数据质量评分卡
- 正在接入新的数据源，需要在基于它构建内容之前了解其质量概况
流程
- 空值与完整性审计 — 运行
scripts/null_counter.py，按列生成空值概况。根据业务场景，标记空值比例超过可接受阈值的列。 - 重复数据检测 — 运行
scripts/duplicate_finder.py，识别整行重复和键级别重复。判断重复数据是有意产生的（版本管理），还是错误导致的（管道扇出）。 - 引用完整性检查 — 运行
scripts/referential_integrity.py，验证子表中的外键值是否存在于父表中。报告每种关系的孤立记录比例。 - 值范围验证 — 根据
references/business_rule_patterns.md中定义的业务规则，运行scripts/value_range_validator.py。标记超出可接受范围的值。 - 新鲜度检查 — 运行
scripts/freshness_check.py，验证数据集是否为最新数据 — 将最新记录的时间戳与此管道的预期延迟进行比较。 - 评估并分类发现 — 使用
references/quality_dimensions.md将每项发现映射到一个质量维度。指定严重级别（CRITICAL / HIGH / MEDIUM / LOW）。 - 生成交付物 — 填写
assets/audit_report_template.html，生成可供分享的报告；填写assets/quality_rubric.md，生成简明评分卡。
此技能所需的输入
- 必需：数据集（CSV / Parquet / 数据库表引用）
- 必需：架构关系 — 哪些列是主键，哪些列是指向哪些表的外键
- 必需：业务规则 — 可接受的值范围、预期值集合、新鲜度 SLA
- 可选：可接受的错误率 — 错误率达到什么阈值时，失败的严重级别从 HIGH 升为 CRITICAL
- 可选：管道计划 — 用于根据预期更新频率评估新鲜度
输出
assets/audit_report_template.html（已填写）— 完整的数据质量报告，可与利益相关方分享assets/quality_rubric.md（已填写）— 一页式质量评分卡，包含各维度的得分- 脚本控制台输出 — 每个验证脚本按检查项统计的通过 / 失败数量
评论
支持 Markdown