关于 data-catalog-entry
用于记录数据库表和数据集信息的技能,服务于分析人员、数据所有者及治理团队,帮助他们查找和理解数据资产。它将技术元数据与业务背景、质量、血缘和治理信息整合到目录条目中。
主要功能
- 01提取架构和表的基本统计信息
- 02记录所有权、用途及使用场景
- 03说明列含义和业务规则
- 04记录质量、新鲜度和数据血缘
- 05补充访问权限、敏感级别及保留要求
适用场景
- 01让新建的数据集可被发现
- 02为合规或审计记录敏感数据
- 03帮助新成员理解数据资产
- 04查找目录中尚未记录的表
安装
复制下面的命令,在终端中运行。
$
npx skills add https:/ / github.com/ nimrodfisher/ data-analytics-skills --skill data-catalog-entry安装后在 Claude Code 中输入/data-catalog-entry确认已加载。
包含的文件
除 SKILL.md 外,安装时一起下载的参考资料和脚本。
assets/catalog_entry_template.mdreferences/catalog_standards.mdscripts/catalog_extractor.py详细介绍
数据目录条目
适用场景
- 新建了表、视图或数据集,需要让人们能够发现它
- 分析师不断询问某个表的含义或归属
- 合规或审计要求规定必须记录敏感数据
- 为需要了解可用数据资产的新团队成员提供入职指导
- 审计目录完整性,查找缺少文档的表
流程
- 提取技术元数据 — 从
INFORMATION_SCHEMA或源系统中提取架构、列名、类型、主键、外键和行数。使用scripts/catalog_extractor.py自动提取数据库表的相关信息。 - 收集业务背景 — 采访数据所有者,了解业务用途、所属团队、重要程度(关键 / 高 / 中 / 低)和已知用例。记录便于业务人员理解的显示名称。
- 编写列描述 — 为每列编写一句通俗易懂的描述,注明示例值,并记录业务规则(有效值、约束、格式要求)。
- 评估数据质量 — 计算或估算完整度、新鲜度(距离上次更新的小时数)和重复率。记录已知问题,以及这些问题对下游使用的影响。
- 记录数据血缘 — 记录上游来源(数据的来源)和下游使用方(依赖该数据的仪表板、模型和报告)。
- 记录治理详情并发布 — 指定访问级别(公开 / 受限 / 机密)、敏感性(PII、财务、健康)、合规标签、保留政策和访问说明。填写
assets/catalog_entry_template.md并提交到目录。
此技能需要的输入
- 用于提取技术元数据的数据库 / 源系统连接或导出数据
- 用于业务背景访谈的数据所有者联系方式
- 对上游来源和下游使用方的了解
- 适用的治理政策(PII 分类、保留规则)
- 任何现有的部分文档或数据字典
输出
scripts/catalog_extractor.py— 从数据库表中提取架构和基本统计信息assets/catalog_entry_template.md— 填写完整的目录条目,包含技术、业务、质量、血缘和治理部分
评论
支持 Markdown