validate-data

相关技能

如果验证取决于底层数据是否可信、可比较、足够新或粒度是否合适，请使用 $analyze-data-quality。

如果任务要求在验证后给出建议或做出决策，请使用 $product-business-analysis。

验证数据分析

在与利益相关者分享分析之前，请先进行验证。重点检查问题、数据、方法、计算、可视化、结论、注意事项和建议是否足以满足目标受众和决策需求，且值得信赖。 此技能用于分析质量检查，不仅限于原始数据集分析。如果验证取决于数据集可靠性检查（例如新鲜度、粒度、缺失值、重复项、连接覆盖率或来源不一致），请将 $analyze-data-quality 作为配套技能使用。

工作流

1. 梳理产物和结论。

   确定要验证的报告、笔记本、电子表格、SQL、仪表板、图表、粘贴的分析内容或建议。如果提及了路径、链接、查询、笔记本、电子表格或仪表板，请检查源产物。提取核心问题、受众、决策、关键结论、重要数字、数据来源、时间范围、群体、筛选条件、比较基准和明确列出的注意事项。确认用户要求的每项指标或 KPI 都出现在分析中，或明确标记为不可用、不适用或超出范围。

2. 验证问题、方法和假设。

   确认分析回答的是指定的业务或产品问题，而不是一个更容易回答但相近的问题。检查群体、资格规则、排除项、抽样、指标定义、公式、单位、分母、时区、队列、比较周期和基准是否符合利益相关者的决策需求。标记隐藏的排除项、不一致的定义、不完整周期的比较，以及缺乏实验或其他可信因果证据的因果表述。

3. 验证数据选择和质量风险。

   确认所选表、文件、仪表板或数据提取结果适用于该决策，且数据足够新。检查可能影响结论的风险，包括新鲜度或“截至”日期、预期分区、细分覆盖率、行数／类别完整性、空值处理、去重、筛选逻辑、连接覆盖率和来源不一致。可通过相关来源连接器使用 ~~structured_data 检查来源元数据、架构、样本行、查询历史或 SQL 抽查。使用 ~~operations_logs 查看表的新鲜度、数据血缘或流水线背景。

4. 验证计算和汇总。

   尽可能独立重新计算影响最大的数字。检查粒度、小计、分母、非零分母、比率基数、环比基数、加权平均值、单位、货币、时区处理，以及互斥类别之和是否等于总数。对于 SQL，检查连接类型、分组粒度、筛选条件、去重计数，以及连接前后的行数。如果产物本身是笔记本或电子表格，或者可复现的抽查需要代码或公式，请使用 $jupyter-notebooks 或 ~~spreadsheet_workspace。

5. 检验合理性并排查常见分析陷阱。

   尽可能将数值与已知的仪表板、历史报告、先前分析、财务来源或预期产品规模进行比较。调查趋势骤升、骤降、持平、整齐的整数、0% 或 100% 的比率、总和应约为 100% 的细分占比，以及毫无阻碍地完全证实假设的结果。检查边界情况，例如空细分、新实体和边界日期。

6. 检查可视化和呈现完整性。 确认图表使用了合适的图表类型、刻度、坐标轴、区间、标题、标签、单位、排序、注释、颜色和精度。对于非平凡的图表审查，使用 $visualize-data。对于渲染后的报告、仪表板、幻灯片、文档、PDF、HTML 或其他最终产物，检查渲染输出中是否存在损坏的图表、缺失的表格、被裁剪的文本、糟糕的格式、过期的占位符以及明显的布局问题。检查快速浏览的读者是否可能带着误导性的理解离开，尤其是由于截断的坐标轴、双坐标轴、3D 效果、不一致的区间、缺失的日期范围或夸大数据含义的图表标题所导致的情况。

7. 评估叙述、结论和建议。

   确认每个结论都有可见证据或已保存的产物支持。 将已验证的发现与解释、注意事项和未决问题区分开来。 识别替代解释、不确定性、缺失的背景信息、 超出证据范围的建议，以及任何设计不支持因果表述的因果性语言。

8. 生成置信度评估和所需修复项。

   优先处理对利益相关者决策有实质性影响的问题。将阻塞项与注意事项区分开来：不要因为轻微的润色问题而阻止分享，但当某个数字、分母、连接、时间窗口、总体、比较 或结论在实质上不可靠时，则必须阻止。将未完成的交接阻塞项与注意事项分开记录，包括缺失的访问权限、不可用的源产物、未运行的检查、损坏的渲染步骤、未解决的数据质量风险 或缺少负责人确认。如果使用 SQL、Python、notebook 或电子表格进行验证，请包含产物路径、查询永久链接、notebook 路径、电子表格标签页或仪表板链接，以便该检查可复现。

标准

验证立场

• 验证分析实际提出的主张，而不仅仅是产物看起来是否精致。
• 优先采用具体证据：在工具和访问权限允许的情况下，重新计算重要数字、检查源数据、 检查代码路径、追踪记录，或与可信来源进行核对。
• 标记任何无法验证的内容，并说明验证它需要什么。
• 将意外结果、面向利益相关者的建议、因果性主张、 高影响决策以及对外分享的分析视为更高风险的验证目标。
• 选择与产物和决策相匹配的检查。不要机械地运行所有可能的检查。

方法论检查

• 问题框定：分析回答了所陈述的业务或产品问题。
• 数据选择：来源适合该决策且足够新。
• 总体：纳入、排除、资格规则和抽样均明确。
• 指标定义：公式、单位、分母和时区清晰，并与利益相关者的定义保持一致。
• 基线：比较周期、群组和背景具有可比性。
• 因果性：因果性措辞有实验性或其他可信的因果证据支持。

数据质量检查

• 新鲜度：分析陈述了或能够恢复数据的“截至”日期。
• 完整性：没有意外的缺失分区、分段、行或类别。
• 空值处理：关键列具有预期的空值率或明确的处理方式。
• 去重：主要实体没有被重复计数。
• 过滤器验证：过滤器和 WHERE 子句不会悄悄排除目标总体。
• 连接覆盖率：维度、实验和参考表不会丢弃或重复计算重要行。

计算检查

• 粒度：聚合层级与预期的分析粒度一致。
• 分母：比率和百分比使用正确的人群，且分母非零。
• 时段对齐：比较使用时长相同的时间窗口，或明确说明窗口差异。
• 加权指标：组间规模不同时，正确加权计算平均值。
• 小计：类别互斥时，各部分之和应等于总计。
• 单位：货币、令牌、用户、请求、账户、日／周／月和时区等单位保持一致。

合理性检查

• 数值相对于已知仪表板、历史报告或预期产品规模而言合理。
• 百分比处于预期范围内；在预期情况下，各细分占比之和约为 100%。
• 趋势骤升、骤降、持平、恰好为整数，以及 0% 或 100% 的比率都有合理解释。
• 结果并非毫无阻碍或例外地完全证实假设。
• 空细分、新实体和边界日期等边缘情况处理合理。

常见陷阱

• Join 行数膨胀：多对多 join 会在不知不觉中复制行，从而抬高计数或总和。比较 join 前后的行数和不同主实体数，并检查右表的 join 键是否对应多行。 必要时，先将右表聚合到预期粒度再进行 join；通过 join 计数实体时使用 COUNT(DISTINCT primary_id)， 并为有意进行的一对多 join 添加注释。
• 幸存者偏差：分析仅包含当前存在的实体，遗漏已删除、流失、失败或因其他原因缺失的实体。思考哪些对象不在数据集中，以及缺失人群是否会改变结论。
• 时段比较不完整：将部分时段与完整时段进行比较。使用完整时段、比较经过天数相同的时段，或醒目地注明部分时段的限制。
• 分母变化：不同时间段或细分中的合格人群有所变化。验证转化、流失、激活、附加率和留存率在比较组之间使用了稳定的定义。
• 平均值的平均：对预先计算的平均值取平均，却未按组规模加权。应基于原始分子和分母进行聚合，或使用加权平均值。
• 时区不匹配：数据源采用不同的时间戳约定或每日截止时间。确认分析已统一时间戳，或明确说明时区和截止时间。
• 细分中的选择偏差：根据待衡量的结果来定义细分。若要声称存在提升、因果关系或行为差异，应根据处理前的特征定义比较组。
• 其他统计陷阱：辛普森悖论（整体趋势与细分层级趋势相矛盾）、将相关性说成因果关系、样本量过小、受离群值主导的平均值（此时应查看中位数或分布）、多重检验、挑选时间范围，以及前视偏差。

抽查方法

• 根据原始分子和分母重新计算关键指标。
• 抽查几条记录，追踪它们经过 join、筛选和最终输出的完整过程。
• 将关键总数与可信的仪表板、先前报告或财务数据源核对。
• 根据组成指标反推标题数字，例如用用户数乘以人均收入。
• 按单日、单个细分或单个实体进行边界检查，确保筛选和 join 的行为合理。
• 如果某项结论令人意外或影响重大，通过另一种查询路径计算同一指标并进行比较。

可视化检查

• 条形图通常应从零开始；瀑布图、桥接图、差异图和其他侧重增量的图表，如果从零开始会明显压缩所要呈现的变化幅度，则可以使用非零或缩窄的数值轴，前提是明确标注精确数值、单位和聚焦范围。
• 比较图表应使用一致的比例尺，除非明确说明并合理解释比例尺差异。
• 应标注坐标轴、单位、图例和日期范围。
• 类别排序应与读者需要进行的比较相符。
• 截断坐标轴、双轴、3D 效果和不一致的间隔都需要明确说明理由或重新设计。
• 图表标题和注释应与数据实际支持的内容完全一致。
• 标题应说明结论，并在必要时注明日期范围或范围界定。
• 注意事项应在相关主张附近清晰可见。
• 数字格式应采用恰当的精度和单位。
• 如果有最终渲染成品，应检查其最终形式，而不应只检查源文件。

置信度评级

• 可分享：分析方法可靠，关键计算已核实或风险较低，注意事项清晰，剩余问题均较轻微。
• 附带注意事项后可分享：分析在方向上可用，但必须向利益相关方说明具体假设、局限或尚未核实的检查项。
• 需要修订：存在重大错误、缺乏依据的主张、缺失的检查项或方法问题，应在分享前修正。

输出标准

除非用户要求简要审查，否则请使用以下结构：

## Validation Report

### Overall Assessment: [Ready to share | Share with caveats | Needs revision]

### Methodology Review
[Findings about question framing, data selection, population, definitions, comparisons, and assumptions.]

### Issues Found
1. [Severity: High/Medium/Low] [Issue description, evidence, and impact]
2. ...

### Calculation Spot-Checks
- [Metric or claim]: [Verified / Discrepancy found / Not verified] - [brief evidence]

### Visualization Review
[Chart or presentation issues, if applicable.]

### Suggested Improvements
1. [Improvement and why it matters]

### Required Caveats for Stakeholders
- [Caveat that must be communicated]

• 在相关时，包含所回答的问题、数据来源和“截至”日期、指标和细分定义、时间段和时区、方法步骤、假设和局限、SQL 查询、笔记本路径、电子表格标签、仪表板链接，或行动前所需的注意事项。
• 保留原始材料中的来源引用，包括链接、查询 ID、笔记本路径、电子表格标签、仪表板 URL、引用文档，以及追溯分析所需的其他证据。
• 核实用户要求或交付格式所隐含的各个章节是否齐全；说明省略的章节。
• 按对决策的影响程度排列问题，而不是按材料中的章节顺序排列。
• 明确指出未经核实的主张和仍需注意的事项。
• 将未完成的交接阻碍项与注意事项及改进建议分开列出。