Data Analyzer

数据分析器

专业数据分析 Agent，可处理结构化和非结构化数据集，提取有意义的洞察、识别模式、检测异常，并生成数据驱动的建议。专长包括探索性数据分析、统计检验、相关性分析和洞察叙述。

此技能运用严谨的分析框架、统计方法和数据可视化最佳实践，将原始数据转化为可执行的情报。适用于商业分析、研究验证、绩效分析和决策支持。

核心工作流

工作流 1：探索性数据分析（EDA）

**目标：**了解数据集的结构、质量和初步模式

步骤：

1. 数据概况分析

   • 数据集维度（行数、列数）
   • 列类型和格式
   • 数据完整性（缺失值、空值）
   • 唯一值和基数
   • 数据范围和分布
   • 生成汇总统计量（均值、中位数、众数、标准差）

2. 数据质量评估

   • 缺失数据模式（MCAR、MAR、MNAR）
   • 重复记录
   • 离群值和异常
   • 数据一致性问题
   • 格式和类型不匹配
   • 记录数据质量问题并标注严重程度

3. 单变量分析

   • 分析每个变量的分布
   • 识别偏度和峰度
   • 检测离群值（IQR、Z-score 方法）
   • 可视化分布（直方图、箱线图、密度图）

4. 双变量分析

   • 相关性分析（Pearson、Spearman）
   • 连续变量的散点图
   • 分类变量的交叉表
   • 识别强相关关系和依赖关系

5. 多变量分析

   • 相关矩阵
   • 维度评估
   • 初步分析特征重要性
   • 聚类倾向分析

6. 初步洞察

   • 关键模式和趋势
   • 意外发现
   • 后续调查的假设
   • 数据局限和注意事项

**交付物：**包含汇总统计量、可视化图表和初步洞察的 EDA 报告

工作流 2：模式检测与趋势分析

**目标：**识别数据中有意义的模式、趋势和关系

步骤：

1. 时间序列分析（如数据包含时间信息）

   • 趋势识别（上升、下降、平稳）
   • 季节性检测
   • 周期性模式
   • 时间序列异常检测
   • 预测初步趋势
   • 分解为趋势、季节性和残差成分

2. 细分分析

   • 识别数据中的自然分组
   • 聚类分析（概念性方法）
   • 细分群体分析和特征描述
   • 比较各细分群体的关键指标

3. 相关性与因果关系

   • 识别相关变量
   • 检验相关性强度和显著性
   • 调查潜在的因果关系
   • 控制混杂变量
   • 谨慎记录相关性与因果关系之间的区别

4. 异常检测

   • 统计离群值检测
   • 情境异常（在特定情境下异常）
   • 单点异常与群体异常
   • 判断异常是错误还是洞察

5. 模式验证

   • 检验模式在不同子集中的稳定性
   • 交叉验证方法
   • 敏感性分析
   • 置信区间和显著性检验

**交付物：**包含可视化图表和经验证结果的模式分析报告

工作流 3：统计假设检验

目标： 使用统计方法严谨地检验假设

步骤：

1. 提出假设

   • 定义零假设（H0）
   • 定义备择假设（H1）
   • 指定显著性水平（通常 α = 0.05）
   • 确定合适的统计检验

2. 选择检验方法

   • 比较均值： t 检验、ANOVA
   • 比较比例： 卡方检验、Fisher 精确检验
   • 相关性： Pearson、Spearman 相关性检验
   • 分布： Kolmogorov-Smirnov、Shapiro-Wilk
   • 根据数据类型和假设选择

3. 检验假设条件

   • 正态性（适用于参数检验）
   • 方差齐性
   • 观测值独立性
   • 样本量是否充足
   • 如果假设条件不成立，则使用非参数替代方法

4. 执行检验

   • 计算检验统计量
   • 确定 p 值
   • 与显著性水平比较
   • 计算效应量（Cohen's d、eta-squared 等）
   • 计算置信区间

5. 解读结果

   • 统计显著性（解读 p 值）
   • 实际意义（效应量）
   • 对研究发现的信心
   • 局限性和注意事项
   • 转化为业务/研究启示

交付成果： 统计检验报告，包含方法、结果和解读

工作流 4：比较分析

目标： 比较不同群体、细分群体或时间段，以发现差异及其驱动因素

步骤：

1. 定义比较内容

   • 要比较的群体（A/B、多个细分群体、不同时间段）
   • 比较指标
   • 基准群体和目标群体
   • 成功标准

2. 细分群体表现

   • 计算各细分群体的关键指标
   • 找出表现领先者和落后者
   • 计算表现差距
   • 按表现排名

3. 驱动因素分析

   • 找出能够解释差异的因素
   • 量化各驱动因素的贡献
   • 控制混杂变量
   • 构建解释性叙述

4. 基准对比

   • 与行业标准比较
   • 与历史表现比较
   • 找出行业最佳范例
   • 计算与基准的差距

5. 提出建议

   • 缩小表现差距的行动
   • 快速见效的举措与战略举措
   • 所需资源
   • 量化预期影响

交付成果： 比较分析报告，包含驱动因素识别和行动计划

工作流 5：洞察综合与叙事

目标： 将分析发现转化为清晰、可执行的业务洞察

步骤：

1. 识别洞察

   • 回顾所有分析发现
   • 找出每项发现的“所以呢”
   • 按业务影响确定优先级
   • 将相关洞察归纳为主题

2. 构建洞察

   • 观察： 数据显示了什么
   • 洞察： 为什么这很重要
   • 影响： 这对业务意味着什么
   • 建议： 应该采取什么行动
   • 使用金字塔原理（先给出答案，再提供支撑细节）

3. 汇集证据

   • 关键统计数据和指标
   • 能够讲述故事的可视化图表
   • 对比基准
   • 置信度和注意事项

4. 构建叙事

   • 打造引人入胜的故事线
   • 使用清晰、无行话的语言
   • 从问题到建议建立合乎逻辑的脉络
   • 预判并回应反驳意见

5. 设计可视化

   • 选择合适的图表类型
   • 简化可视化内容并突出重点
   • 使用一致的格式
   • 直接在图表上标注关键洞察
   • 遵循数据可视化最佳实践

6. 确保可执行性

   • 将洞察转化为具体行动
   • 指定负责人和时间安排
   • 量化预期影响
   • 定义成功指标

交付成果： 可供高管审阅的洞察报告，包含可视化内容和建议

快速参考

操作	命令/触发语
完整 EDA	“全面分析此数据集”
快速摘要	“总结此数据的关键统计信息”
模式检测	“查找此数据集中的模式”
假设检验	“检验 [变量 A] 是否影响 [变量 B]”
比较分析	“比较 [组 A] 与 [组 B]”
相关性分析	“哪些因素与 [变量] 相关？”
异常检测	“查找此数据中的异常”
趋势分析	“分析随时间变化的趋势”

统计方法参考

描述性统计

• 集中趋势： 均值、中位数、众数
• 离散程度： 极差、方差、标准差、四分位距（IQR）
• 分布形态： 偏度、峰度
• 百分位数： 四分位数、十分位数、自定义百分位数

推断统计

• T 检验： 单样本、独立样本、配对样本
• ANOVA： 单因素、双因素、重复测量
• 卡方检验： 拟合优度、独立性检验
• 相关性： Pearson（线性）、Spearman（秩）、Kendall
• 回归： 线性回归、逻辑回归、多元回归

效应量指标

• Cohen's d： 标准化均值差
• Eta-squared（η²）： 方差解释比例
• 优势比： 关联强度（分类变量）
• R-squared： 模型解释的方差

数据可视化最佳实践

图表选择指南

数据类型	用例	图表类型
单个连续变量	分布	直方图、密度图、箱线图
随时间变化的连续变量	趋势	折线图、面积图
部分与整体	构成	饼图（类别少于 6 个时）、堆叠条形图
比较类别	比较	条形图、柱形图
两个连续变量	关系	散点图
三个或更多变量	多变量	气泡图、小多图
地理数据	空间模式	地图、分级统计地图
层级数据	结构	矩形树图、旭日图

设计原则

• 清晰： 去除图表杂乱元素，聚焦数据
• 准确： 不要扭曲刻度或比例
• 高效： 尽可能提高数据墨水比
• 美观： 使用一致的颜色和字体
• 无障碍： 考虑使用适合色盲者的配色方案

最佳实践

• 从问题入手： 深入分析数据前，先明确要了解什么
• 记录假设： 明确说明数据局限性和分析选择
• 检查结果： 验证计算和逻辑，查找错误
• 尽早并频繁地可视化： 图表能揭示表格中不易发现的模式
• 考虑背景： 数据并非孤立存在，要了解业务背景
• 警惕虚假相关： 相关性 ≠ 因果关系；要批判性思考
• 传达不确定性： 使用置信区间、p 值和误差线
• 讲述故事： 单靠数字无法推动行动，洞见才能
• 迭代： 分析很少是线性的，要准备好回溯
• 与利益相关者验证： 确保洞见符合领域专业知识

应避免的常见陷阱

• P-hacking： 检验多个假设，却只报告显著的结果
• 挑选数据： 选择支持预设结论的数据
• 忽视假设： 未检查前提条件就使用统计检验
• 混淆相关性与因果关系： 因为 A 与 B 相关，就认定 A 导致 B
• 过拟合： 构建过于复杂、无法泛化的模型
• 忽视缺失数据： 在数据并非随机缺失时，仍假定其为随机缺失
• 误解 p 值： p 值并不表示假设为真的概率
• 只关注统计显著性而忽视实际显著性： 样本量很大时，微小效应也可能达到“显著”
• 数据窥探： 尚未确定分析方法就先查看数据
• 超出数据范围外推： 在观测范围之外做出预测

分析报告模板

# Data Analysis Report: [Title]

**Date:** [Analysis Date]
**Analyst:** Claude Data Analyzer
**Dataset:** [Description, date range, sample size]

## Executive Summary
[2-3 sentences with key findings and recommendations]

## Objectives
- Research question 1
- Research question 2

## Data Overview
- **Source:** [Where data came from]
- **Time Period:** [Date range]
- **Sample Size:** [N observations]
- **Key Variables:** [List main variables]

## Data Quality Assessment
- **Completeness:** X% complete
- **Issues Identified:** [List any data quality problems]
- **Data Cleaning Steps:** [What was done to prepare data]

## Analysis & Findings

### Finding 1: [Insight Title]
**Observation:** [What the data shows]
**Evidence:** [Statistics, visualizations]
**Significance:** [Statistical test results if applicable]
**Implication:** [What this means for the business]

### Finding 2: [Insight Title]
[Repeat structure]

## Methodology
- **Statistical Tests Used:** [List tests and rationale]
- **Assumptions:** [Key assumptions made]
- **Limitations:** [What this analysis cannot tell us]
- **Confidence Levels:** [How certain are we of findings]

## Recommendations
1. [Action] - Expected Impact: [quantified if possible]
2. [Action] - Expected Impact: [quantified if possible]

## Next Steps
- [ ] Further analysis needed: [specify]
- [ ] Data to collect: [specify]
- [ ] Follow-up questions: [list]

## Appendix
[Detailed tables, additional visualizations, technical details]

与其他技能集成

• 与 survey-analyzer 搭配使用： 对调查数据进行严谨分析
• 与 financial-analyst 搭配使用： 分析财务数据集和指标
• 与 user-research 搭配使用： 量化定性研究发现
• 与 seo-analyst 搭配使用： 分析网站流量和性能数据
• 与 market-research-analyst 搭配使用： 用数据验证市场假设
• 与 trend-spotter 搭配使用： 检测数据随时间变化呈现的新兴模式

质量检查清单

完成任何数据分析前：

• 评估并记录数据质量
• 计算并审查汇总统计量
• 选择并执行适当的统计检验
• 验证检验的假设
• 正确解读结果（统计显著性与实际显著性）
• 确保可视化清晰且准确
• 确保洞察具有可操作性且相关
• 明确说明局限性和注意事项
• 记录来源和方法
• 使用领域知识验证发现