mcpField
D
discover-data

discover-data

github.com/rand数据与数据库19095 次安装35 周前更新
代码仓库

关于 discover-data

discover-data 是面向 Claude Code 的数据工程技能入口,覆盖数据工作流相关主题。它会在相关工作中自动激活,并逐步提供批处理、流处理、验证和 dataflow 系统等 9 项技能。

主要功能

  1. 01数据工作时自动激活
  2. 02涵盖多种数据主题的九项技能
  3. 03从索引到单项技能渐进加载
  4. 04提供数据技能组合工作流示例

适用场景

  1. 01规划批处理和 ETL 管道
  2. 02处理流处理与聚合任务
  3. 03了解增量或分布式 dataflow

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/rand/cc-polymath --skill discover-data

安装后在 Claude Code 中输入/discover-data确认已加载。

详细介绍

数据技能发现

提供对全面数据技能的自动访问。

此技能的激活时机

在处理以下内容时,此技能会自动激活:

  • ETL
  • 数据管道
  • 批处理
  • 流处理
  • 数据验证
  • 编排
  • Airflow
  • timely dataflow
  • differential dataflow
  • 流式聚合
  • 窗口化
  • 实时分析

可用技能

快速参考

Data 类别包含 9 项技能:

  1. batch-processing - 编排具有依赖关系的复杂数据管道
  2. data-validation - 在处理前验证数据架构
  3. dataflow-coordination - 分布式 dataflow 系统的协调模式
  4. differential-dataflow - 用于增量更新和高效连接的差分计算
  5. etl-patterns - 设计从多个来源提取数据的方式
  6. pipeline-orchestration - 协调复杂的多步骤数据工作流
  7. stream-processing - 处理实时事件流(Kafka、Flink)
  8. streaming-aggregations - 窗口化、会话化和时间序列聚合
  9. timely-dataflow - 具备进度跟踪功能的低延迟流式计算
加载类别完整详情

如需完整说明和工作流:

读取 ../data/INDEX.md

这会加载完整的 Data 类别索引,其中包含:

  • 详细的技能说明
  • 各项技能的使用触发条件
  • 常见工作流组合
  • 相关技能的交叉引用
加载特定技能

按需加载单项技能:

传统 ETL/批处理

读取 ../data/batch-processing.md 读取 ../data/data-validation.md 读取 ../data/etl-patterns.md 读取 ../data/pipeline-orchestration.md

流处理

读取 ../data/stream-processing.md 读取 ../data/streaming-aggregations.md

高级 Dataflow 系统

读取 ../data/timely-dataflow.md 读取 ../data/differential-dataflow.md 读取 ../data/dataflow-coordination.md

常见工作流组合

实时分析管道

一起加载以下技能:

读取 ../data/stream-processing.md # Kafka 设置 读取 ../data/streaming-aggregations.md # 窗口化模式 读取 ../data/dataflow-coordination.md # 协调

增量计算系统

一起加载以下技能:

读取 ../data/timely-dataflow.md # 基础 读取 ../data/differential-dataflow.md # 增量更新 读取 ../data/dataflow-coordination.md # 分布式协调

混合批处理 + 流处理

一起加载以下技能:

读取 ../data/batch-processing.md # 批处理作业 读取 ../data/stream-processing.md # 流处理 读取 ../data/pipeline-orchestration.md # 整体协调

渐进式加载

此网关技能支持渐进式加载:

  • Level 1:网关自动加载(你当前就在这里)
  • Level 2:加载类别 INDEX.md,查看完整概览
  • Level 3:按需加载特定技能

使用说明

  1. 自动激活:Claude Code 检测到数据相关工作时,会自动加载此技能
  2. 浏览技能:运行 Read ../data/INDEX.md 查看完整类别概览
  3. 加载特定技能:使用上方的 bash 命令加载单项技能

后续步骤:运行 Read ../data/INDEX.md 查看类别完整详情。

评论

支持 Markdown