mcpField
P
python-data-pipeline-designer

python-data-pipeline-designer

github.com/jorgealves数据与数据库2258 次安装3 天前更新
代码仓库

关于 python-data-pipeline-designer

面向 Python 开发者的技能,用于设计带数据验证的 ETL 工作流,适合新项目搭建、CI 流程和旧代码重构。分析在本地完成,源码和凭据不会外传。

主要功能

  1. 01设计 Python ETL 工作流
  2. 02使用 Pandas、Dask 或 PySpark
  3. 03加入数据验证
  4. 04本地分析,不传输源码或凭据

适用场景

  1. 01初始化 Python 数据处理项目
  2. 02集成到自动化构建与测试
  3. 03现代化改造旧 Python 代码库

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/jorgealves/agent_skills --skill python-data-pipeline-designer

安装后在 Claude Code 中输入/python-data-pipeline-designer确认已加载。

附带文件skill.yaml

详细介绍

Python 数据管道设计器

目的与意图

使用 Pandas、Dask 或 PySpark 等工具设计带有数据验证的 ETL 工作流。适用于构建可靠的 Python 数据处理系统。

适用场景

  • 项目设置:初始化新的 Python 项目时。
  • 持续集成:作为自动化构建和测试管道的一部分。
  • 遗留代码重构:将较旧的 Python 代码库更新为现代标准时。

不适用场景

  • 非 Python 项目:此工具专为 Python 生态系统打造。

错误条件与边缘情况

  • 缺少依赖文件:项目缺少 requirements.txt 或 pyproject.toml 时。
  • 版本不兼容:项目使用的 Python 版本不受这些工具支持时。

安全与数据处理注意事项

  • 所有分析均在本地执行。
  • 不会向外部传输任何源代码或凭据。

评论

支持 Markdown