mcpField
A
airflow-dag-patterns

airflow-dag-patterns

github.com/sickn33数据与数据库48.8k257 次安装今天更新
代码仓库

关于 airflow-dag-patterns

面向 Apache Airflow 用户的技能,帮助设计、测试、部署和排查生产数据流水线,涵盖 DAG、运算符、传感器及运维实践。

主要功能

  1. 01DAG 设计与依赖关系
  2. 02自定义运算符和传感器
  3. 03本地测试 DAG
  4. 04部署与故障排查指导
  5. 05幂等性、重试与可观测性

适用场景

  1. 01设计 Airflow 数据流水线
  2. 02构建自定义运算符或传感器
  3. 03部署前测试 DAG
  4. 04排查失败的 DAG 运行

安装

复制下面的命令,在终端中运行。

$npx skills add https://github.com/sickn33/agentic-awesome-skills --skill airflow-dag-patterns

安装后在 Claude Code 中输入/airflow-dag-patterns确认已加载。

附带文件resources/implementation-playbook.md

详细介绍

Apache Airflow DAG 模式

面向生产环境的 Apache Airflow 模式,涵盖 DAG 设计、Operator、Sensor、测试与部署策略。

适用场景

  • 使用 Airflow 创建数据管道编排
  • 设计 DAG 结构与依赖关系
  • 实现自定义 Operator 与 Sensor
  • 在本地测试 Airflow DAG
  • 在生产环境中部署 Airflow
  • 调试失败的 DAG 运行

不适用场景

  • 你只需要一个简单的 cron 任务或 shell 脚本
  • Airflow 不在工具链中
  • 任务与工作流编排无关

操作说明

  1. 确定数据源、调度计划与依赖关系。
  2. 设计幂等任务,明确归属与重试策略。
  3. 实现带有可观测性与告警钩子的 DAG。
  4. 在 staging 环境中验证,并记录运维手册。

详细模式、检查清单与模板请参阅 resources/implementation-playbook.md。

安全

  • 未经批准,避免更改生产 DAG 的调度计划。
  • 谨慎测试回填与重试,防止数据重复。

资源

  • resources/implementation-playbook.md,包含详细模式、检查清单与模板。

限制

  • 仅当任务明确符合上述范围时才使用本技能。
  • 不要将输出视为针对特定环境的验证、测试或专家评审的替代品。
  • 如果缺少必需的输入、权限、安全边界或成功标准,请停止并寻求澄清。

评论

支持 Markdown