authoring-dags

DAG 编写技能

此技能将指导你使用最佳实践和 VS Code 扩展工具创建和验证 Airflow DAG。

有关 DAG 的测试和调试，请参阅 testing-dags 技能。

重要警告：使用扩展工具

所有 Airflow 操作都应使用 Airflow VS Code 扩展工具。避免使用 Airflow CLI 命令列出 DAG、检查日志或查看运行情况。

工作流概述

1. 探索
2. 规划
3. 实现
4. 验证
5. 测试（需征得用户同意）
6. 迭代

阶段 1：探索

探索代码库

使用文件工具查找现有模式：

• 在代码仓库中搜索现有 DAG
• 阅读类似的 DAG，了解惯例
• 检查正在使用的依赖项和提供程序

通过扩展工具查询 Airflow

使用以下工具了解环境：

• 使用 list_active_dags 和 list_paused_dags 了解命名惯例
• 使用 get_running_dags 了解当前活动
• 使用 get_dag_history 查看运行频率
• 使用 go_to_connections_view 和 go_to_variables_view 查看配置
• 使用 go_to_providers_view 和 go_to_plugins_view 查看已安装的组件
• 使用 go_to_server_health_view 进行运行状况检查

阶段 2：规划

提出以下内容：

1. DAG 结构（任务、依赖关系、计划）
2. 要使用的操作器
3. 所需的连接和变量
4. 必要时所需的包变更

实现前先征得用户批准。

阶段 3：实现

1. 创建或更新 DAG 文件
2. 根据需要更新依赖项
3. 保存文件

阶段 4：验证

将 DAG 部署到 Airflow 后，使用工具进行验证：

• 确认 DAG 出现在 list_active_dags 或 list_paused_dags 中
• 使用 get_dag_source_code 验证已部署的源代码
• 使用 get_dag_history 查看运行历史记录

阶段 5：测试

遵循 testing-dags 技能：

1. 征求用户同意
2. 使用 trigger_dag_run 触发运行
3. 使用 get_dag_runs 和 analyse_dag_latest_run 查看结果

注意事项

• 避免使用 airflow dags list 或 astro dev run 等 CLI 命令检查运行状态。
• 使用扩展工具调查运行时情况和日志。