关于 di-agent-knowledge-engine-datastage
面向数据团队的 IBM DataStage 并行引擎参考技能，介绍大规模 ETL 与数据仓库作业的设计要点，涵盖分区、流水线并行、扩展和性能因素。
主要功能
- 01分区并行处理
- 02流水线并行
- 03多节点扩展
- 04性能调优因素
适用场景
- 01设计大批量 ETL
- 02规划跨节点并行作业
- 03加载数据仓库
- 04评估作业性能因素
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/di-agent-knowledge-engine-datastage确认已加载。
包含的文件
除 SKILL.md 外，安装时一起下载的参考资料和脚本。
ConcurrentJobExecution.mdConfigurationManagement.mdDataSetPerformance.mdDataStageEngineDetails.mdDiskAndResourceOptimization.mdRestartAndRecovery.mdoptimization/MemoryManagementGuidelines.mdoverview.mdPartitioningGuidelines.mdSortingGuidelines.mdSortingTroubleshooting.mdSortMergeCollector.mdSortStageAdvancedConfig.mdstages/AddressVerificationStage.mdAggregatorStage.mdApacheKafkaStage.mdBloomFilterStage.mdBuildopStage.mdChangeApplyStage.mdChangeCaptureStage.mdChecksumStage.mdColumnExportStage.mdColumnGeneratorStage.mdColumnImportStage.mdCombineRecordsStage.mdCompareStage.mdComplexFlatFileStage.mdCompressStage.mdCopyStage.mdDataRulesStage.md详细介绍
DataStage 并行引擎
何时使用 DataStage
- 大规模数据的批量 ETL 处理
- 跨多个节点并行处理
- 对吞吐量要求较高的复杂转换
- 与企业数据库和文件系统集成
- 数据仓库加载和 CDC 操作
引擎特性
- 并行处理：将数据划分为多个分区并同时处理
- 流水线并行：多个阶段同时处理不同数据
- 可扩展：添加节点以提高吞吐量
- 高性能：针对大规模数据移动进行优化
核心概念
- 分区：将数据分配到各处理节点
- 节点：物理或逻辑处理单元
- 分区：独立处理的数据子集
- 配置文件：定义节点和资源
性能因素
- 作业设计（阶段选择、分区、数据流）
- 配置（节点数量、分区数量、资源）
- 基础设施（磁盘 I/O、网络带宽、CPU）
参考资料
- 引擎详情
- 并发作业执行
- 配置管理
- 数据集性能
- 磁盘和资源优化
- 重启和恢复
- 流程优化（分区、排序、内存）→ optimization/overview.md
- 各阶段的语义、要求、最佳实践和属性 → stages/
- Transformer 表达式
评论
支持 Markdown