sap-hana-cloud-data-intelligence

SAP HANA Cloud Data Intelligence 技能

相关技能

• sap-hana-ml：用于针对 SAP HANA 运行的 Python ML 客户端工作流
• sap-datasphere：用于 Datasphere 建模、复制和分析数据仓库
• sap-btp-connectivity：用于云到本地连接和目标配置前提条件
• sap-btp-integration-suite：用于应迁出 Data Intelligence 管道的集成场景

此技能提供经过文档审查的 SAP Data Intelligence Cloud 开发指南，涵盖管道创建、算子开发、数据集成和机器学习场景。在根据主要来源检查产品生命周期状态以及实时图和运行时行为之前，last_verified 日期会有意保持过时。

目录

• 何时使用此技能
• 核心概念
• 快速入门模式
• 常见任务
• 捆绑资源

何时使用此技能

在以下情况下使用此技能：

• 创建或修改数据处理图／管道
• 开发自定义算子（Gen1 或 Gen2）
• 集成基于 ABAP 的 SAP 系统（S/4HANA、BW）
• 构建用于数据移动的复制流
• 使用 ML Scenario Manager 开发 ML 场景
• 在 Data Intelligence 中使用 JupyterLab
• 使用 Data Transformation Language (DTL) 函数
• 配置子引擎（Python、Node.js、C++）
• 使用结构化数据算子

常见问题

问题	首要检查项
更改算子后图运行失败	确认所有算子使用相同代际和兼容的子引擎。
ABAP/S4HANA 连接失败	检查 Cloud Connector、目标和凭据配置。
Python 或 Node 算子在运行时的行为不同	检查子引擎版本、软件包可用性和序列化边界。

核心概念

图（管道）

图是由算子构成的网络，算子通过带类型的输入／输出端口连接以传输数据。

两个代际：

• Gen1 算子：旧版算子，兼容性广
• Gen2 算子：增强了错误恢复、状态管理和快照功能

关键规则：图中不能混用 Gen1 和 Gen2 算子；每个图只能选择一个代际。

Gen2 的优势：

• 通过快照自动恢复错误
• 通过定期检查点进行状态管理
• 原生多路复用（一对多、多对一）
• 改进的 Python3 算子

算子

算子是图中处理数据的构建模块。每个算子都有：

• 端口：用于数据流的带类型输入／输出连接
• 配置：控制行为的参数
• 运行时：执行算子的引擎

算子类别：

1. 消息传递（Kafka、MQTT、NATS）
2. 存储（Files、HDFS、S3、Azure、GCS）
3. 数据库（HANA、SAP BW、SQL）
4. 脚本（Python、JavaScript、R、Go）
5. 数据处理（转换、匿名化、验证）
6. 机器学习（TensorFlow、PyTorch、HANA ML）
7. 集成（OData、REST、SAP CPI）
8. 工作流（Pipeline、Data Workflow）

子引擎

子引擎可让算子在同一图中的不同运行时上运行。

支持的子引擎：

• ABAP：用于 ABAP Pipeline Engine 算子
• Python 3.9：用于基于 Python 的算子
• Node.js：用于基于 JavaScript 的算子
• C++：用于高性能原生算子

主要优势：连接在同一子引擎上的算子在同一个 OS 进程中运行，以获得最佳性能。

权衡：跨引擎通信需要承担序列化／反序列化开销。

快速入门模式

基本图创建

1. Open SAP Data Intelligence Modeler
2. Create new graph
3. Add operators from repository
4. Connect operator ports (matching types)
5. Configure operator parameters
6. Validate graph
7. Execute and monitor

复制流模式

1. Create replication flow in Modeler
2. Configure source connection (ABAP, HANA, etc.)
3. Configure target (HANA Cloud, S3, Kafka, etc.)
4. Add tasks with source objects
5. Define filters and mappings
6. Validate flow
7. Deploy to tenant repository
8. Run and monitor

交付保证：

• 默认：至少一次（可能有重复项）
• 对数据库使用 UPSERT：恰好一次
• 对于云存储：使用“Suppress Duplicates”选项

ML 场景模式

1. Open ML Scenario Manager from launchpad
2. Create new scenario
3. Add datasets (register data sources)
4. Create Jupyter notebooks for experiments
5. Build training pipelines
6. Track metrics with Metrics Explorer
7. Version scenario for reproducibility
8. Deploy model pipeline

常见任务

ABAP 系统集成

集成基于 ABAP 的 SAP 系统：

1. 前提条件：为本地部署的系统配置 Cloud Connector
2. 连接设置：在 Connection Management 中创建 ABAP 连接
3. 元数据访问：使用 Metadata Explorer 发现对象
4. 数据源：CDS 视图、ODP（Operational Data Provisioning）、表

参考：有关详细设置，请参阅 references/abap-integration.md。

结构化数据处理

使用结构化数据运算符执行类似 SQL 的转换：

• 数据转换：用于复杂转换的可视化 SQL 编辑器
• 聚合节点：使用聚合函数执行 GROUP BY
• 联接节点：INNER、LEFT、RIGHT、FULL 联接
• 投影节点：选择和重命名列
• 并集节点：合并多个数据集
• Case 节点：条件逻辑

参考：有关配置，请参阅 references/structured-data-operators.md。

数据转换语言

DTL 提供用于数据处理的类 SQL 函数：

函数类别：

• 字符串：CONCAT、SUBSTRING、UPPER、LOWER、TRIM、REPLACE
• 数值：ABS、CEIL、FLOOR、ROUND、MOD、POWER
• 日期/时间：ADD_DAYS、MONTHS_BETWEEN、EXTRACT、CURRENT_UTCTIMESTAMP
• 转换：TO_DATE、TO_STRING、TO_INTEGER、TO_DECIMAL
• 其他：CASE、COALESCE、IFNULL、NULLIF

参考：完整参考请参阅 references/dtl-functions.md。

最佳实践

图设计

1. 尽早选择代际：在开始构建前决定使用 Gen1 还是 Gen2
2. 尽量减少跨引擎通信：按子引擎对运算符分组
3. 使用合适的端口类型：匹配数据类型以实现高效传输
4. 启用快照：对于 Gen2 图，启用自动恢复
5. 执行前验证：始终验证图

运算符开发

1. 从内置运算符开始：优先使用预定义运算符
2. 按需扩展：针对特定需求创建自定义运算符
3. 使用脚本运算符：借助 Python/JS 快速构建原型
4. 对运算符进行版本管理：通过运算符版本跟踪变更
5. 记录配置：说明所有参数

复制流

1. 规划目标架构：了解目标结构要求
2. 使用筛选器：通过源筛选器减少数据量
3. 处理重复项：尽可能配置为恰好一次
4. 监控执行情况：跟踪进度和错误
5. 清理构件：完成后移除源构件

ML 场景

1. 尽早创建版本：在重大变更前创建版本
2. 跟踪所有指标：使用 SDK 全面跟踪指标
3. 使用笔记本进行探索：使用 JupyterLab 进行实验
4. 通过流水线实现生产化：将笔记本转换为流水线
5. 导出/导入以进行迁移：使用 ZIP 导出进行迁移

错误处理

常见图错误

错误	原因	解决方案
端口类型不匹配	数据类型不兼容	使用转换器运算符或匹配的数据类型
混用 Gen1/Gen2	混合了不同代际的运算符	每个图仅使用同一代际
资源耗尽	内存/CPU 不足	调整资源需求
连接失败	网络或凭据问题	检查连接设置
验证错误	配置无效	查看错误消息并修正配置

恢复策略

Gen2 图：

• 在图设置中启用自动恢复
• 配置快照间隔
• 监控恢复状态

Gen1 图：

• 在运算符中实现手动错误处理
• 在脚本运算符中使用 try-catch
• 配置重试逻辑

参考文件

如需详细信息，请参阅：

• references/operators-reference.md - 完整的算子目录（266 个算子）
• references/abap-integration.md - ABAP/S4HANA/BW 集成及 SAP Notes
• references/structured-data-operators.md - 结构化数据处理
• references/dtl-functions.md - 数据转换语言（79 个函数）
• references/ml-scenario-manager.md - ML Scenario Manager、SDK、构件
• references/subengines.md - Python、Node.js、C++ 子引擎开发
• references/graphs-pipelines.md - 图执行、快照、恢复
• references/replication-flows.md - 复制流、云存储、Kafka
• references/data-workflow.md - 数据工作流算子、编排
• references/security-cdc.md - 安全、数据保护、CDC 方法
• references/additional-features.md - 监控、云存储服务、场景模板、数据类型、Git 终端
• references/modeling-advanced.md - 图代码片段、SAP 云应用、配置类型、141 个图模板

模板

templates/ 中提供了入门模板：

• templates/basic-graph.json - 简单的数据处理图
• templates/replication-flow.json - 数据复制模式
• templates/ml-training-pipeline.json - ML 训练工作流

文档链接

主要来源：

• GitHub 文档：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs
• SAP Help Portal：https://help.sap.com/docs/SAP_DATA_INTELLIGENCE
• SAP Developer Center：https://developers.sap.com/topics/data-intelligence.html

特定章节：

• 建模指南：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/modelingguide

捆绑资源

参考文档

• references/abap-integration.md - ABAP 系统集成指南
• references/ml-scenario-manager.md - Machine Learning 场景管理器
• references/replication-flows.md - 数据复制流配置
• references/operators-reference.md - 完整的算子参考
• references/dtl-functions.md - 数据转换语言函数
• references/modeling-advanced.md - 高级建模技术
• references/structured-data-operators.md - 结构化数据算子指南

文档链接

• ABAP 集成：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/abapintegration
• Machine Learning：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/machinelearning
• 函数参考：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/functionreference
• 仓库对象：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/repositoryobjects

版本信息

• 最后更新：2025-11-27
• 证据状态：仅基于过时文档的指导；源内容刷新及实时租户/运行时检查尚待完成
• 文档来源：SAP-docs/sap-hana-cloud-data-intelligence（GitHub）