sap-hana-cloud-data-intelligence

SAP HANA Cloud Data Intelligence スキル

関連スキル

• sap-hana-ml：SAP HANA に対して実行する Python ML クライアントのワークフローに使用します
• sap-datasphere：Datasphere のモデリング、レプリケーション、分析用データウェアハウスに使用します
• sap-btp-connectivity：クラウドからオンプレミスへの接続と、接続先の前提条件に使用します
• sap-btp-integration-suite：Data Intelligence パイプラインから移行するべき統合シナリオに使用します

このスキルでは、パイプラインの作成、オペレーターの開発、データ統合、機械学習のシナリオなど、SAP Data Intelligence Cloud での開発に関する、ドキュメントに基づいて監査されたガイダンスを提供します。last_verified の日付は、製品のライフサイクル状況と実際のグラフ／ランタイムの動作を一次情報源で確認するまで、意図的に古いままにしています。

目次

• このスキルを使用する場面
• 主要な概念
• クイックスタートのパターン
• 一般的なタスク
• 同梱リソース

このスキルを使用する場面

次のような場合にこのスキルを使用します。

• データ処理グラフ／パイプラインを作成または変更する
• カスタムオペレーター（Gen1 または Gen2）を開発する
• ABAP ベースの SAP システム（S/4HANA、BW）を統合する
• データ移動用のレプリケーションフローを構築する
• ML Scenario Manager を使用した ML シナリオを開発する
• Data Intelligence で JupyterLab を使用する
• Data Transformation Language（DTL）関数を使用する
• サブエンジン（Python、Node.js、C++）を設定する
• 構造化データオペレーターを使用する

一般的な問題

問題	最初に確認すること
オペレーターの変更後にグラフが失敗する	すべてのオペレーターが同じ世代を使用し、互換性のあるサブエンジンであることを確認してください。
ABAP/S4HANA 接続が失敗する	Cloud Connector、接続先、認証情報の設定を確認してください。
Python または Node オペレーターのランタイムでの動作が異なる	サブエンジンのバージョン、パッケージの利用可否、シリアル化の境界を確認してください。

主要な概念

グラフ（パイプライン）

グラフは、データ転送用の型付き入出力ポートを介して接続されたオペレーターのネットワークです。

2 つの世代：

• Gen1 オペレーター：レガシーオペレーターで、幅広い互換性があります
• Gen2 オペレーター：エラー復旧、状態管理、スナップショットが強化されています

重要なルール：グラフ内で Gen1 と Gen2 のオペレーターを混在させることはできません。グラフごとにどちらか一方の世代を選択してください。

Gen2 の利点：

• スナップショットによる自動エラー復旧
• 定期的なチェックポイントによる状態管理
• ネイティブの多重化（一対多、多対一）
• Python3 オペレーターの改善

オペレーター

グラフ内でデータを処理する構成要素です。各オペレーターには次の要素があります。

• ポート：データフロー用の型付き入出力接続
• 設定：動作を制御するパラメーター
• ランタイム：オペレーターを実行するエンジン

オペレーターのカテゴリ：

1. メッセージング（Kafka、MQTT、NATS）
2. ストレージ（Files、HDFS、S3、Azure、GCS）
3. データベース（HANA、SAP BW、SQL）
4. スクリプト（Python、JavaScript、R、Go）
5. データ処理（変換、匿名化、検証）
6. 機械学習（TensorFlow、PyTorch、HANA ML）
7. 統合（OData、REST、SAP CPI）
8. ワークフロー（Pipeline、Data Workflow）

サブエンジン

サブエンジンを使用すると、同じグラフ内のオペレーターを異なるランタイムで実行できます。

サポートされるサブエンジン：

• ABAP：ABAP Pipeline Engine オペレーター用
• Python 3.9：Python ベースのオペレーター用
• Node.js：JavaScript ベースのオペレーター用
• C++：高性能のネイティブオペレーター用

主な利点：同じサブエンジン上の接続されたオペレーターは、最適なパフォーマンスを得るため、単一の OS プロセスで実行されます。

トレードオフ：エンジン間の通信では、シリアル化／逆シリアル化のオーバーヘッドが発生します。

クイックスタートのパターン

基本的なグラフの作成

1. Open SAP Data Intelligence Modeler
2. Create new graph
3. Add operators from repository
4. Connect operator ports (matching types)
5. Configure operator parameters
6. Validate graph
7. Execute and monitor

レプリケーションフローのパターン

1. Create replication flow in Modeler
2. Configure source connection (ABAP, HANA, etc.)
3. Configure target (HANA Cloud, S3, Kafka, etc.)
4. Add tasks with source objects
5. Define filters and mappings
6. Validate flow
7. Deploy to tenant repository
8. Run and monitor

配信保証：

• デフォルト：少なくとも 1 回（重複が発生する場合があります）
• データベースへの UPSERT を使用：正確に 1 回
• クラウドストレージの場合：「Suppress Duplicates」オプションを使用します

ML シナリオのパターン

1. Open ML Scenario Manager from launchpad
2. Create new scenario
3. Add datasets (register data sources)
4. Create Jupyter notebooks for experiments
5. Build training pipelines
6. Track metrics with Metrics Explorer
7. Version scenario for reproducibility
8. Deploy model pipeline

一般的なタスク

ABAP システム統合

ABAP ベースの SAP システムを統合する場合：

1. 前提条件：オンプレミスシステム用に Cloud Connector を設定します
2. 接続の設定：Connection Management で ABAP 接続を作成します
3. メタデータへのアクセス：Metadata Explorer を使用してオブジェクトを検出します
4. データソース：CDS Views、ODP（Operational Data Provisioning）、テーブル

参考資料：詳細な設定については references/abap-integration.md を参照してください。

構造化データの処理

SQL のような変換には、構造化データオペレーターを使用します：

• Data Transform：複雑な変換に対応するビジュアル SQL エディター
• Aggregation Node：集計関数を使用した GROUP BY
• Join Node：INNER、LEFT、RIGHT、FULL 結合
• Projection Node：列の選択と名前の変更
• Union Node：複数のデータセットを結合
• Case Node：条件分岐ロジック

参考資料：設定については references/structured-data-operators.md を参照してください。

データ変換言語

DTL は、データ処理に SQL のような関数を提供します：

関数のカテゴリ：

• 文字列：CONCAT、SUBSTRING、UPPER、LOWER、TRIM、REPLACE
• 数値：ABS、CEIL、FLOOR、ROUND、MOD、POWER
• 日付／時刻：ADD_DAYS、MONTHS_BETWEEN、EXTRACT、CURRENT_UTCTIMESTAMP
• 変換：TO_DATE、TO_STRING、TO_INTEGER、TO_DECIMAL
• その他：CASE、COALESCE、IFNULL、NULLIF

参考資料：全関数のリファレンスについては references/dtl-functions.md を参照してください。

ベストプラクティス

グラフの設計

1. 早い段階で世代を選択する：構築を始める前に Gen1 と Gen2 のどちらにするかを決めます
2. エンジン間の通信を最小限にする：オペレーターをサブエンジンごとにまとめます
3. 適切なポートタイプを使用する：効率的に転送できるよう、データ型を一致させます
4. スナップショットを有効にする：Gen2 グラフでは自動復旧を有効にします
5. 実行前に検証する：必ずグラフを検証します

オペレーターの開発

1. 組み込みオペレーターから始める：まず定義済みのオペレーターを使用します
2. 必要に応じて拡張する：特定のニーズに合わせてカスタムオペレーターを作成します
3. スクリプトオペレーターを使用する：Python／JS で迅速にプロトタイプを作成します
4. オペレーターのバージョンを管理する：オペレーターのバージョンで変更を追跡します
5. 設定を文書化する：すべてのパラメーターについて説明します

レプリケーションフロー

1. ターゲットスキーマを計画する：ターゲット構造の要件を把握します
2. フィルターを使用する：ソースフィルターでデータ量を削減します
3. 重複を処理する：可能な場合は exactly-once になるように設定します
4. 実行を監視する：進行状況とエラーを追跡します
5. アーティファクトをクリーンアップする：完了後にソースアーティファクトを削除します

ML シナリオ

1. 早めにバージョン管理する：大きな変更を行う前にバージョンを作成します
2. すべてのメトリクスを追跡する：包括的に追跡するには SDK を使用します
3. 探索にはノートブックを使用する：実験には JupyterLab を使用します
4. パイプラインで本番運用する：ノートブックをパイプラインに変換します
5. 移行にはエクスポート／インポートを使用する：転送には ZIP エクスポートを使用します

エラー処理

よくあるグラフエラー

エラー	原因	解決方法
ポートタイプの不一致	互換性のないデータ型	コンバーターオペレーターを使用するか、型を一致させます
Gen1／Gen2 の混在	異なる世代のオペレーターを組み合わせている	グラフごとに単一の世代を使用します
リソースの枯渇	メモリ／CPU が不足している	リソース要件を調整します
接続の失敗	ネットワークまたは認証情報	接続設定を確認します
検証エラー	無効な設定	エラーメッセージを確認し、設定を修正します

復旧戦略

Gen2 グラフ：

• グラフ設定で自動復旧を有効にします
• スナップショットの間隔を設定します
• 復旧状況を監視します

Gen1 グラフ：

• オペレーターに手動のエラー処理を実装します
• スクリプトオペレーターで try-catch を使用します
• 再試行ロジックを設定します

リファレンスファイル

詳細については、以下を参照してください。

• references/operators-reference.md - オペレーターカタログ全件（266 個のオペレーター）
• references/abap-integration.md - SAP ノートを含む ABAP／S4HANA／BW の統合
• references/structured-data-operators.md - 構造化データの処理
• references/dtl-functions.md - Data Transformation Language（79 個の関数）
• references/ml-scenario-manager.md - ML Scenario Manager、SDK、アーティファクト
• references/subengines.md - Python、Node.js、C++ サブエンジンの開発
• references/graphs-pipelines.md - グラフの実行、スナップショット、復旧
• references/replication-flows.md - レプリケーションフロー、クラウドストレージ、Kafka
• references/data-workflow.md - データワークフローのオペレーター、オーケストレーション
• references/security-cdc.md - セキュリティ、データ保護、CDC メソッド
• references/additional-features.md - モニタリング、クラウドストレージサービス、シナリオテンプレート、データ型、Git ターミナル
• references/modeling-advanced.md - グラフスニペット、SAP クラウドアプリ、設定タイプ、141 個のグラフテンプレート

テンプレート

スターターテンプレートは templates/ にあります。

• templates/basic-graph.json - シンプルなデータ処理グラフ
• templates/replication-flow.json - データレプリケーションパターン
• templates/ml-training-pipeline.json - ML トレーニングワークフロー

ドキュメントへのリンク

主要なソース：

• GitHub ドキュメント：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs
• SAP Help Portal：https://help.sap.com/docs/SAP_DATA_INTELLIGENCE
• SAP Developer Center：https://developers.sap.com/topics/data-intelligence.html

セクション別：

• モデリングガイド：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/modelingguide

バンドルされているリソース

リファレンスドキュメント

• references/abap-integration.md - ABAP システム統合ガイド
• references/ml-scenario-manager.md - Machine Learning シナリオマネージャー
• references/replication-flows.md - データレプリケーションフローの設定
• references/operators-reference.md - オペレーターの完全なリファレンス
• references/dtl-functions.md - Data Transformation Language の関数
• references/modeling-advanced.md - 高度なモデリング手法
• references/structured-data-operators.md - 構造化データのオペレーターガイド

ドキュメントへのリンク

• ABAP 統合：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/abapintegration
• Machine Learning：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/machinelearning
• 関数リファレンス：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/functionreference
• リポジトリオブジェクト：https://github.com/SAP-docs/sap-hana-cloud-data-intelligence/tree/main/docs/repositoryobjects

バージョン情報

• 最終更新日：2025-11-27
• エビデンスの状況：古いドキュメントのみのガイダンスです。ソースの更新と、稼働中のテナント／ランタイムでの確認は保留中です
• ドキュメントのソース：SAP-docs/sap-hana-cloud-data-intelligence（GitHub）