di-agent-knowledge-engine-streamsets

StreamSets Engine

フローの作成： このスキルでは、エンジンのインフラストラクチャと運用のみを扱います。StreamSets フローを作成または変更する場合は、利用するフロー作成スキルを使用してください。

このスキルを使用する場面

• StreamSets 環境とエンジンの設定またはトラブルシューティング
• エンジンのデプロイ（Docker/Podman）、通信方法（トンネリングまたは直接接続）
• ジョブのライフサイクル：実行、監視、フェイルオーバー、オフセット管理
• 高可用性の設定とリソース管理

エンジンの特性

• コンテナベース： ネットワーク内で Docker/Podman コンテナとして実行されます
• データの所有権： すべての処理はお客様のインフラストラクチャ内で行われます
• 継続的な処理： データの到着に合わせてジョブが継続的に実行され、データを処理します
• 高可用性： 複数のエンジンがフェイルオーバーと負荷分散に対応します
• 柔軟な通信： トンネリング（デフォルト）または直接接続方式を選択できます

主な概念

• 環境： プロジェクトのエンジンとコンピューティングリソースを設定します
• エンジン： フローを実行する Data Collector コンテナです
• ジョブ： エンジン上で継続的に実行されるフローの実行単位です
• オフセット： 再開可能な実行のために処理の進行状況を追跡します
• VPC： エンジンコンテナに割り当てられる仮想 CPU です

アーキテクチャ

• ブラウザー ↔ watsonx.data integration ↔ エンジン（お客様のネットワーク内）
• エンジンはローカルでデータを処理し、メトリクスを watsonx.data integration に送信します
• ジョブはエンジン間で自動的にフェイルオーバーします（6.4+）
• リソースのしきい値によってエンジンの過負荷を防ぎます

クイックスタート

1. 環境を作成する → environments.md
2. エンジンを実行する → engines.md
3. ジョブを実行する → jobs.md

リファレンス

• 環境 - 環境の作成と設定
• エンジン - エンジンのデプロイ、管理、監視
• ジョブ - ジョブの実行とライフサイクル管理
• 技術リファレンス - システム要件、コマンド、トラブルシューティング