mcpField
D
di-agent-knowledge-engine-streamsets

di-agent-knowledge-engine-streamsets

github.com/ibm云与 DevOps160 次安装3 天前更新
代码仓库

关于 di-agent-knowledge-engine-streamsets

StreamSets Engine 运维技能，面向配置、部署和排障 StreamSets 环境的人员。内容聚焦容器引擎、作业生命周期、高可用与资源管理，不涉及 Flow 编写。

主要功能

  1. 01Docker/Podman 引擎部署
  2. 02环境与计算资源配置
  3. 03作业执行和生命周期管理
  4. 04故障转移与偏移量管理
  5. 05引擎监控及资源限制

适用场景

  1. 01排查 StreamSets 引擎通信问题
  2. 02在网络内部署数据处理引擎
  3. 03配置作业监控与故障转移

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/ibm/ibm-watsonx-data-integration-skills --skill di-agent-knowledge-engine-streamsets

安装后在 Claude Code 中输入/di-agent-knowledge-engine-streamsets确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

engines.md
environments.md
jobs.md
reference.md

详细介绍

StreamSets Engine

流程创作： 此技能仅涵盖引擎基础设施和运维。如需构建或修改 StreamSets 流，请使用与你的路径对应的流程创作技能。

何时使用此技能

  • 配置或排查 StreamSets 环境和引擎
  • 引擎部署（Docker/Podman）、通信方式（隧道与直连）
  • 作业生命周期：执行、监控、故障转移、偏移量管理
  • 高可用设置和资源管理

引擎特性

  • 基于容器： 以 Docker/Podman 容器的形式在你的网络中运行
  • 数据归属： 所有处理均在你的基础设施内进行
  • 持续处理： 作业持续运行，并在数据到达时进行处理
  • 高可用： 多个引擎可支持故障转移和负载分配
  • 灵活通信： 隧道（默认）或直连方式

关键概念

  • 环境： 为项目配置引擎和计算资源
  • 引擎： 执行流的 Data Collector 容器
  • 作业： 在引擎上持续运行的流执行实例
  • 偏移量： 跟踪处理进度，以便恢复执行
  • VPC： 分配给引擎容器的虚拟 CPU

架构

  • 浏览器 ↔ watsonx.data integration ↔ 引擎（在你的网络中）
  • 引擎在本地处理数据，并向 watsonx.data integration 发送指标
  • 作业会在引擎之间自动进行故障转移（6.4+）
  • 资源阈值可防止引擎过载

快速入门

  1. 创建环境 → environments.md
  2. 运行引擎 → engines.md
  3. 执行作业 → jobs.md

参考资料

  • 环境 - 创建和配置环境
  • 引擎 - 引擎部署、管理和监控
  • 作业 - 作业执行和生命周期管理
  • 技术参考 - 系统要求、命令和故障排查

评论

支持 Markdown