di-agent-knowledge-engine-datastage

Name: di-agent-knowledge-engine-datastage
Author: ibm

github.com/ibmデータ・データベース1118 回インストール5 日前に更新

リポジトリ

di-agent-knowledge-engine-datastage について

IBM DataStage の並列エンジンを扱うリファレンススキルです。大規模 ETL やデータウェアハウス処理の設計に向け、パーティション分割、パイプライン並列化、拡張性、性能要因を説明します。

主な機能

01パーティション並列処理
02パイプライン並列化
03複数ノードへの拡張
04性能調整の要因

活用シーン

01大規模バッチ ETL の設計
02ノード間の並列ジョブ計画
03データウェアハウスへのロード
04ジョブ性能要因の評価

インストール

コマンドをコピーしてターミナルで実行します。

$npx skills add https://github.com/ibm/ibm-watsonx-data-integration-skills --skill di-agent-knowledge-engine-datastage

インストール後、Claude Code で/di-agent-knowledge-engine-datastageを入力して読み込まれたか確認します。

同梱ファイル

SKILL.md と一緒にインストールされる参考資料やスクリプト。

ConcurrentJobExecution.md

ConfigurationManagement.md

DataSetPerformance.md

DataStageEngineDetails.md

DiskAndResourceOptimization.md

RestartAndRecovery.md

optimization/

MemoryManagementGuidelines.md

overview.md

PartitioningGuidelines.md

SortingGuidelines.md

SortingTroubleshooting.md

SortMergeCollector.md

SortStageAdvancedConfig.md

stages/

AddressVerificationStage.md

AggregatorStage.md

ApacheKafkaStage.md

BloomFilterStage.md

BuildopStage.md

ChangeApplyStage.md

ChangeCaptureStage.md

ChecksumStage.md

ColumnExportStage.md

ColumnGeneratorStage.md

ColumnImportStage.md

CombineRecordsStage.md

CompareStage.md

ComplexFlatFileStage.md

CompressStage.md

CopyStage.md

DataRulesStage.md

詳細

DataStage 並列エンジン

DataStage を使用する場面

大量データのバッチ ETL 処理
複数のノードにまたがる並列処理
高スループットが求められる複雑な変換
エンタープライズデータベースおよびファイルシステムとの統合
データウェアハウスへのロードおよび CDC 操作

エンジンの特性

並列処理：データをパーティションに分割し、同時に処理します
パイプライン並列処理：複数のステージで異なるデータを同時に処理します
スケーラブル：ノードを追加してスループットを向上できます
高性能：大規模なデータ移動に最適化されています

主な概念

パーティショニング：データを処理ノード間で分割します
ノード：物理的または論理的な処理単位です
パーティション：独立して処理されるデータのサブセットです
構成ファイル：ノードとリソースを定義します

パフォーマンス要因

ジョブ設計（ステージの選択、パーティショニング、データフロー）
構成（ノード数、パーティション数、リソース）
インフラストラクチャ（ディスク I/O、ネットワーク帯域幅、CPU）

参考資料

エンジンの詳細
ジョブの同時実行
構成管理
データセットのパフォーマンス
ディスクとリソースの最適化
再起動と復旧
フローの最適化（パーティショニング、ソート、メモリ）→ optimization/overview.md
ステージごとのセマンティクス、要件、ベストプラクティス、プロパティ → stages/
Transformer の式

Markdown 対応

ログインしてコメント

基本情報

作者: ibm
リポジトリ: ibm/ibm-watsonx-data-integration-skills
カテゴリ: データ・データベース
インストール数: 118
GitHub スター: 1

問題を報告

おすすめの Skills

すべての Skills

hyperframes-core

github.com/heygen-com

930.7k

HyperFrames コンポジションコントラクト — レンダリング可能なプロジェクトを構築します。コンポジション構造、data-* タイミング属性、class="clip"、トラック、サブコンポジション、変数、フレームワーク所有のメディア再生、決定論的レンダリングルール、検証に使用します。Tailwind プロジェクトおよび STORYBOARD.md / SCRIPT.md プラン形式もカバーします。コンポジション HTML を作成する前にお読みください。

lark-base

open.feishu.cn

837.7k

Feishu Base を操作します。テーブル、フィールド、レコード、ビューの作成、統計、数式/lookup、フォーム、ダッシュボード、アプリモード（BaseApp/AppMode のページとコンポーネント）、Workspace ディレクトリ、ワークフロー、ロール権限、テンプレートセンター（Base テンプレートのカテゴリ/一覧/検索）に対応します。Base/多次元テーブル/bitable、BaseApp/AppMode、/base/ または /app/ リンクがある場合に使用します。BaseApp に lark-apps は使用しません。ファイルのインポート/エクスポートは lark-drive、認証/認可は lark-shared に振り分けます。

lark-sheets

open.feishu.cn

836.2k

Feishu スプレッドシート：スプレッドシートの作成と操作に対応します。ワークシートと行/列構造（追加/削除/結合/サイズ/非表示/固定/グループ化）、セルの読み書き（値/数式/スタイル/コメント/セル画像）、範囲のコピー/移動/並べ替え/入力、検索と置換、一括更新、グラフ、ピボットテーブル、条件付き書式、フィルターとフィルタービュー、ドロップダウンリスト、スパークライン、浮動画像などのオブジェクトの作成と管理に対応します。数式の検証、過去バージョンへの復元、ローカルの Excel/CSV と Feishu スプレッドシート間のインポート/エクスポートも可能です。スプレッドシートの作成/編集、集計と可視化、書式設定、数式計算（Excel 数式の移行を含む）、財務モデリング（DCF、三表、予算、Sensitivity など）に使用します。多次元テーブル（Base/bitable）には lark-base を使用してください。クラウドストレージ（Drive/クラウドストレージ）内のスプレッドシートファイルを名前やキーワードで検索する場合は、まず lark-drive の drive +search でリソースを特定してください。doubao.com の /sheets/ URL/token が提示された場合も、このスキルを直接使用し、ドメインが Feishu でないことを理由に WebFetch にフォールバックしないでください。振り分けはドメインではなく URL パスの形式と token に基づきます。

remotion-best-practices

github.com/remotion-dev

720.7k

Remotion を使ってプログラム的にビデオを構築するためのベストプラクティスとドメイン知識（React/TypeScript でのビデオ、MP4 にレンダリング）。Remotion コードを書いたり編集したりするときはいつでも使用してください—ビデオプロジェクトのスカッフォルディング、interpolate/spring と useCurrentFrame() でのアニメーション、シーンとトランジションのシーケンス処理、字幕、オーディオ、GIF/Lottie/3D、チャート、ビジュアルエフェクト、calculateMetadata による動的な期間、またはレンダリング。Remotion API に手を出す前に相談してください。そのコンポーネントとプロップは進化し続けているからです（例：@remotion/media）。