data-analytics について
AWSサービスのステンシルを使い、データ分析アーキテクチャをPlantUMLで図示するスキルです。データソースから取り込み、保存、BI、可視化までのパイプラインを扱います。
主な機能
- 01AWS分析・ストレージのステンシル
- 02ETLとデータ取り込みのパイプライン図
- 03ストリーミングアーキテクチャ図
- 04パイプライン段階のグループ化
- 05PlantUML構文ガイド
活用シーン
- 01データレイクやデータウェアハウスの設計
- 02リアルタイムストリーミングのフロー図示
- 03ログ分析パイプラインの記録
- 04複数ソースBIレポートの図解
インストール
コマンドをコピーしてターミナルで実行します。
$
npx skills add https:/ / github.com/ markdown-viewer/ skills --skill data-analyticsインストール後、Claude Code で/data-analyticsを入力して読み込まれたか確認します。
同梱ファイル
SKILL.md と一緒にインストールされる参考資料やスクリプト。
examples/cdc-pipeline.mddata-lake.mddata-warehouse.mdetl-pipeline.mdlog-analytics.mdml-feature-pipeline.mdmulti-source-bi.mdreal-time-streaming.md詳細
データ分析図ジェネレーター
クイックスタート: データソースを定義 → 取り込み/ETL アイコンを宣言 → ストレージ/ウェアハウスに接続 → BI/可視化を追加 → ```plantuml フェンスで囲みます。
⚠️ IMPORTANT: 必ず
```plantumlまたは```pumlのコードフェンスを使用してください。```textは絶対に使用しないでください。図としてレンダリングされません。
重要なルール
- すべての図は
@startumlで始まり、@endumlで終わります - データパイプラインでは
left to right directionを使用します(Source → Ingest → Transform → Store → Visualize) - 分析、データベース、ストレージのアイコンには
mxgraph.aws4.*ステンシル構文を使用します - デフォルトの色は自動的に適用されるため、
fillColorやstrokeColorを指定する必要はありません - パイプラインのステージをグループ化するには、
rectangle "Zone" { ... }またはpackage "Layer" { ... }を使用します - 有向フローには
-->、非同期/ストリーミングフローには..>(破線)を使用します
ステンシルの完全なリファレンス: 利用可能な 9500 以上のアイコンについては、stencils/README.md を参照してください。
Mxgraph ステンシル構文
mxgraph.aws4.<icon> "Label" as <alias>
分析と ETL のステンシル
| カテゴリ | ステンシル | 用途 |
|---|---|---|
| クエリエンジン | athena, athena_data_source_connectors | S3 データに対するサーバーレス SQL |
| ETL | glue, glue_crawlers, glue_data_catalog, aws_glue_data_quality, aws_glue_for_ray | データ統合とカタログ化 |
| ストリーミング | kinesis, kinesis_data_streams, kinesis_data_firehose, kinesis_data_analytics, kinesis_video_streams | リアルタイムのデータストリーミング |
| MapReduce | emr, emr_engine, emr_engine_mapr_m3, emr_engine_mapr_m5 | ビッグデータ処理(Spark、Hive) |
| データウェアハウス | redshift, redshift_ra3, redshift_streaming_ingestion, redshift_ml | 列指向の分析用ウェアハウス |
| 検索 | opensearch_service_data_node, opensearch_ingestion, cloudsearch | 全文検索とログ分析 |
| BI | quicksight | ダッシュボードと可視化 |
| データレイク | lake_formation, s3, glacier, glacier_deep_archive | ガバナンスされたデータレイクストレージ |
| カタログ | datazone_custom_asset_type, data_exchange | データガバナンスと共有 |
| Kafka ストリーミング | msk, msk_connect | マネージド Kafka ストリーミング |
データベースのステンシル
| カテゴリ | ステンシル | 用途 |
|---|---|---|
| リレーショナル | aurora, aurora_instance, rds, rds_instance, rds_mysql_instance, rds_postgresql_instance | トランザクションデータベース |
| NoSQL | dynamodb, dynamodb_table, dynamodb_global_secondary_index, dynamodb_stream | キー値ストアとドキュメントストア |
| グラフ | neptune | グラフデータベース |
| インメモリ | elasticache, elasticache_for_redis, elasticache_for_memcached | キャッシュとセッションストア |
| ドキュメント | documentdb, documentdb_with_mongodb_compatibility | ドキュメントデータベース |
| 台帳 | quantum_ledger_database | 不変のトランザクションログ |
| ワイドカラム | keyspaces | Cassandra 互換 |
接続タイプ
| 構文 | 意味 | 用途 |
|---|---|---|
A --> B | 実線の矢印 | バッチデータフロー/API 呼び出し |
A ..> B | 破線の矢印 | ストリーミング/非同期/CDC |
A -- B | 実線 | 双方向同期 |
A --> B : "label" | ラベル付き接続 | データ形式や量を説明 |
簡単な例
@startuml
left to right direction
mxgraph.aws4.s3 "Data Lake\n(S3)" as s3
mxgraph.aws4.glue "Glue\nETL" as glue
mxgraph.aws4.redshift "Redshift" as rs
mxgraph.aws4.quicksight "QuickSight" as qs
s3 --> glue
glue --> rs
rs --> qs
@enduml
データ分析アーキテクチャの種類
| 種類 | 用途 | 主要ステンシル | 例 |
|---|---|---|---|
| データレイク | 中央集約型の生データストア | s3, lake_formation, glue, athena | data-lake.md |
| リアルタイムストリーミング | イベントストリーム処理 | kinesis, msk, lambda_function, opensearch_service | real-time-streaming.md |
| データウェアハウス | スタースキーマ分析 | redshift, glue, quicksight | data-warehouse.md |
| ETL パイプライン | 抽出・変換・ロード | glue, glue_crawlers, glue_data_catalog, s3 | etl-pipeline.md |
| ログ分析 | 中央集約型ログ管理 | kinesis_data_firehose, opensearch_service, lambda_function | log-analytics.md |
| ML 特徴量ストア | 特徴量エンジニアリングパイプライン | glue, s3, athena, emr | ml-feature-pipeline.md |
| CDC パイプライン | データベース変更キャプチャ | dynamodb_streams, kinesis, lambda_function, redshift | cdc-pipeline.md |
| マルチソース BI | データベース横断レポーティング | aurora, dynamodb, redshift, quicksight | multi-source-bi.md |
コメント
Markdown 対応