managing-amazon-kinesis-data-streams

Amazon Kinesis Data Streams

概要

Amazon Kinesis Data Streams のドメイン知識です。このスキルでは、ストリーミングテーブルと Amazon S3 への配信について説明します。これらを使うと、KDS ストリームから S3 Tables 上の Apache Iceberg テーブル、または汎用 S3 バケットへ、サーバーレスで完全に管理された配信を直接行えます。追記のみの配信では、コンシューマー、Firehose、Flink は必要ありません。

配信は、CreateChannel を介してストリームのチャネルとして設定します。チャネルはシャード容量も拡張ファンアウトスロットも消費しないため、既存のコンシューマーと競合しません。

AWS MCP サーバーを使った AWS オペレーションの実行を推奨します。MCP サーバーを利用できない場合は、代わりに AWS CLI またはシェルコマンドを使用してください。

必要なワークフローを選択する

お客様の目的	リファレンス
ストリームデータを S3 Tables 上の Apache Iceberg テーブルに配信する — セットアップ、IAM、Glue スキーマ、型マッピング、パーティショニング、チャネルのライフサイクル	references/streaming-tables.md
ストリームデータをオブジェクトとして汎用 S3 バケットに配信する — セットアップ、IAM、圧縮、ストレージクラス、出力キーのテンプレート、チャネルのライフサイクル	references/general-purpose-delivery-to-s3.md
Kinesis からレイクハウス／データレイクを構築する。ストリーミングデータを Athena でクエリ可能にする	references/streaming-tables.md
KDS → S3 配信で、Firehose または Kinesis コンシューマーに代わる運用作業不要のサーバーレスな方法	references/general-purpose-delivery-to-s3.md
CloudWatch メトリクスとアラーム、配信ログ、CloudTrail、暗号化、チャネルの状態、クォータ、命名規則、更新可能な項目	references/monitoring-security-and-limits.md
チャネルが ACTIVE なのにデータが届かない。レコードが DLQ に送られる。データ鮮度が低下している	references/monitoring-security-and-limits.md から確認し、その後、配信先別のトラブルシューティング表を参照してください
1 つのストリームから S3 と S3 Tables の両方に配信する	対応しています — 配信先ごとに 1 つのチャネルを作成してください

前提条件

どちらの配信先でも、ON_DEMAND ストリームが必要です。プロビジョンドモードのストリームはサポートされていません。各チャネルには、kinesis.amazonaws.com を信頼する IAM サービス実行ロールと、ストリームと同じリージョンにある配信先も必要です。

最初に確認すべき厳格な制限事項

これらの条件に該当すると機能をまったく利用できないため、ソリューションを設計する前に確認してください。

• 追記のみ — CDC、アップサート、削除には対応していません
• スキーマ進化には非対応 — スキーマを変更するには、チャネルを削除して再作成する必要があります
• バックフィルなし — チャネルが ACTIVE になった後に生成されたレコードのみが配信されます
• 変換なし — レコードはそのまま配信されます
• チャネルごとに新しいテーブルが必要 — 既存の Iceberg テーブルには配信できません
• データ鮮度は 300～900 秒 — 1 分未満にはなりません
• 同じリージョンのみ — クロスアカウントには対応していますが、クロスリージョンには対応していません

これらのいずれかが顧客の要件を満たせない場合は、代わりに Managed Service for Apache Flink を推奨してください。

追加リソース

• KDS 開発者ガイド
• KDS API リファレンス
• S3 Tables 開発者ガイド
• Glue Schema Registry