关于 managing-amazon-kinesis-data-streams
面向 Amazon Kinesis Data Streams 团队的领域技能，介绍将数据交付到 S3 或 Iceberg。内容涵盖通道配置、限制、监控与追加式流交付故障排查。
主要功能
- 01S3 与 Iceberg 交付指南
- 02通道配置与生命周期
- 03IAM 和架构前提
- 04监控与故障排查
- 05限制与目标选择
适用场景
- 01设计 Kinesis 到 S3 的数据交付
- 02让流数据可在 Athena 查询
- 03排查交付延迟或 DLQ 记录
MCP 相关
推荐使用 AWS MCP 服务执行 AWS 操作；也可改用 AWS CLI 或 shell 命令。
安装
复制下面的命令，在终端中运行。
$
npx skills add https:/安装后在 Claude Code 中输入/managing-amazon-kinesis-data-streams确认已加载。
包含的文件
除 SKILL.md 外，安装时一起下载的参考资料和脚本。
references/general-purpose-delivery-to-s3.mdmonitoring-security-and-limits.mdstreaming-tables.md详细介绍
Amazon Kinesis Data Streams
概述
Amazon Kinesis Data Streams 领域专业知识。本技能涵盖流式表和 Amazon S3 投递，可将 KDS 流中的数据以无服务器、完全托管的方式直接投递到 S3 Tables 上的 Apache Iceberg 表或通用 S3 存储桶——仅追加投递无需使用者、Firehose 或 Flink。
通过 CreateChannel 将投递配置为流上的通道。通道不消耗分片容量或增强型扇出槽位，因此不会与现有使用者争用资源。
建议使用 AWS MCP 服务执行 AWS 操作。如果无法使用 MCP 服务，请改用 AWS CLI 或 shell 命令。
你需要哪种工作流？
| 客户意图 | 参考资料 |
|---|---|
| 将流数据投递到 S3 Tables 上的 Apache Iceberg 表——设置、IAM、Glue 架构、类型映射、分区、通道生命周期 | references/streaming-tables.md |
| 将流数据作为对象投递到通用 S3 存储桶——设置、IAM、压缩、存储类别、输出键模板、通道生命周期 | references/general-purpose-delivery-to-s3.md |
| 基于 Kinesis 构建湖仓或数据湖；让流数据可在 Athena 中查询 | references/streaming-tables.md |
| 用于将 KDS 数据投递到 S3 的零运维、无服务器 Firehose 或 Kinesis 使用者替代方案 | references/general-purpose-delivery-to-s3.md |
| CloudWatch 指标和警报、投递日志记录、CloudTrail、加密、通道状态、配额、命名规则、可更新内容 | references/monitoring-security-and-limits.md |
| 通道为 ACTIVE，但没有数据到达；记录进入 DLQ；数据新鲜度持续上升 | 从 references/monitoring-security-and-limits.md 开始，然后查看目标专属的故障排除表 |
| 从一个流同时投递到 S3 和 S3 Tables | 支持——为每个目标创建一个通道 |
先决条件
两个目标都要求使用 ON_DEMAND 流——不支持预置模式的流。每个通道还需要一个信任 kinesis.amazonaws.com 的 IAM 服务执行角色，并且目标必须与流位于同一区域。
首先检查的硬性限制
这些限制会完全排除该功能，因此在设计解决方案之前请先确认：
- 仅追加——不支持 CDC、更新插入或删除
- 不支持架构演进——架构变更意味着必须删除并重新创建通道
- 不支持回填——仅投递通道变为
ACTIVE后生成的记录 - 不支持转换——记录按原样投递
- 每个通道都创建新表——不能投递到现有的 Iceberg 表
- 数据新鲜度为 300–900 秒——无法达到分钟级以内
- 仅限同一区域——支持跨账户，不支持跨区域
如果这些限制中的任何一项对客户构成阻碍，请改为推荐 Managed Service for Apache Flink。
其他资源
评论
支持 Markdown