mcpField
C
cloud-storage-optimization

cloud-storage-optimization

github.com/aj-geddes云与 DevOps373446 次安装34 周前更新
代码仓库

关于 cloud-storage-optimization

通过压缩、分层、分区和生命周期管理，优化多云存储成本与性能的技能。内容包括 AWS S3、Terraform 和数据湖的实施参考。

主要功能

  1. 01压缩与分区策略
  2. 02智能分层指南
  3. 03生命周期策略规划
  4. 04多云 Terraform 参考
  5. 05数据湖分区指南

适用场景

  1. 01降低云存储成本
  2. 02归档历史数据
  3. 03提升数据检索性能
  4. 04整理大型分析数据集

安装

复制下面的命令，在终端中运行。

$npx skills add https://github.com/aj-geddes/useful-ai-prompts --skill cloud-storage-optimization

安装后在 Claude Code 中输入/cloud-storage-optimization确认已加载。

包含的文件

除 SKILL.md 外，安装时一起下载的参考资料和脚本。

references/
aws-s3-storage-optimization.md
data-compression-and-partitioning-strategy.md
data-lake-partitioning-strategy.md
terraform-multi-cloud-storage-configuration.md
scripts/
validate-config.sh
templates/
config-starter.yaml

详细介绍

云存储优化

目录

概述

使用压缩、智能分层、数据分区和生命周期管理，优化多个云服务提供商的云存储成本与性能。在保持数据可访问性并满足合规要求的同时，降低存储成本。

适用场景

  • 降低存储成本
  • 优化数据访问模式
  • 实施分层存储策略
  • 归档历史数据
  • 提升数据检索性能
  • 管理合规要求
  • 整理大型数据集
  • 优化数据湖和数据仓库

快速开始

最小可运行示例：

# Enable Intelligent-Tiering
aws s3api put-bucket-intelligent-tiering-configuration \
  --bucket my-bucket \
  --id OptimizedStorage \
  --intelligent-tiering-configuration '{
    "Id": "OptimizedStorage",
    "Filter": {"Prefix": "data/"},
    "Status": "Enabled",
    "Tierings": [
      {
        "Days": 90,
        "AccessTier": "ARCHIVE_ACCESS"
      },
      {
        "Days": 180,
        "AccessTier": "DEEP_ARCHIVE_ACCESS"
      }
    ]
  }'

# Analyze storage usage
aws s3api list-bucket-metrics-configurations --bucket my-bucket

# Enable S3 Select for cost optimization
aws s3api put-bucket-metrics-configuration \
// ... (see reference guides for full implementation)

参考指南

references/ 目录中的详细实现：

指南内容
AWS S3 存储优化AWS S3 存储优化
数据压缩和分区策略数据压缩和分区策略
Terraform 多云存储配置Terraform 多云存储配置
数据湖分区策略数据湖分区策略

最佳实践

✅ 应该做
  • 使用 Parquet 或 ORC 格式进行分析
  • 实施分层存储策略
  • 按时间和可查询维度对数据分区
  • 为关键数据启用版本控制
  • 使用压缩（gzip、snappy、brotli）
  • 定期监控存储成本
  • 实施数据生命周期策略
  • 归档不常访问的数据
❌ 不应该做
  • 存储未压缩的数据
  • 长期保留原始日志
  • 忽视存储优化
  • 只使用热存储层
  • 存储重复数据
  • 忘记删除旧的测试数据

评论

支持 Markdown