databricks-spark-structured-streaming

Spark Structured Streaming

使用 Spark Structured Streaming 构建可用于生产环境的流式处理管道。此技能提供导航，帮助你查找详细模式和最佳实践。

快速入门

from pyspark.sql.functions import col, from_json

# Basic Kafka to Delta streaming
df = (spark
    .readStream
    .format("kafka")
    .option("kafka.bootstrap.servers", "broker:9092")
    .option("subscribe", "topic")
    .load()
    .select(from_json(col("value").cast("string"), schema).alias("data"))
    .select("data.*")
)

df.writeStream \
    .format("delta") \
    .outputMode("append") \
    .option("checkpointLocation", "/Volumes/catalog/checkpoints/stream") \
    .trigger(processingTime="30 seconds") \
    .start("/delta/target_table")

核心模式

模式	描述	参考
Kafka 流式处理	Kafka 到 Delta、Kafka 到 Kafka、实时模式	参见 references/kafka-streaming.md
实时模式 (RTM)	亚秒级端到端延迟——集群设置、槽位计算、支持的操作（包括 DBR 18+ 上的流-流内连接）、transformWithState、可观测性、错误类别、交付语义	参见 references/real-time-mode.md
Lakebase 接收器	将流式记录写入 Lakebase Postgres，并执行事务性更新插入。原生 format("postgresql") 接收器（DBR 18.3+），以及作为后备方案的手动 foreach 接收器	参见 references/lakebase-sink-python.md
流连接	流-流连接、流-静态连接	参见 references/stream-stream-joins.md、references/stream-static-joins.md
多接收器写入	写入多个表、并行合并	参见 references/multi-sink-writes.md
合并操作	MERGE 性能、并行合并、优化	参见 references/merge-operations.md

配置

主题	描述	参考
检查点	检查点管理和最佳实践	参见 references/checkpoint-best-practices.md
有状态操作	水位线、状态存储、RocksDB 配置	参见 references/stateful-operations.md
触发器与成本	触发器选择、成本优化、RTM	参见 references/trigger-and-cost-optimization.md

最佳实践

主题	描述	参考
生产环境检查清单	全面的最佳实践	参见 references/streaming-best-practices.md

生产环境检查清单

• 检查点位置具有持久性（UC 卷，而不是 DBFS）
• 每个流使用唯一的检查点
• 固定大小的集群（流式处理不使用自动扩缩）
• 已配置监控（输入速率、延迟、批次持续时间）
• 已验证恰好一次（txnVersion/txnAppId）
• 已为有状态操作配置水位线
• 流-静态连接使用左连接（而不是内连接）