跳到正文
热点事件历史事件

Apache Spark 4.3 发布：实时模式支持状态化处理

1 篇报道1 个报道来源11 天前更新

先了解这件事

AI 综述

Databricks 发布 Apache Spark 4.3，将状态化处理引入 Real-Time Mode。Databricks 称，在三个状态化基准测试中，P99 端到端延迟均低于 150 ms：dropDuplicates 为 136 ms、窗口聚合为 139 ms、transformWithState 为 141 ms。 单任务优化和 Arrow 缓存均为可选功能，默认不开启；如需启用，须在启动新的 Spark 应用时设置静态配置 spark.sql.cache.serializer=org.apache.spark.sql.execution.columnar.ArrowCachedBatchSerializer。 该版本已在 Databricks Runtime 19 中可用；Databricks 建议用户查阅 Databricks Runtime 发行说明，以确认具体可用范围。

AI 根据报道生成 · 11 天前更新

最新进展11月5日 08:00
Apache Spark 4.3 发布，Databricks Runtime 19 已可用

报道时间线

沿着报道，了解事件的不同侧面。

11月5日
  1. Databricks
    Apache Spark 4.3 发布，Databricks Runtime 19 已可用

    Apache Spark 4.3 将状态化处理引入 Real-Time Mode，在三个状态化基准测试中实现低于 150 ms 的 P99 端到端延迟（dropDuplicates 136 ms、窗口聚合 139 ms、transformWithState 141 ms）。