Lakeflow 管道 2026 发行说明

Lakeflow 管道的以下功能、改进和错误修复于 2026 年发布。

注释

由于 Lakeflow 管道的发布通道采用滚动升级方式,因此发布通道的升级会在不同时间部署到不同区域。 你的版本(包括 Databricks Runtime 版本)可能在初始发布日期的一周或更长时间后才会更新。 若要查找管道的当前 Databricks Runtime 版本,请参阅 运行时信息。

2026 年 10 月

这些功能和对 Lakeflow 管道的改进于2026年10月10日至2026年11月11日期间发布。

此版本使用的 Databricks Runtime 版本

以下版本截至2026年11月11日为最新版本。

频道:

  • 当前(默认):Databricks 运行时 18
  • 预览:Databricks 运行时 19

新功能和改进

  • 删除使用默认发布模式的 Unity 目录管道,默认情况下会保留其物化视图、流式表和视图。 保留的表保持可查询,但会停止更新,直到你将它们移动到另一个活动 Pipeline 中。 要同时删除管道及其表,请在删除请求中设置 cascade 参数。 请参阅 将 Unity Catalog 与管道结合使用。
  • 连续管道上的回退现在以触发式更新方式运行。 这防止管道以某种 COMPLETED 状态结束,而这种状态对连续管道无效。 参见 回退并重放管道。
  • AUTO CDC 现在可以只忽略 NULL 输入更新中指定的列的值,而不必忽略所有列。 请参阅 AUTO CDC API:使用管道简化变更数据捕获。
  • AUTO CDC 列列表现在通过父结构体匹配嵌套结构体字段,因此嵌套字段的更新会按预期应用。 请参阅 AUTO CDC API:使用管道简化变更数据捕获。
  • 你现在可以用 Python 的 @dp.foreach_sink() sink 和 ForEach decorator 把流的每一行写到自定义目标,比如外部 API 或键值存储。 参见 “使用 ForEach 接收器写入管道中的每一行”。
  • 现在,您可以在同一次更新中从物化视图的架构和聚类键中删除某一列,无论是显式 CLUSTER BY 还是显式 CLUSTER BY AUTO。 此前,更新失败。
  • 托管 Iceberg 物化视图(公开预览)允许您在管道中创建物化视图作为托管 Iceberg 表。 请参阅CREATE MATERIALIZED VIEW(管道)。

故障修复

  • Run-as 大小验证现在仅统计客户对象,从而避免了误报的限制错误。

2026 年 9 月

这些 Lakeflow 管道的功能和改进于2026年9月9日至2026年10月9日期间发布。

此版本使用的 Databricks Runtime 版本

以下版本截至2026年10月9日为最新版本。

频道:

  • 当前(默认):Databricks 运行时 18
  • 预览:Databricks 运行时 19

新功能和改进

  • 现在,除了用户或服务主体之外,你还可以将管道的运行身份标识设置为帐户组。 流水线更新会在组的权限下运行,因此团队可以拥有自动化的流水线,而不绑定到某个人的账户。
  • 你现在可以为连续流水线设置维护窗口,控制平台更新(如新运行时版本和无服务器基础设施维护)的应用时间。 你按星期几、开始时间和时区来配置时间窗口。 参见 “管理连续流水线的更新”。
  • 回退(Beta 版)会定期创建管道的元数据快照,涵盖数据集、源偏移量和算子状态。 当出现问题时,你可以回滚到更早的快照,修复代码,重新处理数据。 回退需要将 PREVIEW 通道和 pipelines.rewind.betaEnabled 管道设置为 true。 参见 回退并重放管道。
  • Python 流水线单元测试(测试版)允许你针对模拟数据编写测试,以验证摄取和转换逻辑,包括 AUTO CDC 和预期值,而无需涉及生产数据。 你可以在管道编辑器中创建测试,也可以用Genie Code中的 /tests 命令创建测试。 请参阅 管道的单元测试。
  • AUTO CDC 现在使用原生表达式评估。 这加快了变更数据捕获的处理速度。
  • 管道SQL现在在解析参数标记前先替换变量。 这使得参数化SQL的行为保持一致。
  • 将分区列和聚类列同时设置在同一表中,现在会返回更清晰的错误信息。 这使得冲突更容易诊断和解决。
  • 你现在除了 SQL 之外,还可以在无服务器计算(Beta)上使用 pyspark.pipelines 装饰器(@dp.table 和 @dp.materialized_view)定义独立的流式表、物化视图和 REPLACE WHERE 表。 现在所有地区都支持无服务器计算资源上的流水线。 参见“使用Python配合独立管道”。
  • 现已在所有地区推出具体化视图和流式表在无服务器笔记本和作业中的扩展 Beta 版。 你可以在任何地区从无服务器笔记本和作业中创建和刷新这些表。 请参阅 独立管道的要求。
  • 物化视图的查询概况现在会显示刷新未以增量方式运行的原因,例如源表配置或不受支持的查询运算符。 这有助于你修复管道和独立的具体化视图,无论是从界面上还是使用 Genie Code 进行修复。 请参阅具体化视图的增量刷新。

故障修复

  • 当参数为空时,标识符现在能正确解析。
  • 现在保留统计架构,用于进行自动 liquid 聚类分析。

2026 年 8 月

这些针对 Lakeflow 管道的功能和改进已于 2026年8月13日至9月8日期间发布。

此版本使用的 Databricks Runtime 版本

以下版本截至2026年9月8日为最新。

频道:

  • 当前(默认):Databricks 运行时 18
  • 预览:Databricks Runtime 18

新功能和改进

  • 你现在可以用新的CREATE TABLE ... FLOW(SQL)和create_table()@append_flow (Python)API创建由一个或多个附加流程(Beta)编写的非流管理表,这样多个源就能为同一个表提供信息。 该 import_checkpoint 选项将现有的结构化流工作负载迁移到流水线,无需重新处理。 参见 CREATE TABLE ......流动(管道) 和 create_table。
  • 管道现在可以在 foreachBatch sink 中执行 SQL 多语句事务。 这使在流式管道中实现事务性、多语句批处理逻辑成为可能。
  • 流式表上的列级 ALTER TABLE 更改现在仅涉及元数据(Beta),因此不再需要完全刷新、检查点重置或重新引入,并且源重命名或删除不再需要 schemaTrackingLocation。 此功能需要已启用外部元数据的 Unity Catalog。
  • 经典 Unity Catalog 管道中新创建的物化视图和流式表现在启用行跟踪,与无服务器管道的行为一致。 这使 Classic 和无服务器流水线中的行跟踪行为保持一致。
  • Lakeflow 管道环境版本现已在 Spark Connect(公开预览版)上提供 100% Lakeflow pipelines API 覆盖。 你可以手动采用,也可以通过自动迁移采用,自动迁移包括行为变化检测和运行失败时的自动回滚功能。 请参阅 配置管道的环境版本。
  • Lakeflow 管道事件日志现已作为 Unity 目录系统表 system.lakeflow_pipeline_events_preview.pipeline_events (测试版)提供。 你可以实时从单个表查询区域内所有管道的事件,即使管道被删除,事件也会被保留。 参见 管道事件系统表格参考。
  • Lakeflow 管道图现在将上游源渲染为 DAG 上的节点,并通过 UI 切换功能显示或隐藏它们。 这使得追踪管道数据的来源变得更容易。
  • 现在你可以直接从流水线监控页面触发标准模式的选择性全面刷新。 这样你就能更好地控制完整刷新的运行方式,而无需修改流水线定义。

故障修复

此版本期间未包含重大 bug 修复。 所有更改都是新功能和改进。

2026 年 7 月

这些Lakeflow管道的功能和改进于2026年7月7日至8月12日期间发布。

此版本使用的 Databricks Runtime 版本

以下版本截至2026年8月12日为最新。

频道:

  • 当前(默认值):Databricks Runtime 17.3
  • 预览:Databricks Runtime 18

新功能和改进

  • 管道现在支持无版本模式,Azure Databricks 会自动管理 Databricks 运行时版本,而不是你固定某个特定版本。 这样可使流水线在受维护的运行时上运行,而无需手动进行版本升级。
  • 目录提交功能现已作为公开预览版提供,适用于流式处理表和具体化视图。 你可以在多表、多语句事务中,对启用了目录提交的流式处理表执行数据操作语句 (DML) 操作。 请参阅 目录提交。
  • 管道现在可以导入现有检查点,简化了迁移和恢复的场景。
  • 连续流水线现在与查询历史集成,提升了由长期持续更新产生的变更的可追溯性。
  • 你现在可以配置最多同时激活的管道更新次数,从而更好地控制管道并发。
  • 新的管道现在会自动默认使用当前的发布模式,简化了管道创建。
  • 现在,系统会阻止独立具体化视图以及引用临时视图的流式处理表的计划刷新,以防止刷新失败。

故障修复

此版本期间未包含重大 bug 修复。 所有更改都是新功能和改进。

2026 年 6 月

2026 年 6 月 10 日至 2026 年 7 月 7 日期间发布了对 Lakeflow 管道的这些功能和改进。

此版本使用的 Databricks Runtime 版本

截至 2026 年 7 月 7 日,以下版本是最新的。

频道:

  • 当前(默认值):Databricks Runtime 17.3
  • 预览:Databricks Runtime 18

新功能和改进

  • AUTO CDC 目标表现在支持液体聚类,您可以通过主键或通过摄取规范启用。这提高了对变更数据捕获目标的查询性能,而无需手动进行集群维护。
  • 现在,您可以使用 CONSTRAINT expectation_name EXPECT (expectation_expr) 子句向独立物化视图添加数据质量预期。 这样就可以在不定义管道的情况下对独立具体化视图强制实施数据质量规则。
  • REPLACE WHERE 流程现在支持增量刷新。 符合条件的流仅重新计算已更改的数据,而不是重新处理完整输入,从而减少刷新成本。
  • 在经典计算上运行的管道现在支持环境版本,从而更好地控制经典计算上的依赖项管理。

故障修复

  • 修复了一个问题:当空闲连接器恢复时,已提交的游标可能会卡住,从而导致引入进度停滞。

2026 年 5 月

这些功能和对 Lakeflow 管道的改进于 2026 年 5 月 6 日至 2026 年 6 月 9 日发布。

此版本使用的 Databricks Runtime 版本

截至 2026 年 6 月 9 日,以下版本为当前版本。

频道:

  • 当前(默认值):Databricks Runtime 17.3
  • 预览:Databricks Runtime 18.1

新功能和改进

  • AUTO CDC 现在支持双时序跟踪,为每行同时保持系统时间(记录被存储时)和有效时间(记录为真时)。 这可确保财务、审计和监管工作负载在特定时间点的数据正确性。
  • 基于 Python 的流水线现在会重用先前更新中的虚拟环境。 预热池 REPL 会预先加载已缓存的环境,因此如果两次更新之间环境没有变化,就会跳过依赖安装。 这会缩短启动时间。
  • 现在可以直接在管道定义中声明Python库依赖项,而不是在笔记本单元格中使用%pip install调用。 在更新开始时,依赖项安装在Python环境中。 请参阅 管理管道的 Python 依赖项。
  • 当从具体化视图架构中删除这些列时,使用自动液体聚类分析的管道 (CLUSTER BY AUTO) 现在会自动删除聚类分析列。 以前,这需要手动完全刷新。
  • 现在可以使用 ALTER MATERIALIZED VIEW 或 ALTER STREAMING TABLE ... SET OWNER TO 将具体化视图或流式表的所有者更改为服务主体。 以前,只能通过目录资源管理器更改所有权。
  • ALTER TABLE ... DROP FEATURE 现在支持物化视图和流表。

故障修复

  • 解决了重复的 StartUpdate 调用可能触发多个并发管道更新的竞争情况。 幂等令牌现会经过验证并存储,以防止重复执行。

2026 年 4 月

这些 Lakeflow 管道功能和改进已于 2026 年 4 月 5 日至 2026 年 5 月 6 日期间发布。

此版本使用的 Databricks Runtime 版本

截至 2026 年 5 月 6 日,以下版本是最新的。

频道:

  • 当前(默认值):Databricks Runtime 17.3
  • 预览:Databricks Runtime 18.1

新功能和改进

  • 独立具体化视图和流式处理表(以前称为 Databricks SQL 中的管道)现已在无服务器计算(Beta)上提供,使你无需预配专用管道群集即可创建和管理这些对象。 这可降低独立声明性对象的操作开销和成本。
  • 管道和独立的流式表现在已支持 REPLACE WHERE 流(Beta 版)。 REPLACE WHERE 流非常适合对连接和聚合进行增量批量处理。 请参阅使用 REPLACE WHERE 流的批处理。
  • SCD 类型 2 处理现在在读取和写入操作期间省略版本映射中的 null 条目,从而提高存储效率和查询性能,以便缓慢更改维度工作负荷。
  • Databricks SQL 编辑器现在包含用于创建具体化视图的专用技能,在编辑器中直接提供引导式帮助和语法帮助。 这简化了定义和配置具体化视图的工作流。
  • Databricks SQL 编辑器现在包含一项 AUTO CDC 技能,可帮助你设置变更数据捕获(CDC)管道。 这降低了配置 CDC 管道的学习门槛。

故障修复

此版本期间未包含重大 bug 修复。 所有更改都是新功能和改进。

2026 年 3 月

这些功能和对 Lakeflow 管道的改进于 2026 年 2 月 26 日和 2026 年 3 月 31 日发布。

此版本使用的 Databricks Runtime 版本

截至 2026 年 3 月 31 日,以下版本为当前版本。

频道:

  • 当前(默认值):Databricks Runtime 17.3.8
  • 预览:Databricks Runtime 18.1.0

新功能和改进

  • 无服务器管道现在支持基于 CPU 的垂直自动缩放。 此功能根据实际 CPU 利用率动态调整群集资源,以提高工作负荷稳定性。
  • 现在可以在删除管道时保留 Unity 目录表,即使在删除管道后仍保留数据资产。 这样,便可以更灵活地管理管道生命周期,而不会造成数据丢失的风险。
  • 现在可以使用新的流语法创建流式处理表,该语法提供了更直接的声明性方法来定义流式处理数据管道。 这简化了管道编写,并与当前数据工程模式相一致。
  • 管道现在在表更新期间保留行筛选器和列掩码配置,因此 Unity 目录安全策略在管道刷新期间保持不变。 这可以防止在架构演变过程中意外删除安全策略。
  • CDC 应用更改现在支持日期/时间重新定基模式。 此功能可正确处理旧日历系统与新式日历系统之间的时间戳转换。 防止在使用变更数据捕获流处理历史日期时间数据时发生数据不一致。
  • 现在可以在流式处理管道的 foreachBatch 操作中使用 SQL 语句,从而实现更灵活的微批处理逻辑。 这消除了之前需要使用 Python 或 Scala 才能进行自定义批处理的限制。
  • 管道现在支持接收器注册中的前向引用。 可以在声明下游表之前定义引用下游表的数据流。 这简化了复杂的管道定义并删除排序约束。
  • 现在,在模拟运行期间,会对追加一次流进行验证,以便在管道执行开始之前捕获配置错误。 这通过在管道创建工作流程的早期阶段发现问题来提高开发体验。

故障修复

此版本期间未包含重大 bug 修复。 所有更改都是新功能和改进。

2026 年 2 月

这些功能和对 Lakeflow 管道的改进于 2026 年 1 月 14 日至 2026 年 2 月 25 日发布。

此版本使用的 Databricks Runtime 版本

截至 2026 年 2 月 25 日,以下版本为当前版本。

频道:

  • 当前(默认值):Databricks Runtime 17.3
  • 预览版:Databricks Runtime 17.3

新功能和改进

  • 管道现在支持 Delta 表的类型扩展,允许安全扩大列的数据类型(例如,从 INT 扩展到 LONG,从 FLOAT 到 DOUBLE),而无需完全重置管道。 这可实现以前需要手动干预的架构演变工作流。
  • 现在,可以将 SCD 类型 1 具体化与 AUTO CDC 一起使用,提供了一种更简单的 CDC 模式,可以在不维护完整更改历史记录的情况下更新最新值。 这减少了不需要完整历史记录的用例的存储开销。
  • 管道现在在重试失败的更新时重复使用现有群集,通过消除冗余群集启动时间来降低重试延迟和降低计算成本。
  • 预测优化功能现在可以在具体化视图和流式处理表上正确显示,前提是它们在上个月内已被刷新。
  • 管道现在在执行开始前,在干运行阶段一起验证多个流,捕获流中的配置冲突和依赖关系问题。
  • 在数据引入管道更新过程中,现在可以保留可变元数据,从而在流式引入表上启用对“ALTER”命令的完全支持。
  • 管道中的 Python 错误现在附带 SQL 状态代码,改进了错误诊断能力,并在下游工具中启用更好的编程错误处理。
  • 管道现在支持经典计算的 ARM 实例。

故障修复

  • 在首次更新运行时,追加模式流表中的标识列值现在得以正确生成。

2026 年 1 月

这些功能和对 Lakeflow 管道的改进于 2025 年 11 月 14 日至 2026 年 1 月 13 日发布。

此版本使用的 Databricks Runtime 版本

截至 2026 年 1 月 13 日,以下版本为当前版本。

频道:

  • 当前(默认值):Databricks Runtime 17.3
  • 预览版:Databricks Runtime 17.3

新功能和改进

  • 现在可以直接在 Unity 目录表中存储和管理数据质量预期,使用数据治理框架集中数据质量规则。 这样就可以跨多个管道共享版本控制的可审核质量规则。

  • 这些运行时间超过 7 天的连续管道现在会从容重启,停机时间最小,并且出现显式的更新原因(INFRASTRUCTURE_MAINTENANCE),而不是在需要刷新基础计算环境时突然重启。

  • 管道现在支持排队执行模式,其中多个更新请求会自动排队并按顺序执行,而不是因冲突而失败。 这简化了频繁更新触发的管道的操作,并且无需手动协调重试。

  • 现在可以从单个更改数据源具体化多个 SCD 类型 2 视图,从而在创建相同数据的多个历史视图时提高效率。 这样就无需重新处理每个 SCD 类型 2 输出的源数据。

  • 管道计划和配置现在可以从 Unity 目录表属性中存储和读取,从而通过数据管理实现集中设置管理。 这样,就可以与数据定义一起管理管道行为。

  • MANAGE 权限现在会自动传播到 Unity 目录中的实体化视图和流式表,简化了管道输出的权限管理。 这可确保在未经手动权限授予的情况下进行一致的访问控制。

  • SCD 类型 2 操作现在会自动合并具有相同自然键的重复记录,确保数据一致性,并防止慢速变化维度表中的重复历史记录。

  • 管道现在可以选择自动删除不再属于管道定义的非活动表。 这有助于维护干净的数据仓库,并降低过时表的存储成本。 请参阅 将 Unity Catalog 与管道结合使用。

  • 管道定义、修补操作和运行方式标识更改现在包含在审核日志中,为合规性和安全性监控提供配置更改的全面跟踪。 请参阅 管道事件日志。

故障修复

此版本期间未包含重大 bug 修复。 所有更改都是新功能和改进。