更改数据捕获与快照

数据工程师通常需要将数据从Azure Databricks上游的源(例如关系数据库(Oracle、Postgres、SQL Server)复制到Azure Databricks进行分析、报告和机器学习。 随着操作系统的变化,分析表必须与这些更改保持同步。

某些团队需要反映其操作数据库的当前状态,以便进行报告和分析。 其他人需要保留完整的可审核性、法规要求或客户分析更改历史记录。

更改数据捕获(CDC)将数据库视为一组更改,而不是将数据库视为完整的静态数据库。 下图显示,当源表中包含员工数据的行更新时,它会在只包含更改的 CDC 数据流中生成新的行集。 CDC 数据流的每一行通常包含其他元数据,包括操作(例如 UPDATE)以及一个列,可以用于确定 CDC 数据流中每一行的顺序,以便有效处理无序更新。 例如,下图中的 sequenceNum 列确定 CDC 源中的行顺序:

更改数据捕获概述。

CDC 允许在更新下游系统中的数据库时查看对数据所做的更改,以便进行更简单的事务。 如果这是一项要求,还可以允许你查看数据库的历史记录。

挑战在于源系统以不同的格式提供数据。 某些源会发布捕获单个变更(插入、更新、删除)的变更源。 其他人仅提供整个表的定期快照。 每种格式都需要不同的处理方法,以使下游表准确且最新。

过去,团队通常依赖自定义 MERGE INTO 逻辑来应用这些变更,无论是来自变更源还是通过比较快照。 此方法非常复杂且容易出错,需要使用过渡表、窗口函数和排序假设,而这些假设在随着管道演变时难以理解和维护。

CDC 的优点

变更数据捕获在工作负载中提供了多项优势。

  • 更改数据通常小于完整数据集,下游查询可以处理更改作为对数据的增量更新。
  • 可以通过某种方式存储更改数据,以便在特定时间重新构造记录,从而提供审核、时间点报告或趋势分析的完整历史记录。
  • 变更数据可确保代理键随时间推移保持稳定。

如何应用更改:更改的当前状态或完整历史记录

缓慢变化维度(SCD)定义了上游变更在进入分析表后如何应用和建模。 组织可以根据数据需求使用不同的方法。 SCD 类型 1 仅允许保存数据集的当前状态。 SCD 类型 2 保存数据集更改的完整历史记录。 Bitemporal 扩展了 SCD Type 2,以保存跨越两条时间线的历史:每次变更生效的时间,以及系统得知每次变更的时间。 本部分更详细地介绍了这些内容。

SCD 类型 1:仅当前状态

SCD 类型 1 会在发生更改时用新数据覆盖旧数据,只保留每个记录的最新版本。 历史记录不会保留。

在以下情况下使用 SCD 类型 1:

  • 只需要数据的当前状态。
  • 您希望下游的具体化视图能够增量刷新,而不是完全重新计算。
  • 需要稳定的代理键用于连接。

SCD1 中仅提供最新版本的数据。 这是一种简单的方法,你可以将其视为仅存储最终结果表。 如果记录从Owner更改为Manager,,则只有Manager保留在表中。

变更数据捕获 SCD 类型 1 概述。

SCD 类型 2:历史跟踪

SCD 类型 2 通过创建多个版本的数据(每个版本都带有元数据时间戳)来维护完整的历史记录。 __START_AT和__END_AT列定义了记录每个版本的有效期。 活动记录具有 __END_AT = NULL。 可以在任何时间点查看数据集的状态。

在以下情况下使用 SCD 类型 2:

  • 可审核性或法规要求需要历史跟踪。
  • 客户分析需要了解实体随时间变化的方式。
  • 业务逻辑需要时点报告。
  • 你需要分析趋势或比较历史状态。

SCD 类型 2 处理用于维护数据变更的历史记录。 例如,如果记录当前已将角色字段设置为 Manager,您还可以看到该角色字段以前已设置为 Owner。 在下图中,Chris 记录的情况正是如此。 您可以根据 null 字段的 end_at 值识别出当前记录:

变更数据捕获 SCD 类型 2 概述。

双时态:跨业务时间和系统时间的历史

SCD Type 1 和 SCD Type 2 沿着单一时间线追踪变化。 双时态表为每条记录跟踪两条时间线:

  • 业务时间,也称为 有效时间:即变更在现实世界中生效的时间。 例如,员工晋升生效的日期。
  • 系统时间,也称为 交易时间:系统记录变更的时间。 例如,人力资源系统将晋升信息发送到Azure Databricks的时间。

这两条时间线经常不同。 变更往往迟到、顺序混乱,或者后来发现有误,需要更正。 SCD Type 2 可以显示历史发生变化,但在延迟更改或更正后,它不再显示修复前表中的内容。 双时空表回答了两个不同的问题:

  • 根据今天已知的一切,在某个业务时间,什么是真实的?
  • 在某个系统时间点,系统相信什么? 例如,报告或决策基于哪些数据?

双时态表不会覆盖系统先前记录的内容。 当有变更发生时,系统会在变更发生时关闭之前认为的行,并添加反映纠正历史的行。 每行有一个业务时间范围, __START_AT 和 __END_AT,以及一个系统时间范围, __SYSTEM_START_AT 以及 __SYSTEM_END_AT。

在以下情况下使用双时空:

  • 监管或审计要求你必须复现数据过去显示的内容,包括更正前。
  • 源数据迟到或顺序混乱,你需要知道变更何时生效,以及你何时得知这些变更。
  • 你纠正错误的数值,并必须保留之前报告的数值记录。
  • 你需要根据当时可用的数据解释过去的决策、报告或模型结果。

例如,Chris于1月1日以Owner身份开始任职,系统于1月2日记录了此情况。 克里斯晋升为 Manager,生效日期为3月1日,系统于当天记录了此次晋升。 3月15日,一条延迟记录到达。 这表明 Chris 自 2 月 1 日起是 Team Lead,之后成为 Manager。 SCD Type 2 重写了 Chris 的历史,包含了 Team Lead。 双时态表也保留了早先认为克里斯在3月1日之前是Owner的看法,并记录了这一看法于3月15日被取代:

name 角色 __START_AT __END_AT __SYSTEM_START_AT __SYSTEM_END_AT
Chris Owner 1 月 1 日 null 1 月 2 日 3 月 1 日
Chris Owner 1 月 1 日 3 月 1 日 3 月 1 日 3月15日
Chris Owner 1 月 1 日 2 月 1 日 3月15日 null
Chris 团队主管 2 月 1 日 3 月 1 日 3月15日 null
Chris 管理员 3 月 1 日 null 3 月 1 日 null

系统目前认为的 __SYSTEM_END_AT = null 行数为: Owner 直到2月1日, Team Lead 直到3月1日,然后 Manager。 其他行记录了迟到记录到来前系统原先认为的内容。 例如,在 3 月 10 日运行、数据截至 2 月 15 日的报表显示 Chris 的角色为 Owner。 双时序表可以让你复现这个答案。

端到端示例请参见 Bitemporal AUTO CDC。

比较SCD第一型、SCD第二型和双时态

Feature SCD 类型 1 SCD 类型 2 双时态
历史得以保留 None. 只有现在的状态。 沿一条时间线的完整历史。 涵盖两条时间线的完整历史,包括过去的信仰。
已跟踪的时间线 业务时间(SEQUENCE BY),仅用于对变更排序 营业时间(SEQUENCE BY) 工作时间(SEQUENCE BY)和系统时间(SYSTEM SEQUENCE BY)
新增的列 无 __START_AT、__END_AT __START_AT、__END_AT、__SYSTEM_START_AT、__SYSTEM_END_AT
延迟或乱序变更 按顺序应用。 晚于当前版本的变更将被丢弃。 按顺序插入历史记录。 之前的历史版本未被保留。 按顺序插入历史记录。 保留了之前的历史版本。
已解答的问题 现在什么是真的? 在某一时刻,什么为真? 在某个特定时间点,什么是真实的,系统在某个时刻相信什么?
受支持的 API AUTO CDC、AUTO CDC FROM SNAPSHOT AUTO CDC、AUTO CDC FROM SNAPSHOT AUTO CDC
典型用途 当前状态报告,增量下游处理 审计跟踪、时点报告、趋势分析 监管报告、财务审计、复刻过去决策、修正

什么是 CDC 数据流?

变更数据捕获(CDC)是一种数据集成模式,用于捕获对源系统中数据所做的更改:插入、更新和删除。 CDC 生成只包含已修改记录的数据流,而不是处理整个数据全集。

例如,如果 Oracle 中有一个员工表,其中包含 50 行,而一个员工的职务更改,则 CDC 源包含该员工的单个 UPDATE 记录。 这允许 Azure Databricks 仅处理已更改的记录,而不是在每次运行时读取整个源表。

源数据库中的每个 CDC 记录包括:

  • 操作类型 (INSERT, UPDATE, DELETE)
  • 记录的数据值
  • 用于确定性排序的序列号或时间戳

序列号确保了延迟或顺序错乱的变更能够被正确应用。 SQL Server、MySQL 和 Oracle 等事务型数据库会原生生成 CDC 数据流。 增量表(Delta 表)也会生成自己的 CDC 数据流,即变更数据流(CDF),这使得处理来自增量表源的变更也变得非常简单。

什么是快照?

快照表示特定时间点表的完整状态。 与仅捕获更改的 CDC 数据流不同,快照包含源表中的每一行。

由于各种原因,Teams 并不总是在操作数据库上启用 CDC 数据流。

  • 成本(CDC 可以增加生产数据库的负载)
  • 源数据库的性能问题
  • 不支持 CDC 的旧系统
  • 组织约束(管理引入的团队不拥有上游数据库)

当变更数据源不可用时,基于快照的摄入是唯一的选择。 快照可以来自:

  • 从关系数据库定期导出(Oracle、Postgres、SQL Server)
  • 来自上游系统的云存储文件转储
  • Delta 表(每个表版本实际上都是一个快照)
  • 来自上游租户的 OpenSharing

由于快照不会捕获记录级更改,因此确定更改需要比较快照中的记录,以推断插入、更新和删除。

自动处理 CDC 数据流

Azure Databricks 通过 Lakeflow 管道中的 AUTO CDC API 简化了 CDC 处理。 此 API 旨在处理来自源数据库的 CDC 数据源或已启用变更数据源(CDF)的 Delta 表中的变更。

有关 SQL 和Python代码示例,请参阅 AUTO CDC 示例。

当以下任一项为 true 时使用 AUTO CDC :

  • 源系统生成变更数据捕获 (CDC) 数据流
  • 您正在从已启用变更数据源(CDF)的 Delta 表中读取数据
  • 您拥有来自关系型数据库的 CDC 数据源 (通过 Debezium 或 Oracle GoldenGate 等工具)

AUTO CDC 会通过按排序列定义的顺序处理事件,自动处理顺序错乱的记录。 序列列必须是正确事件顺序的单调递增表示,每个键在每个序列值上都有一次不同的更新。 NULL 不支持序列化值。 对于 SCD 类型 2,管道将序列值传送到目标表的 __START_AT 和 __END_AT 列。

初始冻结: 将现有操作数据库表复制到 Azure Databricks 时,首先需要加载所有历史数据,然后再处理正在进行的更改。 AUTO CDC 通过 一次性流 支持该功能,这是一种一次性处理所有可用数据并随后停止的模式。 初始加载完成后,请使用触发式或连续模式流进行持续的 CDC 处理。 这可确保批量加载和增量加载的一致逻辑。

自动处理快照

当 CDC 数据流不可用时,Azure Databricks 提供 AUTO CDC FROM SNAPSHOT API。 此 API 专为基于快照的引入而设计;它将 连续快照进行比较,生成综合更改源,并将 SCD 类型 1 或类型 2 逻辑应用到目标表中。 目标表可为下游查询提供 SCD 类型 1 或类型 2 的 CDC 数据源(在 Delta 表中称为变更数据源 (CDF))。

有关代码示例,请参见 AUTO CDC FROM SNAPSHOT 示例。

AUTO CDC FROM SNAPSHOT支持Python和SQL流水线接口。 快照必须按版本递增顺序处理。 在这两个接口中,成功提交后的每个快照版本必须大于之前提交的版本。 版本号未递增会导致更新失败。 下游处理,例如查询 AUTO CDC FROM SNAPSHOT 数据集输出的实体化视图,可以享受 CDC 的优势,包括增量处理和稳定的代理键。

Note

AUTO CDC FROM SNAPSHOT 不仅用于初始加载。 它被设计用于快照是您唯一可用的格式时的持续处理。 每次新快照到达时,API 都会将其与以前的快照进行比较,以派生更改和更改数据馈送。

对于 SCD 第一类目标,当源同时提供定期权威快照和较低延迟的 CDC 馈送时,你可以将 AUTO CDC FROM SNAPSHOT 与 AUTO CDC 结合使用。 参见 “向自动CDC SCD类型1表格添加回填”。

在以下情况下使用 AUTO CDC FROM SNAPSHOT:

  • 源数据库上未启用 CDC
  • 您只能访问周期性快照(完整表转储)
  • 你希望利用 CDC 的优势来进行增量处理,或者获得完整的更改历史记录。

AUTO CDC FROM SNAPSHOT 自动处理以下内容:

  1. 比较连续快照以标识插入、更新和删除的记录。
  2. 基于快照之间的差异生成合成变更数据流。
  3. 应用与AUTO CDC相同的SCD逻辑来计算SCD类型1或类型2。

Note

AUTO CDC FROM SNAPSHOT 仅知晓从一个快照到下一个快照的变更,不会获取中间的变更。 例如,如果您获取每日快照,且某用户在一天内两次更改地址(从 A 更改为 B,随后又从 B 更改为 C),您的变更流可能会直接从 A 跳转到 C,因为您仅收到了这两个时间点的快照。

快照处理模式

在 Python 中,AUTO CDC FROM SNAPSHOT支持两种用于确定快照版本的模式。

基于管道摄入时间的快照处理

在管道运行时读取快照,并将摄入时间作为快照版本。 每次管道更新时都会摄入一个新的快照。 当管道以连续模式运行时,会根据流的触发间隔设置摄入多个快照。

当快照定期到达并按顺序到达时使用此模式,可以依赖管道运行时间戳进行版本控制。

使用版本函数进行快照处理

你提供了一个 Python 函数,指定在流水线运行时要处理哪个快照版本。 该函数返回元组: (DataFrame, version_number)。 API 按版本号定义的顺序处理快照。 如果函数返回的版本不大于上次成功提交的版本,则更新失败。

在以下情况下使用此模式:

  • 多个快照可以同时到达,需要顺序处理。
  • 快照的到达顺序可能不按顺序。
  • 您需要对快照排序进行显式控制。

SQL中的快照处理

在SQL中,使用所需的 FROM SNAPSHOT 查询读取快照数据。 要在流水线更新中处理已排序快照,可以添加WITH VERSION一个用于选择下一个版本的查询。 一次更新会处理所有可用版本,直到版本查询不返回任何行。 成功提交后返回的每个版本必须大于之前提交的版本。

没有WITH VERSION的 SQL 快照流仅支持在目标为空时进行初始加载。 关于语法和示例,请参见创建流程(管道)。

其他 CDC 功能

对 AUTO CDC 目标的变更操作

与标准流式表不同,作为 AUTO CDC 目标的 Unity Catalog 表即使在管道运行期间,也支持 INSERT、UPDATE、DELETE 和 MERGE 语句。 有关详细信息和限制,请参阅 在目标流式处理表中添加、更改或删除数据。

从 AUTO CDC 目标读取变更数据源

AUTO CDC 目标流式表可以发布自己的变更数据源 (CDF),允许下游管道从 AUTO CDC 输出中消费变更。 有关详细信息,请参阅 从 AUTO CDC 目标表读取变更数据流。

从物化视图读取更改数据馈送

实体化视图可以生成自己的变更数据馈送(CDF),因此下游使用者可以处理实体化视图中的更改,包括将其复制到 Azure Databricks 之外。 此功能以 Beta 版本提供。 有关详细信息,请参阅从物化视图读取更改数据馈送。

指标和监视

AUTO CDC 在每个管道运行中自动捕获 num_upserted_rows 和 num_deleted_rows 指标。 有关详细信息,请参阅 高级 AUTO CDC 主题。

跟踪 SCD 类型 2 的列子集

默认情况下,SCD 类型 2 会在任何列值发生更改时创建新版本。 AUTO CDC 允许您指定要跟踪历史记录的列,以便未跟踪列的更改直接更新当前版本,而不是创建新的历史记录。 这样可以降低存储成本和查询复杂性,同时保留关键属性的历史记录。 有关示例,请参阅 使用 SCD 类型 2 跟踪列子集。

Recommendations

当您只想处理数据的变更时(例如,允许下游具体化视图进行增量更新),请使用变更数据捕获 (CDC)。 如果要维护数据更改的历史记录,例如,若要知道谁在特定时间点具有什么角色,请使用 CDC。

需要将上游数据复制到 Azure Databricks 中并使其与源更改保持同步时,请使用 AUTO CDC API。 正确的 API 取决于源系统公开更改的方式:

  • 当源会发出变更馈送时,请使用 AUTO CDC,例如启用了 CDC 的关系数据库(通过 Debezium 或 Oracle GoldenGate 等工具)、启用了 Change Data Feed 的 Delta 表,或者任何会生成带有排序列的插入、更新和删除流的源。
  • 当源不支持 CDC 且仅提供周期性的全表导出时,请使用 AUTO CDC FROM SNAPSHOT。 此 API 通过比较连续快照并生成合成更改流来推断出更改,因此即使没有本地的 CDC 数据流,也能获得与 SCD 处理相同的优势。
  • 当周期性快照提供权威状态,且 CDC 馈送提供快照之间更低延迟的变更时,针对 SCD 类型 1 目标,结合 AUTO CDC FROM SNAPSHOT 和 AUTO CDC。

然后选择如何存储这些变更:

  • SCD 类型 1:如果只需保留每条记录的当前状态,请使用此类型。
  • SCD 类型 2:如果需要完整的变更历史以用于审计、时点报告或趋势分析,请使用此类型。
  • 双时态:如果还需要还原系统在过去某个时间点所记录的状态(例如,由于变更延迟到达或被更正,需要重现早期报表),请使用此类型。 Bitemporal 要求 AUTO CDC 和 一列记录每次变更的时间。 请参阅SCD 类型 1、SCD 类型 2 和双时态的比较。

其他资源