Azure Databricks 中的存档支持

重要

此功能在 Databricks Runtime 13.3 LTS 及更高版本中作为公共预览版提供。

通过 Azure Databricks 中的存档支持,你可以在包含 Delta Lake 表的云对象存储中使用基于云的生命周期策略。 在 Delta Lake 表上启用存档支持可以有效地告知 Azure Databricks 忽略早于表中指定时间段的文件。

云生命周期策略通过将旧文件迁移到归档存储层来降低存储成本。 如果没有归档支持,生命周期策略可能会导致对 Delta Lake 表的查询失败,因为查询读取的数据文件已不再可用。 参见:为什么你应该启用归档支持?

何时使用归档支持

当以下条件全部成立时,在表上启用归档支持:

  • 你使用生命周期策略,根据文件创建时间归档表中的数据文件。
  • 大多数对表的查询会读取近期数据或过滤掉已归档文件。
  • 需要归档数据的查询很少见,你可以等有人在云服务商的存储中恢复这些文件后再重新运行查询。 请参阅 还原存档文件。

如果你的查询经常扫描表格的完整历史,不要使用归档支持。 需要归档文件的查询会失败。 档案支持也不支持基于访问时间或标签的生命周期策略。 请参阅限制。

要求

Azure Databricks 仅为 Azure 存档提供存档支持。 请参阅关于通过生命周期管理优化成本的 Azure 文档。

为何要启用存档支持?

归档支持只允许在不触及归档文件的情况下返回正确结果的查询。 这些查询包括符合以下任一条件的查询:

  • 仅查询元数据。
  • 其筛选器不需要扫描任何已存档的文件。

所有需要存档文件中数据的查询都会失败。

重要

对于需要存档文件才能返回正确结果的查询,Azure Databricks 永远不会返回结果。

为 Azure Databricks 中的表启用存档支持时,不会创建或更改为云对象存储定义的生命周期策略。 请参阅更改生命周期管理转换规则。

如果没有归档支持,针对Delta Lake表的操作可能会因数据文件或事务日志文件已迁移到归档位置而出错,查询时无法访问。 存档支持引入了优化,尽可能避免查询已存档的数据。 它还增加了新语法来标识必须从存档存储还原以完成查询的文件。

为存档数据优化的查询

Azure Databricks 中的存档支持会针对 Delta Lake 表优化这些查询。

查询 新行为
SELECT * FROM <table_name> LIMIT <limit> [WHERE <partition_predicate>] 自动忽略已存档的文件,并从非存档存储层中的数据返回结果。
Delta Lake 维护命令:OPTIMIZE、ZORDER、ANALYZE、PURGE 自动忽略已存档的文件,并对表的其余部分运行维护。
会覆盖数据或删除数据的DDL和DML语句,包括 REPLACE TABLE、 INSERT OVERWRITE、 TRUNCATE TABLE、 DROP TABLE 将事务日志条目的目标归档数据文件标记为已删除。
FSCK REPAIR TABLE 忽略已存档的文件,只检查未达到生命周期策略的文件。

早期失败和错误消息

对于需要扫描归档文件以生成正确结果的查询,配置 Delta Lake 的归档支持会有以下效果:

  • 如果查询尝试访问已存档的文件,则查询会提前失败,从而减少浪费的计算并允许用户快速调整和重新运行查询。
  • 错误消息通知用户查询失败,因为查询尝试访问已存档的文件。

用户可以使用 SHOW ARCHIVED FILES 语法生成必须还原的文件的报告。 请参阅显示已存档的文件。

重要

如果收到错误“Not enough files to satisfy LIMIT”,则表示表的未存档的文件中没有足够的数据行来满足 LIMIT 指定的记录数。 降低 LIMIT 子句以找到足够的未归档行来满足指定的 LIMIT。 请参阅限制。

启用存档支持

您可以通过在底层云生命周期管理策略中手动指定归档区间来启用 Delta Lake 表的归档支持。

ALTER TABLE <table_name> SET TBLPROPERTIES(delta.timeUntilArchived = 'X days');

timeUntilArchived设置时间会告知 Azure Databricks 忽略 Delta Lake 表中早于指定时间段的文件。 此设置独立于云帐户的生命周期策略。 对一个的更改不会影响另一个。 如果在云帐户中更新生命周期策略,还必须更新 Delta Lake 表上的存档设置。 请参阅更改生命周期管理转换规则。

在云帐户中设置新的生命周期策略时,更改可能需要长达 24 小时才能生效。 请参阅 生命周期管理策略执行。

如果在未为云对象存储设置生命周期策略的情况下启用此设置,则存档支持允许查询成功,结果包括标记为存档的文件中的数据。 请参阅 Azure Databricks 如何抽样还原的数据。

警告

云生命周期策略不得存档 Delta 事务日志(_delta_log/ 目录)。 请参阅限制。

重要

归档支持完全依赖兼容的 Azure Databricks 计算环境,仅适用于 Delta Lake 表。 配置存档支持不会更改 OSS Delta Lake 客户端或 Databricks Runtime 12.2 LTS 及更低版本的行为、兼容性或支持。

显示已存档的文件

若要标识必须还原以完成给定查询的文件,请使用 SHOW ARCHIVED FILES。

SHOW ARCHIVED FILES FOR table_name [ WHERE predicate ];

该操作以 Spark DataFrame 形式返回已归档文件的档名。 按照对象存储提供程序中记录的说明还原必要的已存档文件。 请参阅 还原存档文件。

若要了解 Azure Databricks 如何检查已还原的数据,请参阅 Azure Databricks 如何对已还原的数据进行采样?。

注意

在此操作期间,Delta Lake 只能访问事务日志中包含的数据统计信息。 默认情况下,这些是收集的表中前32列的统计数据:

  • 最小值
  • 最大值
  • Null 计数
  • 总记录数

返回的文件包括必须读取的所有已存档的文件,以确定文件中是否存在满足谓词的记录。 Databricks 建议提供包含对数据进行分区、z 排序或聚类分析的字段的谓词,以减少必须还原的文件数量。

还原存档的文件

若要确定所有需要还原的文件,请使用 SHOW ARCHIVED FILES 查看存档文件列表。

使用解除冻结 API 将文件还原到联机存储层。 请参阅从存档层解除冻结 Blob。

还原云提供程序存储中的文件后,可以查询表。 存档支持会自动识别还原的文件。 若要了解 Azure Databricks 如何检查已还原的数据,请参阅 Azure Databricks 如何对已还原的数据进行采样?。

更新或删除存档的数据

如果运行影响存档文件中数据的 MERGE、UPDATE 或 DELETE 操作,操作将失败。 必须将数据还原到支持快速检索的存储层才能运行这些操作。 用于 SHOW ARCHIVED FILES 确定必须还原的文件(请参阅 还原存档的文件)。

Azure Databricks 如何为已还原数据进行采样?

当 Azure Databricks 准备对启用了存档支持的表进行扫描时,它会对比查询所需的指定保留期更早的文件进行采样,以确定文件是否已还原。 如果结果表明假定已存档的采样文件已还原,则 Azure Databricks 会假定查询的所有文件都已还原,就会开始处理查询。 结果包括标记为存档的文件中的数据。

采样可能不适用于所有查询,请参阅 “限制”。

限制

档案支持有以下限制:

  • 存档支持仅适用于数据文件。 如果 Delta 事务日志(_delta_log/ 目录)中的任何文件都移动到存档存储层,则表将完全无法访问,针对表的所有查询都会失败。 必须配置您的云生命周期策略,使_delta_log/路径不包含在存档中。 请参阅 S3 生命周期配置的示例。
  • 不支持不基于文件创建时间的生命周期管理策略。 包括基于访问时间的策略和基于标记的策略。
  • 不能在包含已存档文件的表上使用 DROP COLUMN。
  • REORG TABLE APPLY PURGE 会尽量做出最佳尝试,但仅对未存档的删除矢量文件和引用数据文件有效。 PURGE 无法删除已存档的删除矢量文件。
  • 扩展生命周期管理迁移规则会导致意外行为。 请参阅延长生命周期管理转换规则。
  • LIMIT 对启用了存档支持的表的查询不会触发还原数据的采样。 如果还原表的数据,则查询还原的数据时,大多数查询都会成功,但 LIMIT 查询返回 DELTA_ARCHIVED_FILES_IN_LIMIT 错误。 请参阅 Azure Databricks 如何抽样还原的数据。

更改生命周期管理转换规则

如果更改云生命周期管理转换规则的时间间隔,则必须将属性 delta.timeUntilArchived 更新为同一间隔。

如果归档前的时间区间缩短(文件创建后时间更短),Delta Lake 表的归档支持在表属性更新后仍正常工作。

延长生命周期管理转换规则

如果存档前的时间间隔延长(以在触发存档之前添加更多时间),则将 delta.timeUntilArchived 属性更新为新值可能会导致错误。 更改数据保留策略时,云提供商不会自动将文件从已存档的存储中还原。 这表示之前符合存档条件,但现在被视为不符合存档条件的文件仍会存档。

重要

为避免错误,请勿将 delta.timeUntilArchived 属性的值设置为大于最近已存档数据的实际存在时长。

假设存档的时间间隔从 60 天更改为 90 天:

  1. 当策略更改时,60 到 90 天的所有记录都已存档。
  2. 30 天内,不会存档任何新文件(当策略延长时,最早的非存档文件已存在 60 天)。
  3. 30 天后,生命周期策略会正确描述所有已存档的数据。

delta.timeUntilArchived 设置会根据 Delta 事务日志记录的文件创建时间跟踪设置的时间间隔。 它对基础策略没有明确的了解。 在旧归档阈值与新归档阈值之间的滞后期,您可以采取以下方法之一来避免查询归档文件:

  1. 可以将 delta.timeUntilArchived 设置保留为旧阈值,直到经过足够的时间,使所有文件都存档。
    • 按照上面的示例,前 30 天内每天的数据将被视为已由 Azure Databricks 存档,但仍需由云提供商存档。 这不会导致错误,但会忽略一些可以查询的数据文件。
    • 30 天后,将 delta.timeUntilArchived 更新为 90 days。
  2. 可以每天更新 delta.timeUntilArchived 设置,以反映滞后期间的当前间隔。
    • 虽然云策略设置为 90 天,但已存档数据的实际存在时长会实时变化。 例如,在 7 天后,将 delta.timeUntilArchived 设置为 67 days 可准确反映所有已存储数据文件的存在时长。
    • 只有在必须访问热存储层中的所有数据的情况下,才需要此方法。

注意

更新 delta.timeUntilArchived 的值不会更改存档的数据。 这只是更改 Azure Databricks 处理数据的方式,使其看起来像是已存档。