查询缓慢和高计算成本通常源于几个根本原因:读取超过查询所需的数据、在节点之间重新分布数据、选择了糟糕的查询计划,或者重写了未更改的文件。 在从大规模 ETL 处理到临时交互式查询过程中,Azure Databricks 可以在工作负载上自动解决其中许多原因。 其他优化只在你开启或针对特定工作负载调整时生效。
本页首先列出适用于大多数工作负载的建议,然后按优化是自动运行还是需要您进行配置来分组,并说明每项优化分别解决的问题。 大多数 Databricks 运行时优化需要 Delta Lake,这是 Azure Databricks 中表格的默认格式。
从这些建议开始
这些选择为大多数工作负载带来了最大的性能提升。 它们也帮助本页的许多自动优化功能发挥最大效力。
-
对表布局使用 Liquid 聚类分析。Liquid 聚类分析会取代表分区和
ZORDER。 它按你经常筛选的列组织数据,这会改善数据跳过和动态文件修剪。 - 使用Unity Catalog管理的表。预测优化 会自动维护受管理表。 请参阅 Delta Lake 和 Apache Iceberg 的 Unity 目录托管表。
- 使用启用 Photon 的计算。 预测输入/输出需要 Photon,
UPDATE、DELETE和MERGE语句中的动态文件剪枝也需要 Photon。 请参阅什么是 Photon?。 - 启用删除向量。 预测I/O使用删除向量以避免在更新、删除和合并过程中重写整个文件,而行级并发也需要它们。 对于Delta Lake表,你必须明确启用删除向量。 请参阅 Databricks 中的删除向量。
- 使用最新的Databricks运行时。 新版本包含了最新的性能增强。 部分优化要求最低 Databricks 运行时版本或支持 Photon 的计算。 请参阅各页了解要求。
自动优化
这些优化默认开启。 你不需要启用它们,但有些在表和计算满足某些条件时会带来更多好处,比如使用 Photon 或保持表统计数据的更新。
- 磁盘缓存:加快反复读取同一远程Parquet和Delta Lake数据文件的查询。 Azure Databricks 会将文件副本缓存到计算节点的本地存储中,以使后续读取可在本地进行。 Azure Databricks 会在支持该功能的辅助角色实例类型上自动启用它。
-
动态文件修剪:跳过在 Delta Lake 表上执行联接时无法包含匹配行的文件。
MERGE、UPDATE和DELETE语句需要启用 Photon 的计算资源来进行动态文件剪枝。 -
低随机合并:加快在每个文件中更新或删除少量行的
MERGE操作。 低洗牌合并处理未修改的行,无需洗牌,并保留其现有的数据布局。 - 自适应查询执行:在查询运行时根据数据的实际大小重新优化查询计划。 这解决了缓慢联接策略、过多的小任务以及因估算不准确导致的倾斜任务问题。
- Predictive I/O:加快数据扫描速度,并减少在启用 Photon 的计算中进行更新、删除和合并时重写的数据。
- 基于成本的优化器:利用表和列统计选择高效的查询计划,尤其是针对多连接的查询。 基于成本的优化器依赖统计数据,因此收集统计数据并使其保持最新。
-
预测优化:在 Unity Catalog 管理的表上自动运行
OPTIMIZE、VACUUM和ANALYZE,因此无需安排表维护。 它还使基于成本的优化器所使用的统计数据保持最新状态。 要检查你的账户是否启用了预测优化,请参见 “验证预测优化是否已启用”。
您配置的优化项
这些优化需要你开启它们、调整它们或更改表配置。 当工作负载需要默认设置不覆盖的行为时使用它们。
- 归档支持:在云生命周期策略将旧表文件移动到存档存储层以降低存储成本时使用。 存档支持功能告诉 Azure Databricks 忽略早于指定时间段的文件,因此生命周期策略不会中断仅读取最近数据的查询。 该功能处于公开预览阶段。
- 区间连接:当联接使用点落在区间内或区间重叠条件时使用。 Databricks SQL 会自动优化范围连接。 在其他计算上,通过联接提示或会话配置优化范围联接。
- 隔离级别和写冲突:当并发写入同一表发生冲突时,或工作负载需要比默认的 WriteSerializable 隔离级别更严格的保证时使用。 可串行化隔离会降低并发写入的吞吐量。 行级别并发自动解决满足其要求的表上的并发写入之间的许多冲突。
-
全文搜索索引:当查询使用
search或isearch函数在文本列中搜索子字符串或词时,请使用。 索引会跳过无法包含匹配行的文件。 此功能以 Beta 版本提供。
注意
布隆过滤器索引是已废弃的数据跳过功能。 它们增加了写入开销,而且很难调校。 如果你的表有这些索引,请查看布隆过滤器索引(已弃用)来替换和移除它们。
其他性能特性
- 高阶函数具有内置的优化性能,用于执行许多没有常见 Spark 操作符的操作。 高阶函数的性能优于用户自定义函数。
- Azure Databricks 内置了操作符和特殊语法,用于处理复杂数据类型,包括数组、结构体和 JSON 字符串。
- Spark SQL查询 JSON字符串 时无需先解析它们。
- 要控制写入操作产生的数据文件大小,请参见 控制数据文件大小。
- 关于表设计和维护指导,请参见 最佳实践:Delta Lake。
诊断运行缓慢或成本高的工作负载
如果工作负载比预期慢或更贵,且你不知道原因,建议在更改配置前先用Spark UI找出瓶颈。 请参见 使用 Spark UI 诊断成本和性能问题。