查询性能见解

当查询运行时,Azure Databricks 会返回查询性能洞察,这些洞察会标记提升性能的机会,并报告已应用的优化。 每个洞察都包含一个你可以采取的建议,比如压缩小文件、收集统计数据或调整仓库规模。

为您的查询寻找洞察和推荐

见解显示在 查询历史记录 和 查询配置文件中。 查询详细信息面板显示见解摘要,按他们对总任务工期的估计影响进行排名。 查询配置文件中的 “性能见解 ”选项卡显示每个见解的完整详细信息。

使用 Genie Code 进行优化

当查询具有可操作见解时,请选择“ 优化 ”以打开 Genie Code。 对于需要查询更改的见解,Genie Code 将重写查询并呈现审批的更改。 对于涉及表或计算更改的见解,Genie Code 将建议的操作汇总为纯语言文本。

若要了解有关使用 Genie Code 的详细信息,请参阅 Genie Code。

查询优化洞察

COVERAGE_FILTER_KEYS_CLUSTERING

该表由表扫描期间筛选器中未使用的一个或多个键 聚集 。

建议:在 聚类键上添加过滤器以减少读取字节。

COVERAGE_FILTER_KEYS_PARTITIONING

该表由表扫描期间筛选器中未使用的一个或多个键 进行分区 。

建议:在 分区键上添加过滤器以减少读取字节。

COVERAGE_PHOTON

Photon 无法加速此操作,因此查询使用标准运行时引擎。

建议: 审查 Photon 的限制 ,并调整查询以使用支持的执行路径。

EXPLODING_JOIN

联接生成的行数比读取的行要多得多。

建议: 确定您需要哪个结果子集,然后更新连接条件或减少两个关系中的输入行数。

FLOW_FULL_RECOMPUTE

流以完全重新计算的形式运行。

建议:重 写查询以获得 增量支持 以减少读取字节。

REDUNDANT_AGGREGATION

聚合操作未更改查询结果。

建议: 删除聚合或应用 主键和外键约束。

REDUNDANT_JOIN

外侧连接不会改变外侧的行数,且连接表中不使用任何列。

建议: 移除连接或应用 主键或唯一约束。

SELECTIVE_JOIN

联接生成的行明显少于读取的行数。

建议: 确定你需要哪个结果子集,然后在连接前添加筛选器以减少输入行。

WIDE_PROJECTION

查询 投影 表中的所有列。

建议:只对减少读取字节所需的列进行 Project。

数据布局洞察

CONCURRENT_WRITE

并发写入表会导致自动解决或失败 的冲突 。

建议:查看Delta 历史, 识别并发写入并调整调度以避免冲突。

COVERAGE_STATS_DELTA

表扫描文件过滤器缺少或未完成的差异数据跳跃统计信息,因此查询使用文件内过滤。

每个筛选器的统计信息状态可以是以下项之一:

  • 完整: 所有筛选器均可查看统计数据。
  • 部分 :部分筛选器提供了统计数据。
  • 不可用: 任何筛选器都无法提供统计数据。
  • 未使用: 无法使用统计信息,因为过滤器会转换数据类型。

建议:收集 Delta 统计数据 以减少读取字节。

COVERAGE_STATS_OPTIMIZER

基于成本的优化器 统计数据缺失或不完整,因此查询计划使用标准启发式算法。

建议:收集统计数据 ,以便优化器生成更好的计划。

DATA_FILE_SIZE

表扫描读取许多小文件,增加扫描时间。

Recommendations:

  • 在表格上启用 预测优化 ,自动优化文件大小。
  • 运行 OPTIMIZE 到压缩小文件。
  • 对于分区表,可以切换到液体聚类,因为预测优化无法在分区间压缩小文件。

DATA_SKEW

数据在计算资源之间分布不均衡。

建议:检查 数据分布,然后使用键加盐或预聚合来平衡工作负载。

MANUAL_DATA_LAYOUT

该表格是手动优化的,可以借助 自动液体聚类功能。

Recommendations:

  • 将表从外部切换 为 托管 表,以提升性能并实现自动维护。
  • 为自动维护操作在表上启用 预测优化 。
  • 在表上启用自动聚类分析以减少读取字节数。

计算和资源洞察

COMPUTE_SIZE

在无服务器计算上的作业或流水线达到了其计算对象的 速率上限 ,因此自动扩展器没有添加超出计算对象大小的 Spark 执行器。

建议: 在无服务器计算对象上运行作业或流水线,且体积较大。 如果你没有访问权限,请向工作区管理员请求访问权限,或者请他们增加当前计算对象的大小。

DATA_SPILL

在执行查询期间溢出到磁盘的数据,因为数据不适合内存。

建议: 增加仓库 大小 以增加内存。 减少行数、列数或大型列的大小(字符串、数组、映射、结构),以减少内存使用量。

EXCESSIVE_QUEUE_TIME

查询在 仓库 队列中等待。

建议: 增加仓库中最大 集群数量 以减少队列时间。

IO_THROTTLING

云存储请求被云提供商限制。

建议: 请联系您的管理员,向您的云服务提供商申请增加存储请求限制。

施加加速度

这些洞察描述了 Azure Databricks 在查询执行时已经应用的优化。 它们会显示在 性能洞察 标签页中,带有 加速标签 ,不需要操作。

AUTO_LIQUID_CLUSTERING

该查询读取的数据较少,因为它的表使用 了自动液体聚类。 Azure Databricks 会根据从工作负载中学习的键持续集群每个表,所以扫描会跳过无法匹配筛选条件的文件。 无需调优或手动分区。

HISTORY_BASED_JOIN_STRATEGY

Azure Databricks 利用之前类似查询运行的测量数据优化了该查询的连接。 它选择了广播连接,而不是根据你的工作负载历史在集群间重新分配数据。 无需更改查询。

METRIC_VIEW_MATERIALIZATION_MATCH

该查询返回更快,因为 Azure Databricks 是从预计算的物质化中提供结果,而不是从度量视图的实时源表重新计算结果。 当为度量视图定义了具体化时,优化器会自动匹配输入查询,并在可能的情况下提供预汇总结果。

SHORT_QUERY_PRIORITIZATION

尽管集群已满员,Azure Databricks 预测该查询会运行时间短,立即通过快速路径运行,而不是将其留在更重查询的队列中。 这样可以让交互式工作负载在负载下保持响应性。

其他资源

有关性能最佳做法的更广泛概述,请参阅 优化 Databricks、Spark 和 Delta Lake 工作负荷的综合指南。