当查询运行时,Azure Databricks 会返回查询性能洞察,这些洞察会标记提升性能的机会,并报告已应用的优化。 每个洞察都包含一个你可以采取的建议,比如压缩小文件、收集统计数据或调整仓库规模。
为您的查询寻找洞察和推荐
见解显示在 查询历史记录 和 查询配置文件中。 查询详细信息面板显示见解摘要,按他们对总任务工期的估计影响进行排名。 查询配置文件中的 “性能见解 ”选项卡显示每个见解的完整详细信息。
使用 Genie Code 进行优化
当查询具有可操作见解时,请选择“ 优化 ”以打开 Genie Code。 对于需要查询更改的见解,Genie Code 将重写查询并呈现审批的更改。 对于涉及表或计算更改的见解,Genie Code 将建议的操作汇总为纯语言文本。
若要了解有关使用 Genie Code 的详细信息,请参阅 Genie Code。
查询优化洞察
COVERAGE_FILTER_KEYS_CLUSTERING
该表由表扫描期间筛选器中未使用的一个或多个键 聚集 。
建议:在 聚类键上添加过滤器以减少读取字节。
COVERAGE_FILTER_KEYS_PARTITIONING
该表由表扫描期间筛选器中未使用的一个或多个键 进行分区 。
建议:在 分区键上添加过滤器以减少读取字节。
COVERAGE_PHOTON
Photon 无法加速此操作,因此查询使用标准运行时引擎。
建议: 审查 Photon 的限制 ,并调整查询以使用支持的执行路径。
EXPLODING_JOIN
联接生成的行数比读取的行要多得多。
建议: 确定您需要哪个结果子集,然后更新连接条件或减少两个关系中的输入行数。
FLOW_FULL_RECOMPUTE
建议:重 写查询以获得 增量支持 以减少读取字节。
REDUNDANT_AGGREGATION
聚合操作未更改查询结果。
建议: 删除聚合或应用 主键和外键约束。
REDUNDANT_JOIN
外侧连接不会改变外侧的行数,且连接表中不使用任何列。
建议: 移除连接或应用 主键或唯一约束。
SELECTIVE_JOIN
联接生成的行明显少于读取的行数。
建议: 确定你需要哪个结果子集,然后在连接前添加筛选器以减少输入行。
WIDE_PROJECTION
查询 投影 表中的所有列。
建议:只对减少读取字节所需的列进行 Project。
数据布局洞察
CONCURRENT_WRITE
并发写入表会导致自动解决或失败 的冲突 。
建议:查看Delta 历史, 识别并发写入并调整调度以避免冲突。
COVERAGE_STATS_DELTA
表扫描文件过滤器缺少或未完成的差异数据跳跃统计信息,因此查询使用文件内过滤。
每个筛选器的统计信息状态可以是以下项之一:
- 完整: 所有筛选器均可查看统计数据。
- 部分 :部分筛选器提供了统计数据。
- 不可用: 任何筛选器都无法提供统计数据。
- 未使用: 无法使用统计信息,因为过滤器会转换数据类型。
建议:收集 Delta 统计数据 以减少读取字节。
COVERAGE_STATS_OPTIMIZER
基于成本的优化器 统计数据缺失或不完整,因此查询计划使用标准启发式算法。
建议:收集统计数据 ,以便优化器生成更好的计划。
DATA_FILE_SIZE
表扫描读取许多小文件,增加扫描时间。
Recommendations:
DATA_SKEW
数据在计算资源之间分布不均衡。
建议:检查 数据分布,然后使用键加盐或预聚合来平衡工作负载。
MANUAL_DATA_LAYOUT
该表格是手动优化的,可以借助 自动液体聚类功能。
Recommendations:
计算和资源洞察
COMPUTE_SIZE
在无服务器计算上的作业或流水线达到了其计算对象的 速率上限 ,因此自动扩展器没有添加超出计算对象大小的 Spark 执行器。
建议: 在无服务器计算对象上运行作业或流水线,且体积较大。 如果你没有访问权限,请向工作区管理员请求访问权限,或者请他们增加当前计算对象的大小。
DATA_SPILL
在执行查询期间溢出到磁盘的数据,因为数据不适合内存。
建议: 增加仓库 大小 以增加内存。 减少行数、列数或大型列的大小(字符串、数组、映射、结构),以减少内存使用量。
EXCESSIVE_QUEUE_TIME
查询在 仓库 队列中等待。
建议: 增加仓库中最大 集群数量 以减少队列时间。
IO_THROTTLING
云存储请求被云提供商限制。
建议: 请联系您的管理员,向您的云服务提供商申请增加存储请求限制。
施加加速度
这些洞察描述了 Azure Databricks 在查询执行时已经应用的优化。 它们会显示在 性能洞察 标签页中,带有 加速标签 ,不需要操作。
AUTO_LIQUID_CLUSTERING
该查询读取的数据较少,因为它的表使用 了自动液体聚类。 Azure Databricks 会根据从工作负载中学习的键持续集群每个表,所以扫描会跳过无法匹配筛选条件的文件。 无需调优或手动分区。
HISTORY_BASED_JOIN_STRATEGY
Azure Databricks 利用之前类似查询运行的测量数据优化了该查询的连接。 它选择了广播连接,而不是根据你的工作负载历史在集群间重新分配数据。 无需更改查询。
METRIC_VIEW_MATERIALIZATION_MATCH
该查询返回更快,因为 Azure Databricks 是从预计算的物质化中提供结果,而不是从度量视图的实时源表重新计算结果。 当为度量视图定义了具体化时,优化器会自动匹配输入查询,并在可能的情况下提供预汇总结果。
SHORT_QUERY_PRIORITIZATION
尽管集群已满员,Azure Databricks 预测该查询会运行时间短,立即通过快速路径运行,而不是将其留在更重查询的队列中。 这样可以让交互式工作负载在负载下保持响应性。
其他资源
有关性能最佳做法的更广泛概述,请参阅 优化 Databricks、Spark 和 Delta Lake 工作负荷的综合指南。