优化和监视实时模式查询性能

本页介绍计算优化、减少端到端延迟的技术,以及实时模式下测量查询性能的方法。

计算调整

配置计算时,请考虑以下事项:

  • 与微批处理模式不同,实时任务在等待数据时可以保持空闲状态,因此正确调整大小对于避免浪费的资源至关重要。
  • 目标是通过调整实现群集利用率达到特定级别,比如50%:
    • maxPartitions (对于卡夫卡)
    • spark.sql.shuffle.partitions(对于 shuffle 阶段)
  • Databricks 建议设置 maxPartitions ,以便每个任务处理多个 Kafka 分区以减少开销。
  • 调整每个工作节点的任务位置,以匹配简单单阶段作业的工作负荷。
  • 对于 shuffle 密集型作业,请尝试找到避免积压的最小 shuffle 分区数,并据此进行调整。 如果计算没有足够的槽,它不会调度作业。

注释

从 Databricks Runtime 16.4 LTS 及更高版本开始,所有实时流水线都使用检查点 v2,以允许在实时模式和微批处理模式之间无缝切换。

延迟优化

从 Databricks Runtime 18 LTS 开始,结构化流实时模式默认启用以下技术以降低端到端延迟,因此无需配置:

  • 异步进度跟踪:将写入移动到偏移量和提交日志到异步线程中,减少无状态查询的批处理间时间。
  • 异步状态检查点:在计算完成后立即开始处理下一个微批处理,而无需等待状态检查点,从而减少有状态查询的延迟。

如果你明确设置了 asyncProgressTrackingEnabled 选项或 spark.databricks.streaming.statefulOperator.asyncCheckpoint.enabled 配置,那么你的设置优先。

监视和可观测性

在实时模式下,传统的批处理持续时间指标不会反映实际的端到端延迟。 使用以下方法准确测量延迟,并确定查询中的瓶颈。

端到端延迟特定于工作负荷,有时只能使用业务逻辑准确测量。 例如,如果源时间戳在 Kafka 中输出,则可以计算延迟,因为 Kafka 的输出时间戳与源时间戳之间的差异。

内置指标与 StreamingQueryProgress

该 StreamingQueryProgress 事件会自动记录在驱动程序日志中,并通过 StreamingQueryListener“ onQueryProgress() 回调函数”进行访问。 这样,便可以以编程方式对进度事件做出反应,例如,如果要将指标发布到外部监视系统。 QueryProgressEvent.json() 或 toString() 包括以下实时模式指标:

  1. 处理延迟(processingLatencyMs):从实时模式查询首次读取记录到开始将该记录写入 sink 所需的时间。 这包括所有处理阶段,但不包括写入接收端所花费的时间。
  2. 源队列延迟 (sourceQueuingLatencyMs):从系统将记录写入消息总线(如Kafka中的日志附加时间)到实时模式查询首次读取记录所需的时间。
  3. 端到端延迟(e2eLatencyMs):从系统将记录写入消息总线到实时模式查询开始将其写入 sink 的时间。 这不包括写入接收器所花费的时间。

Spark会将这些指标在所有处理记录中每批汇总,并以百分位分布形式报告。 JSON 进度事件在 latencies 下包含以下指标。 例如:

{
  "latencies": {
    "processingLatencyMs": {
      "P0": 0,
      "P50": 0,
      "P90": 0,
      "P95": 0,
      "P99": 0
    },
    "sourceQueuingLatencyMs": {
      "P0": 0,
      "P50": 1,
      "P90": 1,
      "P95": 2,
      "P99": 3
    },
    "e2eLatencyMs": {
      "P0": 0,
      "P50": 1,
      "P90": 1,
      "P95": 2,
      "P99": 4
    }
  }
}

监控任务利用率

用于 busyTimeFraction 判断 Spark 任务利用率是否限制了吞吐量。 接近1的值表示任务已被充分利用,查询可能需要更多计算。 数值越低,任务闲置或阻塞时间越多。 该指标范围为0到1,按阶段和任务报告。

在开始流查询前启用调试指标:

spark.conf.set("spark.databricks.streaming.execution.enableDebugMetrics", "true")

请使用以下方法之一来获取任务指标:

原始数据

开始或重新开始查询。 触发器完成后,打开查询单元下方的原始数据,然后在latencies下找到_taskMetrics。 下例展示了任务指标:

{
  "latencies": {
    "_taskMetrics": {
      "stage_0_task_0": {
        "busyTimeFraction": 0.03
      }
    }
  }
}

Python

触发器完成后,通过 lastProgress 访问 _taskMetrics:

import json

task_metrics = json.loads(query.lastProgress.json)["latencies"]["_taskMetrics"]
print(task_metrics)

使用观察 API 进行自定义延迟度量

使用观察 API 可以内联测量延迟,而无需启动单独的作业。 如果源时间戳近似于源数据到达时间,可以通过在接收器之前记录时间戳并计算差异来估计每批延迟。 结果显示在进度报告中,并供听众查看。

Python

from datetime import datetime

from pyspark.sql.functions import avg, col, lit, max, percentile_approx, udf, unix_millis
from pyspark.sql.types import TimestampType

@udf(returnType=TimestampType())
def current_timestamp():
  return datetime.now()

# Query before outputting
.withColumn("temp-timestamp", current_timestamp())
.withColumn(
  "latency",
  unix_millis(col("temp-timestamp")).cast("long") - unix_millis(col("timestamp")).cast("long"))
.observe(
  "observedLatency",
  avg(col("latency")).alias("avg"),
  max(col("latency")).alias("max"),
  percentile_approx(col("latency"), lit(0.99), lit(150)).alias("p99"),
  percentile_approx(col("latency"), lit(0.5), lit(150)).alias("p50"))
.drop(col("latency"))
.drop(col("temp-timestamp"))
# Output part of the query. For example, .WriteStream, etc.

Scala

import org.apache.spark.sql.functions.{avg, col, lit, max, percentile_approx, udf, unix_millis}

val currentTimestampUDF = udf(() => System.currentTimeMillis())

// Query before outputting
.withColumn("temp-timestamp", currentTimestampUDF())
.withColumn(
  "latency",
  col("temp-timestamp").cast("long") - unix_millis(col("timestamp")).cast("long"))
.observe(
  name = "observedLatency",
  avg(col("latency")).as("avg"),
  max(col("latency")).as("max"),
  percentile_approx(col("latency"), lit(0.99), lit(150)).as("p99"),
  percentile_approx(col("latency"), lit(0.5), lit(150)).as("p50"))
.drop(col("latency"))
.drop(col("temp-timestamp"))
// Output part of the query. For example, .WriteStream, etc.

示例输出:

"observedMetrics" : {
  "observedLatency" : {
    "avg" : 63.8369765176552,
    "max" : 219,
    "p99" : 154,
    "p50" : 49
  }
}

其他资源