本页介绍计算优化、减少端到端延迟的技术,以及实时模式下测量查询性能的方法。
计算调整
配置计算时,请考虑以下事项:
- 与微批处理模式不同,实时任务在等待数据时可以保持空闲状态,因此正确调整大小对于避免浪费的资源至关重要。
- 目标是通过调整实现群集利用率达到特定级别,比如50%:
-
maxPartitions(对于卡夫卡) -
spark.sql.shuffle.partitions(对于 shuffle 阶段)
-
- Databricks 建议设置
maxPartitions,以便每个任务处理多个 Kafka 分区以减少开销。 - 调整每个工作节点的任务位置,以匹配简单单阶段作业的工作负荷。
- 对于 shuffle 密集型作业,请尝试找到避免积压的最小 shuffle 分区数,并据此进行调整。 如果计算没有足够的槽,它不会调度作业。
注释
从 Databricks Runtime 16.4 LTS 及更高版本开始,所有实时流水线都使用检查点 v2,以允许在实时模式和微批处理模式之间无缝切换。
延迟优化
从 Databricks Runtime 18 LTS 开始,结构化流实时模式默认启用以下技术以降低端到端延迟,因此无需配置:
如果你明确设置了 asyncProgressTrackingEnabled 选项或 spark.databricks.streaming.statefulOperator.asyncCheckpoint.enabled 配置,那么你的设置优先。
监视和可观测性
在实时模式下,传统的批处理持续时间指标不会反映实际的端到端延迟。 使用以下方法准确测量延迟,并确定查询中的瓶颈。
端到端延迟特定于工作负荷,有时只能使用业务逻辑准确测量。 例如,如果源时间戳在 Kafka 中输出,则可以计算延迟,因为 Kafka 的输出时间戳与源时间戳之间的差异。
内置指标与 StreamingQueryProgress
该 StreamingQueryProgress 事件会自动记录在驱动程序日志中,并通过 StreamingQueryListener“ onQueryProgress() 回调函数”进行访问。 这样,便可以以编程方式对进度事件做出反应,例如,如果要将指标发布到外部监视系统。
QueryProgressEvent.json() 或 toString() 包括以下实时模式指标:
-
处理延迟(
processingLatencyMs):从实时模式查询首次读取记录到开始将该记录写入 sink 所需的时间。 这包括所有处理阶段,但不包括写入接收端所花费的时间。 -
源队列延迟 (
sourceQueuingLatencyMs):从系统将记录写入消息总线(如Kafka中的日志附加时间)到实时模式查询首次读取记录所需的时间。 -
端到端延迟(
e2eLatencyMs):从系统将记录写入消息总线到实时模式查询开始将其写入 sink 的时间。 这不包括写入接收器所花费的时间。
Spark会将这些指标在所有处理记录中每批汇总,并以百分位分布形式报告。 JSON 进度事件在 latencies 下包含以下指标。 例如:
{
"latencies": {
"processingLatencyMs": {
"P0": 0,
"P50": 0,
"P90": 0,
"P95": 0,
"P99": 0
},
"sourceQueuingLatencyMs": {
"P0": 0,
"P50": 1,
"P90": 1,
"P95": 2,
"P99": 3
},
"e2eLatencyMs": {
"P0": 0,
"P50": 1,
"P90": 1,
"P95": 2,
"P99": 4
}
}
}
监控任务利用率
用于 busyTimeFraction 判断 Spark 任务利用率是否限制了吞吐量。 接近1的值表示任务已被充分利用,查询可能需要更多计算。 数值越低,任务闲置或阻塞时间越多。 该指标范围为0到1,按阶段和任务报告。
在开始流查询前启用调试指标:
spark.conf.set("spark.databricks.streaming.execution.enableDebugMetrics", "true")
请使用以下方法之一来获取任务指标:
原始数据
开始或重新开始查询。 触发器完成后,打开查询单元下方的原始数据,然后在latencies下找到_taskMetrics。 下例展示了任务指标:
{
"latencies": {
"_taskMetrics": {
"stage_0_task_0": {
"busyTimeFraction": 0.03
}
}
}
}
Python
触发器完成后,通过 lastProgress 访问 _taskMetrics:
import json
task_metrics = json.loads(query.lastProgress.json)["latencies"]["_taskMetrics"]
print(task_metrics)
使用观察 API 进行自定义延迟度量
使用观察 API 可以内联测量延迟,而无需启动单独的作业。 如果源时间戳近似于源数据到达时间,可以通过在接收器之前记录时间戳并计算差异来估计每批延迟。 结果显示在进度报告中,并供听众查看。
Python
from datetime import datetime
from pyspark.sql.functions import avg, col, lit, max, percentile_approx, udf, unix_millis
from pyspark.sql.types import TimestampType
@udf(returnType=TimestampType())
def current_timestamp():
return datetime.now()
# Query before outputting
.withColumn("temp-timestamp", current_timestamp())
.withColumn(
"latency",
unix_millis(col("temp-timestamp")).cast("long") - unix_millis(col("timestamp")).cast("long"))
.observe(
"observedLatency",
avg(col("latency")).alias("avg"),
max(col("latency")).alias("max"),
percentile_approx(col("latency"), lit(0.99), lit(150)).alias("p99"),
percentile_approx(col("latency"), lit(0.5), lit(150)).alias("p50"))
.drop(col("latency"))
.drop(col("temp-timestamp"))
# Output part of the query. For example, .WriteStream, etc.
Scala
import org.apache.spark.sql.functions.{avg, col, lit, max, percentile_approx, udf, unix_millis}
val currentTimestampUDF = udf(() => System.currentTimeMillis())
// Query before outputting
.withColumn("temp-timestamp", currentTimestampUDF())
.withColumn(
"latency",
col("temp-timestamp").cast("long") - unix_millis(col("timestamp")).cast("long"))
.observe(
name = "observedLatency",
avg(col("latency")).as("avg"),
max(col("latency")).as("max"),
percentile_approx(col("latency"), lit(0.99), lit(150)).as("p99"),
percentile_approx(col("latency"), lit(0.5), lit(150)).as("p50"))
.drop(col("latency"))
.drop(col("temp-timestamp"))
// Output part of the query. For example, .WriteStream, etc.
示例输出:
"observedMetrics" : {
"observedLatency" : {
"avg" : 63.8369765176552,
"max" : 219,
"p99" : 154,
"p50" : 49
}
}