无服务器作业和流水线以以下性能模式之一运行:
- 性能优化模式(默认):Azure Databricks 会保持一个热计算库,因此工作负载通常在不到一分钟内启动,并在需要时迅速获得更多计算。 在开发和测试期间,或在标准模式无法满足完成度或数据新鲜度要求时,使用此模式获得快速反馈。
- 标准模式:工作负载通常在 4 到 6 分钟内启动,并占用较少的 Databricks 单元(DBU)。 当代表性运行满足完成度和数据新鲜度要求时,评估此模式用于计划和批量工作。
您可以为每个作业和每个管道计划选择模式。 要查找标准模式能节省最多的工作负载,请参阅 “查找作业和流水线以切换到标准模式”。
本页比较了两种模式,解释如何选择和设置模式,并展示如何查看运行使用的模式及其费用。
Note
标准模式是无服务器计算的性能设置。 这和经典计算的 标准访问模式 无关。
比较性能模式
下表比较了两种性能模式:
| 性能优化模式(默认) | 标准模式 | |
|---|---|---|
| 启动时间 | 通常不到一分钟。 Azure Databricks 让计算保持热状态,为工作负载做好准备。 | 通常需要4到6分钟,具体取决于计算可用性。 |
| 运行时间 | 对于可扩展的工作负载来说,会更短,因为计算是从暖容量中添加的。 | 对于扩展工作负载来说,时间可能会更长,因为计算的添加速度较慢。 |
| 费用 | 在相同工作负载下消耗更多 DBU,以换取快速且可预测地启动。 | 在相同工作负载下,以相同的 DBU 价格和相同的 SKU 消耗更少的 DBU。 |
| 最适用于 | 需要快速反馈的互动式工作和开发,以及标准模式无法满足完成度或数据新鲜度要求的生产工作负载。 | 计划和批量工作,满足完成度和数据新鲜度要求,同时启动和扩展速度较慢,如每晚批处理作业、回填和一次性加载。 |
性能优化模式是无服务器作业和管道的默认设置,无论你是在 UI、API 中创建、通过声明式自动化包、使用 Terraform 还是通过 SDK 创建它们。 根据表定义按计划运行的物化视图和流表的刷新有其独立设置,默认为标准模式。 请参阅 选择计划刷新的性能模式。
两种模式都在同一个无服务器运行时上运行您的工作负载,并产生相同的结果。 有关价格,请参见 Lakeflow Jobs 定价页面。
为您的工作负载选择一种模式
性能优化模式为默认设置。 对于计划批处理,Databricks 建议评估标准模式以降低成本。 当代表性运行(包括启动和扩展时间)满足工作负载的完成和数据新鲜度要求时,选择标准模式。 例如,如果一个夜间作业在下游仪表板需要其结果之前完成,就可以使用标准模式。
对以下工作负载使用性能优化模式:
- 交互式工作,比如 ad hoc 运行时会用 Run Now 运行,然后让用户从应用或通过 API 调用启动。
- 在这些领域,快速反馈至关重要,对作业和管道进行开发、测试和验证。
- 其服务级别协议、数据新鲜度目标或下游消费者需要比标准模式更快交付结果的工作负载。
- 由文件到达触发器或表更新触发器启动的作业,其目标是及时处理新数据。
- 每隔几分钟运行一次的作业,如果启动较慢,可能会延迟或排队下一次运行。
- 短任务中启动时间占总运行时间的很大比例,且快速完成非常重要。
- 需要更快扩展以满足完成要求的工作负载。
标准模式非常适合以下工作负载:
- 在标准模式下,满足完成度和数据新鲜度要求的夜间、小时及其他预定批处理作业。
- 在更新完成、用户需要结果之前按计划刷新表的管道。
- 回填和一次性数据加载。
- 当标准模式满足下游完成要求时,外部编排器按计划触发的作业。
性能模式设置不适用于交互式无服务器笔记本。
性能模式是作业级别的设置。 如果作业将时间敏感的任务和可以等待的任务混合在一起,请将任务拆分成不同的作业。 要将这些作业协调起来,请使用运行作业任务。 运行作业任务运行的作业使用其自身的性能模式。
在现有作业上尝试标准模式
要在对作业作出承诺之前衡量标准模式对该作业的影响,请执行以下操作:
- 将作业切换到标准模式。 参见“将作业切换到标准模式”。
- 让作业按正常时间表进行多次代表性运行。
- 将每次运行的 DBU 数和完成时间(包括启动)与切换前的运行进行比较。 检查该作业是否仍满足完成要求和数据新鲜度要求。 参见 衡量每种模式的成本。
- 如果作业不再满足其延迟要求,请将其切回性能优化模式。 这一更改适用于下一次运行。
使用作业的计划运行进行比较。 生产作业的额外手动运行可能会写入重复数据。
按工作负载类型支持性能模式
您可以直接为以下类型的无服务器计算工作负载配置性能模式:
- 无服务器笔记本、Python脚本、Python wheel、JAR 和 dbt 任务,包括任务使用
dbutils.notebook.run()运行的笔记本。 - 无服务器管道由管道任务运行。
- 对 SQL 任务启动的物化视图和流表,或 SQL 仓库上的笔记本或 dbt 任务启动时的刷新。 该模式不会改变 SQL 仓库。
以下工作负载以性能优化模式运行:
- 您手动启动的已触发的管道更新。 例外是选择性全刷新,可以以标准模式运行。 参见 “将管道切换到标准模式”。
- 使用流水线内置连续模式的流水线 要选择模式,请使用连续作业运行管道。 参见“将管道切换到标准模式”。
对于以下工作负载,您需要在作业设置以外的地方设置性能模式:
- 使用作业 API
runs/submit操作创建的一次性运行。 要设置性能模式,请在请求正文中设置performance_target。 如果省略参数,运行将使用性能优化模式。 - 物化视图和流式表会通过表定义按计划刷新。 要设置性能模式,请在目录资源管理器中更新刷新计划。 这些刷新默认使用标准模式。 设置这些刷新的模式仍处于 Beta 阶段。 要使用它,工作区管理员必须在预览页面上启用用于实体化视图和流式表的系统管理作业预览。 请参阅“管理 Azure Databricks 预览版”并“选择定时刷新的性能模式”。
性能模式不适用于交互式无服务器笔记本、在经典计算、SQL 仓库上运行的任务,或在 AI 运行时运行的任务。
将作业切换到标准模式
Note
- 要更改作业的性能模式,您需要该作业的 CAN MANAGE 权限。
- 要在 Declarative Automation Bundles 中设置模式,您需要 Databricks CLI 版本 0.241.0 或更高。
你为每个作业设置性能模式。 该模式适用于作业中的所有无服务器任务,并且对保存后开始的运行有所变化。
UI
要在作业界面中将作业切换为标准模式,请执行以下操作:
- 在您的工作区中,单击
,在侧栏中选择作业和管道。
- 点击作业名称。
- 在 “作业详细信息 ”窗格中,关闭 性能优化。
性能优化 在 作业详细信息 窗格中显示为关闭,且在更改后启动的运行请使用标准模式。
要切换回性能优化模式,请开启 “性能优化”。 只有当作业至少包含一个该模式适用的任务时,您才能更改该设置。 参见 按工作负载类型支持性能模式。
您还可以为单次运行选择模式:
- 立即以不同设置运行:在您选择的模式下运行该作业一次,而不更改该作业。 请参阅 运行具有不同设置的作业。
- 修复运行:默认情况下,修复使用与其所修复的运行相同的模式。 您可以选择不同的维修模式。 请参阅重新运行失败的和跳过的任务。
当您从笔记本中为笔记本设置计划时,请在计划对话框中选择模式。 请参阅创建和管理计划的笔记本作业。
声明性自动化捆绑包
要为捆绑中的作业使用标准模式,请在作业资源上设置 performance_target 。 以下示例使用标准模式,并在目标中使用性能优化模式 dev 以实现开发过程中更快的反馈:
resources:
jobs:
nightly_etl:
name: nightly_etl
performance_target: STANDARD
tasks:
- task_key: transform
notebook_task:
notebook_path: ../src/transform.ipynb
targets:
dev:
resources:
jobs:
nightly_etl:
performance_target: PERFORMANCE_OPTIMIZED
如果省略 performance_target,作业将使用性能优化模式。 有关作业资源和目标覆盖的更多信息,请参见 作业 和 使用目标设置覆盖。
REST API
要将现有作业切换到标准模式,请在 performance_target 中使用 调用 new_settings。 以下示例假设 DATABRICKS_HOST 和 DATABRICKS_TOKEN 环境变量已设置,如“ 执行个人访问令牌身份验证”中所述:
curl -X POST "$DATABRICKS_HOST/api/2.2/jobs/update" \
-H "Authorization: Bearer $DATABRICKS_TOKEN" \
-H "Content-Type: application/json" \
-d '{
"job_id": 123456789,
"new_settings": {
"performance_target": "STANDARD"
}
}'
以下列表介绍了 performance_target 在其他请求中的工作方式:
-
创建作业:设置新作业的模式。 如果省略字段,作业将使用
PERFORMANCE_OPTIMIZED。 -
重置作业:替换所有作业设置。 要保持标准模式,请在新设置中加入
performance_target。 - 立即运行 并 修复一次运行:仅设置该次运行的模式。
-
提交一次性运行:设置运行模式。 如果省略字段,运行则使用
PERFORMANCE_OPTIMIZED。
Databricks 命令行界面 (CLI)
要将现有作业切换到标准模式,请 databricks jobs update 在 JSON 请求体中使用作业 ID:
databricks jobs update --json '{"job_id": 123456789, "new_settings": {"performance_target": "STANDARD"}}'
若要在标准模式下运行一次作业而不更改作业,请运行以下操作:
databricks jobs run-now 123456789 --performance-target STANDARD --no-wait
Python SDK
要使用 Python 版 Databricks SDK 将一个或多个现有作业切换到标准模式,请运行以下操作:
from databricks.sdk import WorkspaceClient
from databricks.sdk.service import jobs
w = WorkspaceClient()
# Replace with the IDs of the jobs to switch to standard mode.
job_ids = [123456789, 234567890]
for job_id in job_ids:
w.jobs.update(
job_id=job_id,
new_settings=jobs.JobSettings(performance_target=jobs.PerformanceTarget.STANDARD),
)
Terraform
若要使用标准模式管理使用 Databricks Terraform 提供程序管理的作业,请在资源databricks_job上设置performance_target:
resource "databricks_job" "nightly_etl" {
name = "nightly_etl"
performance_target = "STANDARD"
task {
task_key = "transform"
notebook_task {
notebook_path = "/Workspace/Users/someone@example.com/transform"
}
}
}
如果捆绑包或 Terraform 部署了作业,请更改配置中的模式。 下一次部署会覆盖您在用户界面或 API 中所做的更改。 捆绑包部署的作业在作业界面中为只读。
将管道切换为标准模式
无服务器管道使用运行它的作业的性能模式。 当您从管道页面调度流水线时,计划会创建一个作业,因此您可以在排程中选择模式。
要创建使用标准模式的管道计划,请执行以下操作:
- 在您的工作区中,单击
,在侧栏中选择作业和管道。
- 点击管道名称。
- 单击“日程”。 如果管道已有排程,点击 “添加排程”。
- 配置触发器和作业名称。 参见 “使用管道 UI 安排管道”。
- 取消选中“ 性能优化 ”复选框。
- 单击 “创建” 。
该计划创建一个以标准模式运行管道的作业。 要确认,请打开该作业,并在“作业详细信息”窗格中检查性能优化是否已关闭。
要更改现有计划或运行该管道的其他作业的模式,请将该作业切换为标准模式。 参见 “将作业切换到标准模式”。
您手动启动的触发流水线更新,例如在流水线页面上的 启动 ,将以性能优化模式运行。 选择性全刷新可以在标准模式下运行。 选择要刷新的表后,点击“立即运行并使用不同设置”,开启“全表刷新运行管道”,并关闭性能优化。
使用流水线内置连续模式的连续流水线会以性能优化模式运行,且无法更改其模式。 要在标准模式下运行连续流水线,请运行连续作业,并关闭该作业的性能优化。 连续作业在其运行重启时会进入一个新模式。 要立即应用更改,请点击 “重新启动运行”。 参见 “使用连续作业运行连续流水线 ”和 “连续运行作业”。
对于通过表定义按计划刷新的物化视图和流表,请在目录资源管理器中设置刷新计划的模式。 请参阅 选择计划刷新的性能模式。
检查运行所使用的模式
运行所使用的模式可能与作业的设置不同。 例如,你可以为单次运行选择不同的模式,而该模式不适用于某些任务类型。 要查看运行使用了哪种模式,请使用以下任一方法:
- Jobs UI:打开运行。 在 作业运行详细信息 页面,详细信息窗格显示性能 优化 模式为 启用 ,标准模式显示 为禁用 。 任务运行详细信息页面显示每个任务的相同字段。
-
作业 API:
effective_performance_target获取单个作业运行响应中的字段显示该运行所使用的模式。 -
系统表:
product_features.performance_target计费使用系统表中的列记录无服务器作业和管道的模式。 对于作业触发的流水线更新,流水线更新时间轴表中的trigger_details.job_task.performance_target列也会记录该模式。
衡量每种模式的成本
使用 计费使用系统表 查找需要切换的工作负载,并衡量标准模式可节省多少费用。 使用记录可能需要数小时才能显示在表格中。 本节查询使用标价,因此成本不反映折扣。
查找作业和流程以切换到标准模式
以下查询列出了过去 30 天内使用性能优化模式的无服务器作业和流水线,按列表成本排序。 当代表性运行(包括启动和扩展时间)满足其完成度和数据新鲜度要求时,位于结果顶端的工作负载是标准模式的良好候选对象。
SELECT
u.workspace_id,
u.billing_origin_product AS product,
u.usage_metadata.job_id AS job_id,
u.usage_metadata.dlt_pipeline_id AS pipeline_id,
MAX(u.usage_metadata.job_name) AS job_name,
COUNT(DISTINCT u.usage_metadata.job_run_id) AS job_runs,
SUM(u.usage_quantity) AS dbus,
SUM(u.usage_quantity * lp.pricing.default) AS list_cost
FROM system.billing.usage AS u
INNER JOIN system.billing.list_prices AS lp
ON u.cloud = lp.cloud
AND u.sku_name = lp.sku_name
AND u.usage_start_time >= lp.price_start_time
AND (u.usage_end_time <= lp.price_end_time OR lp.price_end_time IS NULL)
WHERE
u.billing_origin_product IN ('JOBS', 'DLT')
AND u.product_features.is_serverless
AND u.product_features.performance_target = 'PERFORMANCE_OPTIMIZED'
AND u.usage_unit = 'DBU'
AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY
u.workspace_id,
u.billing_origin_product,
u.usage_metadata.job_id,
u.usage_metadata.dlt_pipeline_id
ORDER BY list_cost DESC
LIMIT 50
要切换作业运行所在的流水线,请切换作业。 参见 “将作业切换到标准模式”。
比较作业在切换前后使用情况
作业在两种模式下运行后,以下查询比较其任务在每种模式下每次运行所消耗的 DBU。 用作业的 ID 替换 <job-id> :
SELECT
u.product_features.performance_target AS performance_mode,
COUNT(DISTINCT u.usage_metadata.job_run_id) AS runs,
SUM(u.usage_quantity) AS dbus,
SUM(u.usage_quantity) / COUNT(DISTINCT u.usage_metadata.job_run_id) AS dbus_per_run
FROM system.billing.usage AS u
WHERE
u.billing_origin_product = 'JOBS'
AND u.product_features.is_serverless
AND u.usage_unit = 'DBU'
AND u.usage_metadata.job_id = '<job-id>'
AND u.usage_date >= DATEADD(day, -30, current_date())
GROUP BY ALL
查询仅统计计费到作业的使用量(JOBS)。 管道任务按管道使用量DLT计费,因此结果中不包括它们。 要比较某个管道任务运行的管道,请改为在 u.usage_metadata.dlt_pipeline_id = '<pipeline-id>' 和 u.billing_origin_product = 'DLT' 上进行筛选,然后统计 u.usage_metadata.dlt_update_id 而不是 u.usage_metadata.job_run_id。
每次运行的 DBU 消耗还取决于每次运行处理的数据量,因此比较处理数据量相近的运行。 要比较运行时长,请打开作业并查看其运行记录。 请参阅 监控 Lakeflow 作业。
要报告所有作业和管道中按模式划分的 DBU 消耗情况,请参阅 “报告性能模式所消耗的 DBU”。
关于无服务器性能模式的常见问题(FAQ)
标准模式的价格有不同吗?
No. 两种模式都以相同的SKU按每个DBU的价格计费。 标准模式成本较低,因为它消耗的 DBU 更少。
我可以为工作区中的所有作业设置默认模式吗?
No. 您可以为每个作业和每个管道计划设置模式。 要切换多个作业,可以使用 Jobs API、Python 版 Databricks SDK、声明式自动化捆绑包或 Terraform。 参见 “将作业切换到标准模式”。
同一作业中的任务可以使用不同的模式吗?
No. 该模式适用于整个作业。 要在每种模式下运行某些任务,请将这些任务分别放在单独的作业中,并使用“运行作业”任务来编排这些作业。
模式更改何时生效?
更改适用于在你保存之后开始的运行。 正在进行中的运行会保持其启动时的模式。 对于连续作业,点击 “重新启动运行” 以立即应用更改。
为什么某次运行使用了与其作业不同的模式?
运行可能以仅适用于该次运行的某种模式启动,例如通过 使用不同设置立即运行、修复,或者在立即运行请求中使用 performance_target。 要检查运行所使用的模式,请参阅 查看运行所使用的模式。
为什么一个作业用的是标准模式,而我没选它?
直到 2025 年 9 月,标准模式一直是您在 UI 中创建的新无服务器作业和流水线计划的默认设置。 UI在更改前以标准模式创建的作业会保持该模式,直到你更改它。 详见 2025年9月发布说明。 要将作业切换到性能优化模式,请参阅 “将作业切换到标准模式”。
为什么我的任务在标准模式下启动需要超过6分钟?
标准模式下的启动时间取决于计算可用性,并且每次运行时都会有所不同。 四到六分钟是正常的,但不是上限。 如果作业需要一个可预测的启动时间,请使用性能优化模式。
对于外部工具触发的作业,我可以用标准模式吗?
Yes. 在作业中设置模式,让工具以“立即运行”触发作业。 如果工具使用 runs/submit 提交一次性运行,则运行将使用性能优化模式,除非请求设置了 performance_target。