Databricks 支持生命周期

作为Azure Databricks创新承诺的一部分,平台和运行时功能可能会被新功能停用并取代。 Databricks Runtime 版本也会按常规计划进行停用和替换。 此页面列出了停用阶段,以及有关平台功能和 Databricks Runtime 版本的相应支持的详细信息。 它还包括用于检测使用遗留 Databricks Runtime 版本的群集和作业的 SQL 查询。

有关预览和发布类型的信息,请参阅 Azure Databricks 预览版。

平台功能生命周期

下表介绍了Azure Databricks平台功能停用阶段:

阶段 说明 支持 迁移说明
遗留 该功能仍然可用,但有更新、更好的功能或方法来完成此功能提供的任务。 此标签指示将在未来某个日期停用。 已满。 支持和文档可用。 建议迁移到新的替代功能或完成任务的新方法,但不需要立即迁移。
已弃用 该功能不再处于积极开发状态。 将不再发布更新。 该功能即将停用,因此你需要制定一个计划来停止使用该功能并过渡到替代功能。 已满。 该功能不再更新,但支持和文档仍可用。 强烈建议迁移到新的替换功能或完成任务的新方法,因为重要的更新将不再适用。
终止支持 (EoS) 该功能不再处于积极开发阶段,并且不再提供正式支持。 无。 文档可能仍然存在,但已存档,不再进行维护。 急需迁移到新的替换功能或完成任务的新方法,因为重要更新不再适用,并且不再提供对可能出现的问题的支持。
产品生命周期结束 (EoL) 此功能已从 Databricks 产品中完全移除。 无 必须迁移到新的替换功能或完成任务的新方法,因为该功能不再可用。 此时,迁移可能非常困难。

Databricks Runtime 支持生命周期

每个 Databricks Runtime 版本都会先发布一个供早期评估的 Beta 版,然后再正式发布为正式可用版本(GA)。 在正式发布 (GA) 功能开发阶段(约六个月),Azure Databricks 会在同一版本号下发布新功能和修复。 群集在重启时接收更新。 功能开发阶段结束后,版本转为长期支持(LTS),并接受稳定性和安全修复,直到支持终止日期,即GA发布日期后三年。 有关支持的版本,请参阅 Databricks Runtime 发行说明版本和兼容性。

不支持的 Databricks Runtime 版本的工作负荷可能会继续运行,但Azure Databricks不提供支持或修复。

注释

在 Databricks Runtime 19 之前,Azure Databricks发布运行时作为次要功能版本(例如 18.0、18.1、18.2),每个版本都有自己的 Beta 版和 GA 版本。

阶段 说明
Beta 可在正式发布 (GA) 前进行早期评估。 不建议用于生产用途。 不支持 SLA。
GA(功能开发) 提供了重大稳定性和安全修复。
Azure Databricks在功能开发阶段的相同版本号下发布新功能和修补程序,持续约六个月。
受支持的版本发布在 受支持的 Databricks Runtime 版本。
LTS 功能开发阶段结束后,版本将转换为长期支持(LTS)。 主要的稳定性和安全修复会被向后移植,并持续到支持结束日期为止,也就是正式发布后三年。
支持的 LTS 版本在 支持的 Databricks Runtime 版本中发布。
终止支持 (EoS) 如果版本不受支持:
  • 在这些版本上运行的工作负荷不会获得 Databricks 支持。
  • 修复程序没有被向后移植。
  • 创建或更新计算资源时,它不再能够通过 UI 进行选择。 在生命周期结束之前,你仍可以通过创建群集 API 使用它创建计算资源。

对于LTS版本,支持终止日期是在GA发布日期后三年。 对于非LTS版本(Databricks Runtime 18.x及更早版本),支持终止日期为GA发布日期后六个月。
已在终止支持 Databricks Runtime 发行说明中发布不支持的版本。
产品生命周期结束 (EoL) 一旦版本到达生命周期结束,它就会从Azure Databricks环境中删除,并且它变得不可用。 无法启动新工作负载,并且这些版本上运行的现有工作负荷会失败。 必须将工作负荷迁移到受支持的运行时版本。
Azure Databricks 尽最大努力将生命周期结束日期设定为支持终止日期之后六个月。 但是,Databricks 保留在支持结束后随时完全删除发布版本的权利,而无需事先通知。

检测旧版 Databricks Runtime 集群

此临时视图汇总了运行 Databricks Runtime 版本 10.4 或更低版本的群集的 Databricks Runtime 群集使用情况。 它聚合过去 90 天的使用情况,包括工作区信息、群集标识符、Databricks Runtime 版本、使用情况单位和 Databricks 单元(DBU)的总使用量。

创建 legacy_dbrs 视图
CREATE OR REPLACE TEMP VIEW legacy_dbrs AS
WITH clusters_dbr_versions AS (
  SELECT
    account_id,
    workspace_id,
    cluster_id,
    cluster_name,
    owned_by,
    dbr_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 1) AS INT) AS major_version,
    TRY_CAST(regexp_extract(dbr_version, '(\\d+)\\.(\\w+)?(?:\\.(\\w+))?', 2) AS INT) AS minor_version,
    ROW_NUMBER() OVER(PARTITION BY account_id, workspace_id, cluster_id ORDER BY change_time DESC) AS rnk
  FROM
    system.compute.clusters
  QUALIFY rnk=1
),
usage AS (
  SELECT
    account_id,
    workspace_id,
    usage_metadata.cluster_id AS cluster_id,
    usage_unit,
    ROUND(SUM(usage_quantity), 2) AS total_usage_dbu,
    MAX(usage_date) as last_seen_date
  FROM
    system.billing.usage
  WHERE
    usage_metadata.cluster_id IS NOT NULL AND
    usage_date > CURRENT_DATE() - INTERVAL 90 DAYS
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
)
SELECT
  cdv.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  cdv.cluster_name,
  cdv.cluster_id,
  cdv.owned_by,
  cdv.dbr_version,
  total_usage_dbu,
  usage_unit,
  last_seen_date
FROM
  clusters_dbr_versions cdv
    INNER JOIN usage u USING (workspace_id, cluster_id)
    LEFT JOIN workspace_info wi USING (workspace_id)
WHERE
  major_version < 10 OR (major_version = 10 AND minor_version < 4)
GROUP BY ALL
ORDER BY
  workspace_id, total_usage_dbu DESC;

若要查看每个群集的旧 Databricks Runtime 使用情况,请查询刚刚创建的视图。

SELECT * FROM legacy_dbrs;

若要查看跨工作区和 Databricks Runtime 版本的聚合群集使用情况,请使用以下查询。 这有助于确定哪些 Databricks Runtime 版本仍在使用、运行每个版本的群集数以及 DBU 中的总使用量。

SELECT
  dbr_version,
  workspace_id,
  COUNT(DISTINCT cluster_id) total_clusters,
  SUM(total_usage_dbu)  AS total_usage_dbu
FROM legacy_dbrs
GROUP BY dbr_version, workspace_id
ORDER BY dbr_version, workspace_id

检测旧版 Databricks Runtime 作业

使用此查询可检索过去 90 天内执行的所有作业,其中最近的运行使用了早于 10.4 的 Databricks Runtime 版本。 这有助于识别需要升级的工作负荷。

使用旧版本 DBR 的查询作业
%sql
with latest_jobs AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, job_id ORDER BY change_time DESC) as rn
  FROM system.lakeflow.jobs
  QUALIFY rn=1
),
latest_clusters AS (
  SELECT
    *,
    ROW_NUMBER() OVER(PARTITION BY workspace_id, cluster_id ORDER BY change_time DESC) as rn
  FROM system.compute.clusters
  QUALIFY rn=1
),
job_tasks_exploded AS (
  SELECT
    workspace_id,
    job_id,
    EXPLODE(compute_ids) as cluster_id
  FROM system.lakeflow.job_task_run_timeline
  WHERE period_start_time >= CURRENT_DATE() - INTERVAL 90 DAY AND ARRAY_SIZE(compute_ids) > 0
  GROUP BY ALL
),
workspace_info AS (
  SELECT
    account_id,
    workspace_id,
    workspace_name,
    workspace_url
  FROM
    system.access.workspaces_latest
),
clusters_with_dbr AS (
  SELECT
    t1.*,
    t2.cluster_name,
    t2.owned_by,
    t2.dbr_version
  FROM job_tasks_exploded t1
    INNER JOIN latest_clusters t2 USING (workspace_id, cluster_id)
)
SELECT
  wi.account_id,
  wi.workspace_id,
  wi.workspace_name,
  wi.workspace_url,
  latest_jobs.name,
  cwd.job_id,
  cwd.cluster_id,
  cwd.cluster_name,
  cwd.dbr_version
 FROM clusters_with_dbr cwd
 JOIN workspace_info wi ON cwd.workspace_id = wi.workspace_id
 LEFT JOIN latest_jobs USING (workspace_id, job_id)
 WHERE dbr_version RLIKE '^([1-9]\\.|10\\.[0-3]\\.)'