迁移到直接部署引擎

声明性自动化捆绑包最初基于 Databricks Terraform 提供程序 构建,用于管理部署。 但是,Databricks CLI 版本 0.279.0 及更高版本支持两个不同的部署引擎: terraform 和 direct。 直接部署引擎具有显著优势,不依赖于 Terraform。

默认情况下,使用 Databricks CLI 版本 1.3.0 及更高版本创建的新捆绑包使用直接部署引擎。 仍使用 Terraform 部署引擎的捆绑包会自动迁移到直接引擎,因此无需配置。 参见 “开始使用直接部署”。

为防止自动迁移,设置 bundle.engine: terraform 或 DATABRICKS_BUNDLE_ENGINE=terraform。 这会阻止所有 Databricks CLI 版本的自动迁移。 在 Databricks CLI 1.19 及以下版本中,仍然使用 Terraform 引擎。 在Databricks CLI版本1.20.0及以上版本中,这会导致错误。 请参阅 直接部署新捆绑包。

重要

在Databricks CLI版本1.20.0中,Terraform部署引擎被移除。 Databricks 的 CLI 仍然可以将带有 Terraform 状态的捆绑包自动迁移到直接引擎,但如果自动迁移失败,部署将被中止。 要继续使用 Terraform 部署引擎,请固定使用 Databricks CLI 1.19 版本。 参见 Terraform 部署引擎已移除。

直接部署优势

新的直接部署引擎使用 Databricks Go SDK ,具有以下优势:

  • 更快的部署:捆绑部署的速度高达 40%。
  • 更强大、更细致的验证和规划:“使用 bundle plan -o json 获取更改的详细差异”可按字段报告详细信息,并说明是什么触发了特定操作。
  • 可重播计划:bundle deploy --plan plan.json 执行先前创建的计划,确保只有批准的操作才能进入生产环境,并通过跳过计划计算来加快部署速度。
  • 简单设置:避免防火墙、代理和自定义提供程序注册表的问题。
  • 更多资源:支持更多资源,如目录、外部位置、AI搜索端点和Genie代理。
  • 不可变文件夹:可以选择将资产部署到不可变只读文件夹,以便进行篡改保护和部署一致性。 参见不可变部署。

开始使用直接部署

直接部署引擎是使用 Databricks CLI 1.3.0 及以上版本创建的新捆绑包的默认配置。 在Databricks CLI版本1.14及以上版本中,使用Terraform引擎的包在部署时会自动迁移到直接引擎。

在Databricks CLI 1.8及以上版本中,你可以通过设置 engine: direct将捆绑包迁移到直接引擎。 请参阅 直接部署新捆绑包。

直接部署新捆绑包

要明确设置直接部署引擎,请执行以下任一操作:

  • 在databricks.yml中设置 bundle.engine :

    bundle:
      engine: direct
    
  • DATABRICKS_BUNDLE_ENGINE设置环境变量并部署:

    DATABRICKS_BUNDLE_ENGINE=direct databricks bundle deploy -t my_target
    

如果同时设置了配置和环境变量,则配置优先。

部署引擎比较

新的直接部署引擎在很大程度上与 Terraform 部署引擎的表现相同,但存在一些差异。

资源状态差异计算

与维护单个资源状态(本地配置和远程状态混合)的 Terraform 不同,新引擎将保留这些独立状态,并且只记录其状态文件中的本地配置。

资源状态差异计算在两个步骤中完成:

  1. 本地捆绑包配置与用于最新部署的快照配置进行比较。 远程状态没有作用。
  2. 远程状态与用于最新部署的快照配置进行比较。

结果是:

  • databricks.yml 资源更改永远不会被忽略,并且将始终触发更新。
  • 实现未处理的资源字段不会触发不一致的结果错误。 这些资源由直接引擎成功部署,但这可能会导致偏移。 部署的资源在下一个计划或部署期间更新。

已删除配置设置

两个引擎以不同的方式处理从捆绑配置中删除的设置:

  • 使用 Terraform 引擎时,从您的 databricks.yml 中移除某个集合字段后,平台中的对应值将保持不变。 Terraform 仅管理配置中显式存在的字段,因此删除的字段会保留上次部署时它拥有的任何值。
  • 使用直接引擎时,从您的 databricks.yml 中删除已设置的字段会将该值恢复为该资源的默认值。 由于直接引擎将本地配置与上一快照进行比较,因此不再存在的字段被视为更改,并且资源将更新为下一部署中的默认值。

若要保留值,请在配置中显式设置该值,而不是依赖于以前部署的值。

资源替换查找

资源替换可用于解析资源 ID,例如${resources.jobs.my_job.id}。 请参阅 替换。 直接部署引擎中的资源替换解决方法由两个步骤执行:

  1. 指向本地配置中存在的字段的引用将解析为本地配置中提供的值。
  2. 本地配置中不存在的引用将从远程状态解析。 这是使用给定资源的相应 GET 请求提取的状态。

用于解析 ${resource.*} 替换的模式在 refschema/output中的每个资源文件中。 标记为 ALL 和 STATE 的字段可用于本地解析。 可以用于远程解析的字段是那些标记为 ALL 或 REMOTE 的字段。

资源兼容性

以下资源需要直接部署引擎,Terraform 部署引擎不支持:

此外,该lifecycle.started字段仅在直接部署引擎中可用,并且仅适用于apps和clusterssql_warehouses。 当设置为 true 时,它会以启动模式部署该资源。 请参阅 生命周期。