声明性自动化捆绑包最初基于 Databricks Terraform 提供程序 构建,用于管理部署。 但是,Databricks CLI 版本 0.279.0 及更高版本支持两个不同的部署引擎: terraform 和 direct。 直接部署引擎具有显著优势,不依赖于 Terraform。
默认情况下,使用 Databricks CLI 版本 1.3.0 及更高版本创建的新捆绑包使用直接部署引擎。 仍使用 Terraform 部署引擎的捆绑包会自动迁移到直接引擎,因此无需配置。 参见 “开始使用直接部署”。
为防止自动迁移,设置 bundle.engine: terraform 或 DATABRICKS_BUNDLE_ENGINE=terraform。 这会阻止所有 Databricks CLI 版本的自动迁移。 在 Databricks CLI 1.19 及以下版本中,仍然使用 Terraform 引擎。 在Databricks CLI版本1.20.0及以上版本中,这会导致错误。 请参阅 直接部署新捆绑包。
重要
在Databricks CLI版本1.20.0中,Terraform部署引擎被移除。 Databricks 的 CLI 仍然可以将带有 Terraform 状态的捆绑包自动迁移到直接引擎,但如果自动迁移失败,部署将被中止。 要继续使用 Terraform 部署引擎,请固定使用 Databricks CLI 1.19 版本。 参见 Terraform 部署引擎已移除。
直接部署优势
新的直接部署引擎使用 Databricks Go SDK ,具有以下优势:
- 更快的部署:捆绑部署的速度高达 40%。
-
更强大、更细致的验证和规划:“使用
bundle plan -o json获取更改的详细差异”可按字段报告详细信息,并说明是什么触发了特定操作。 -
可重播计划:
bundle deploy --plan plan.json执行先前创建的计划,确保只有批准的操作才能进入生产环境,并通过跳过计划计算来加快部署速度。 - 简单设置:避免防火墙、代理和自定义提供程序注册表的问题。
- 更多资源:支持更多资源,如目录、外部位置、AI搜索端点和Genie代理。
- 不可变文件夹:可以选择将资产部署到不可变只读文件夹,以便进行篡改保护和部署一致性。 参见不可变部署。
开始使用直接部署
直接部署引擎是使用 Databricks CLI 1.3.0 及以上版本创建的新捆绑包的默认配置。 在Databricks CLI版本1.14及以上版本中,使用Terraform引擎的包在部署时会自动迁移到直接引擎。
在Databricks CLI 1.8及以上版本中,你可以通过设置 engine: direct将捆绑包迁移到直接引擎。 请参阅 直接部署新捆绑包。
直接部署新捆绑包
要明确设置直接部署引擎,请执行以下任一操作:
在databricks.yml中设置
bundle.engine:bundle: engine: directDATABRICKS_BUNDLE_ENGINE设置环境变量并部署:DATABRICKS_BUNDLE_ENGINE=direct databricks bundle deploy -t my_target
如果同时设置了配置和环境变量,则配置优先。
部署引擎比较
新的直接部署引擎在很大程度上与 Terraform 部署引擎的表现相同,但存在一些差异。
资源状态差异计算
与维护单个资源状态(本地配置和远程状态混合)的 Terraform 不同,新引擎将保留这些独立状态,并且只记录其状态文件中的本地配置。
资源状态差异计算在两个步骤中完成:
- 本地捆绑包配置与用于最新部署的快照配置进行比较。 远程状态没有作用。
- 远程状态与用于最新部署的快照配置进行比较。
结果是:
-
databricks.yml资源更改永远不会被忽略,并且将始终触发更新。 - 实现未处理的资源字段不会触发不一致的结果错误。 这些资源由直接引擎成功部署,但这可能会导致偏移。 部署的资源在下一个计划或部署期间更新。
已删除配置设置
两个引擎以不同的方式处理从捆绑配置中删除的设置:
- 使用 Terraform 引擎时,从您的
databricks.yml中移除某个集合字段后,平台中的对应值将保持不变。 Terraform 仅管理配置中显式存在的字段,因此删除的字段会保留上次部署时它拥有的任何值。 - 使用直接引擎时,从您的
databricks.yml中删除已设置的字段会将该值恢复为该资源的默认值。 由于直接引擎将本地配置与上一快照进行比较,因此不再存在的字段被视为更改,并且资源将更新为下一部署中的默认值。
若要保留值,请在配置中显式设置该值,而不是依赖于以前部署的值。
资源替换查找
资源替换可用于解析资源 ID,例如${resources.jobs.my_job.id}。 请参阅 替换。 直接部署引擎中的资源替换解决方法由两个步骤执行:
- 指向本地配置中存在的字段的引用将解析为本地配置中提供的值。
- 本地配置中不存在的引用将从远程状态解析。 这是使用给定资源的相应
GET请求提取的状态。
用于解析 ${resource.*} 替换的模式在 refschema/output中的每个资源文件中。 标记为 ALL 和 STATE 的字段可用于本地解析。 可以用于远程解析的字段是那些标记为 ALL 或 REMOTE 的字段。
资源兼容性
以下资源需要直接部署引擎,Terraform 部署引擎不支持:
- 集群政策
- Unity Catalog 目录
- Unity Catalog 外部位置
- Unity Catalog 机密
- 特征视图
- 功能规格
- Genie 智能体
- 实例池
- 作业运行
- 物化集
- AI 搜索终结点
- MCP服务
- 模型提供者服务
- 模型服务
- Postgres 快照计划
此外,该lifecycle.started字段仅在直接部署引擎中可用,并且仅适用于apps和clusterssql_warehouses。 当设置为 true 时,它会以启动模式部署该资源。 请参阅 生命周期。