使用 声明式自动化捆绑包 来调度AI运行时GPU工作负载,并将其与其他工作结合起来,比如上游数据准备。 在 YAML 中定义工作负载及其调度,然后将它们作为一个作业部署。 对于训练流水线,先对CPU计算运行预处理,数据准备好后再开始GPU训练。
本指南从打印“Hello world”的工作负载开始,然后构建计划中的预处理和训练流水线。 如果你已经有 AI 运行时工作负载 YAML,请参见 将 AI 运行时工作负载转换为捆绑包。
工作原理
- 一个 Bundle 包含你的代码和一个
databricks.yml配置。 - 作业用于将任务分组并定义它们的运行时间。
-
ai_runtime_task会在AI运行时运行你的命令。
该 depends_on 字段将任务连接成有向无环图(DAG),而 schedule 字段用于按固定频率调度你的作业运行。
databricks bundle deploy 上传代码并创建或更新作业。
databricks bundle run 立即开始执行任务。 每次运行时,AI 运行时会配置GPU计算,执行你的命令,并在命名的MLflow实验中记录运行过程。
Requirements
- 支持区域中的工作区。 参见 要求。
- 最新的 Databricks CLI,已 通过身份验证并连接到你的工作区。 在使用这些例子之前,先更新现有安装。
- 对于预处理示例,需要一个现有的 Unity Catalog 卷。 该作业运行的身份要求具有对该卷的
USE CATALOG、USE SCHEMA、READ VOLUME和WRITE VOLUME权限。 请参阅 Unity Catalog 卷的特权。
带有 ai_runtime_task 的 Hello World 示例
这个例子在一块 A10 GPU 上运行一个 shell 命令。
为包创建一个目录。 在该目录中,创建
command.sh,内容如下:#!/usr/bin/env bash set -euo pipefail echo "Hello world"在同一目录中创建
databricks.yml:bundle: name: hello-ai-runtime resources: jobs: hello: name: hello-ai-runtime tasks: - task_key: hello environment_key: default ai_runtime_task: experiment: hello-ai-runtime deployments: - command_path: ${workspace.file_path}/command.sh compute: accelerator_type: GPU_1xA10 accelerator_count: 1 environments: - environment_key: default spec: environment_version: '6' targets: dev: mode: development default: true从bundle目录中验证、部署并执行该作业:
databricks bundle validate --target dev databricks bundle deploy --target dev databricks bundle run hello --target dev打开由CLI打印的运行URL,查看
hello任务输出。 它包含Hello world。 该运行也出现在hello-ai-runtimeMLflow实验中。
更复杂的示例:计划预处理和训练管道
这个例子在CPU计算上准备一个小数据集,然后在一块A10 GPU上训练线性模型。 这两个任务使用同一个卷文件来传递数据。 该任务安排在每天09:00 UTC,且该计划处于暂停状态,直到你测试完毕。
创建项目
创建一个独立目录,布局如下:
scheduled-training/ ├── databricks.yml ├── prep.py ├── command.sh └── src/ └── train.py请根据以下内容创建
prep.py。 用你的卷名称替换<catalog>、<schema>和<volume>。 该源笔记本对输入值进行归一化,并将准备好的数据写入卷:# Databricks notebook source import json from pathlib import Path data_path = Path("/Volumes/<catalog>/<schema>/<volume>/scheduled-training/data.json") inputs = [value / 10 for value in range(10)] data = {"x": inputs, "y": [2 * value + 1 for value in inputs]} data_path.parent.mkdir(parents=True, exist_ok=True) data_path.write_text(json.dumps(data)) print(f"Prepared {len(inputs)} rows at {data_path}")请根据以下内容创建
src/train.py。 使用与prep.py中相同的卷路径:import json from pathlib import Path import torch data_path = Path("/Volumes/<catalog>/<schema>/<volume>/scheduled-training/data.json") data = json.loads(data_path.read_text()) x = torch.tensor(data["x"], device="cuda").reshape(-1, 1) y = torch.tensor(data["y"], device="cuda").reshape(-1, 1) model = torch.nn.Linear(1, 1).to("cuda") optimizer = torch.optim.SGD(model.parameters(), lr=0.1) for _ in range(200): optimizer.zero_grad() loss = torch.nn.functional.mse_loss(model(x), y) loss.backward() optimizer.step() print(f"Trained on {x.device}: loss={loss.item():.4f}")创建
command.sh以运行训练代码。 下面的捆绑包包含src/,因此CODE_SOURCE_PATH指向提取的src目录:#!/usr/bin/env bash set -euo pipefail cd "$CODE_SOURCE_PATH" python train.py请根据以下内容创建
databricks.yml。 该捆绑包为 GPU 任务打包了src/。prep笔记本运行于无服务器 CPU 计算,且depends_on只有在train成功后才启动prep。max_concurrent_runs: 1防止该作业的运行相互覆盖对方的输入文件:bundle: name: scheduled-training artifacts: code: type: tgz path: . include: [src] files: - source: ./dist/code.tgz resources: jobs: train_pipeline: name: scheduled-training max_concurrent_runs: 1 schedule: quartz_cron_expression: '0 0 9 * * ?' timezone_id: UTC pause_status: PAUSED tasks: - task_key: prep notebook_task: notebook_path: ./prep.py - task_key: train depends_on: - task_key: prep environment_key: training ai_runtime_task: experiment: scheduled-training code_source_path: ./dist/code.tgz deployments: - command_path: ${workspace.file_path}/command.sh compute: accelerator_type: GPU_1xA10 accelerator_count: 1 environments: - environment_key: training spec: environment_version: '6' dependencies: - torch targets: dev: mode: development default: true
测试并启用该计划
从
scheduled-training/中,部署捆绑包并启动手动运行:databricks bundle validate --target dev databricks bundle deploy --target dev databricks bundle run train_pipeline --target dev打开 CLI 打印的运行 URL。 在
train启动之前,确认prep已成功。prep输出报告有 10 个已准备的行,train输出报告Trained on cuda:0以及损失值。在
databricks.yml中,将排班表的pause_status从PAUSED更改为UNPAUSED。 现在的日程安排是:schedule: quartz_cron_expression: '0 0 9 * * ?' timezone_id: UTC pause_status: UNPAUSED部署变更以激活每日计划:
databricks bundle deploy --target dev显式设置
pause_status: UNPAUSED会启用此计划,即使对于开发目标也是如此。 在“作业与管道”中,打开已部署的作业,确认其排程在 09:00 UTC 时仍然有效。 请参阅按计划运行作业。
要暂停计划运行,设置 pause_status: PAUSED,然后重新部署。 要移除示例作业和捆绑包上传的文件,请从其捆绑包目录中运行以下操作:
databricks bundle destroy --target dev
卷中已准备好的数据会保留下来。 当你不再需要该 scheduled-training 数据目录时,删除它。
其他资源
- 将现有的 AI 运行时工作负载 YAML 转换成一个捆绑包。 参见 将 AI 运行时工作负载转换为捆绑包。
- 配置代码打包、计算、环境和任务参数。 参见 配置AI运行时捆绑任务。
- 在 GPU 上调度现有笔记本。 参见 在 AI Runtime 上调度笔记本作业。
- 跟踪训练运行。 参见 实验跟踪与可观测性。
- 检查点模型、优化器和数据管道状态。 参见 “提升AI运行时的训练性能和韧性”。