调度GPU工作负载并编排任务

使用 声明式自动化捆绑包 来调度AI运行时GPU工作负载,并将其与其他工作结合起来,比如上游数据准备。 在 YAML 中定义工作负载及其调度,然后将它们作为一个作业部署。 对于训练流水线,先对CPU计算运行预处理,数据准备好后再开始GPU训练。

本指南从打印“Hello world”的工作负载开始,然后构建计划中的预处理和训练流水线。 如果你已经有 AI 运行时工作负载 YAML,请参见 将 AI 运行时工作负载转换为捆绑包。

工作原理

  • 一个 Bundle 包含你的代码和一个 databricks.yml 配置。
  • 作业用于将任务分组并定义它们的运行时间。
  • ai_runtime_task 会在AI运行时运行你的命令。

该 depends_on 字段将任务连接成有向无环图(DAG),而 schedule 字段用于按固定频率调度你的作业运行。

databricks bundle deploy 上传代码并创建或更新作业。 databricks bundle run 立即开始执行任务。 每次运行时,AI 运行时会配置GPU计算,执行你的命令,并在命名的MLflow实验中记录运行过程。

Requirements

带有 ai_runtime_task 的 Hello World 示例

这个例子在一块 A10 GPU 上运行一个 shell 命令。

  1. 为包创建一个目录。 在该目录中,创建command.sh,内容如下:

    #!/usr/bin/env bash
    set -euo pipefail
    echo "Hello world"
    
  2. 在同一目录中创建 databricks.yml :

    bundle:
      name: hello-ai-runtime
    
    resources:
      jobs:
        hello:
          name: hello-ai-runtime
          tasks:
            - task_key: hello
              environment_key: default
              ai_runtime_task:
                experiment: hello-ai-runtime
                deployments:
                  - command_path: ${workspace.file_path}/command.sh
                    compute:
                      accelerator_type: GPU_1xA10
                      accelerator_count: 1
          environments:
            - environment_key: default
              spec:
                environment_version: '6'
    
    targets:
      dev:
        mode: development
        default: true
    
  3. 从bundle目录中验证、部署并执行该作业:

    databricks bundle validate --target dev
    databricks bundle deploy --target dev
    databricks bundle run hello --target dev
    
  4. 打开由CLI打印的运行URL,查看 hello 任务输出。 它包含 Hello world。 该运行也出现在 hello-ai-runtime MLflow实验中。

更复杂的示例:计划预处理和训练管道

这个例子在CPU计算上准备一个小数据集,然后在一块A10 GPU上训练线性模型。 这两个任务使用同一个卷文件来传递数据。 该任务安排在每天09:00 UTC,且该计划处于暂停状态,直到你测试完毕。

创建项目

  1. 创建一个独立目录,布局如下:

    scheduled-training/
    ├── databricks.yml
    ├── prep.py
    ├── command.sh
    └── src/
        └── train.py
    
  2. 请根据以下内容创建 prep.py。 用你的卷名称替换 <catalog>、<schema> 和 <volume>。 该源笔记本对输入值进行归一化,并将准备好的数据写入卷:

    # Databricks notebook source
    import json
    from pathlib import Path
    
    data_path = Path("/Volumes/<catalog>/<schema>/<volume>/scheduled-training/data.json")
    inputs = [value / 10 for value in range(10)]
    data = {"x": inputs, "y": [2 * value + 1 for value in inputs]}
    data_path.parent.mkdir(parents=True, exist_ok=True)
    data_path.write_text(json.dumps(data))
    print(f"Prepared {len(inputs)} rows at {data_path}")
    
  3. 请根据以下内容创建 src/train.py。 使用与 prep.py 中相同的卷路径:

    import json
    from pathlib import Path
    
    import torch
    
    data_path = Path("/Volumes/<catalog>/<schema>/<volume>/scheduled-training/data.json")
    data = json.loads(data_path.read_text())
    x = torch.tensor(data["x"], device="cuda").reshape(-1, 1)
    y = torch.tensor(data["y"], device="cuda").reshape(-1, 1)
    model = torch.nn.Linear(1, 1).to("cuda")
    optimizer = torch.optim.SGD(model.parameters(), lr=0.1)
    
    for _ in range(200):
        optimizer.zero_grad()
        loss = torch.nn.functional.mse_loss(model(x), y)
        loss.backward()
        optimizer.step()
    
    print(f"Trained on {x.device}: loss={loss.item():.4f}")
    
  4. 创建 command.sh 以运行训练代码。 下面的捆绑包包含 src/,因此 CODE_SOURCE_PATH 指向提取的 src 目录:

    #!/usr/bin/env bash
    set -euo pipefail
    cd "$CODE_SOURCE_PATH"
    python train.py
    
  5. 请根据以下内容创建 databricks.yml。 该捆绑包为 GPU 任务打包了 src/。 prep笔记本运行于无服务器 CPU 计算,且 depends_on 只有在 train 成功后才启动 prep。 max_concurrent_runs: 1 防止该作业的运行相互覆盖对方的输入文件:

    bundle:
      name: scheduled-training
    
    artifacts:
      code:
        type: tgz
        path: .
        include: [src]
        files:
          - source: ./dist/code.tgz
    
    resources:
      jobs:
        train_pipeline:
          name: scheduled-training
          max_concurrent_runs: 1
          schedule:
            quartz_cron_expression: '0 0 9 * * ?'
            timezone_id: UTC
            pause_status: PAUSED
          tasks:
            - task_key: prep
              notebook_task:
                notebook_path: ./prep.py
            - task_key: train
              depends_on:
                - task_key: prep
              environment_key: training
              ai_runtime_task:
                experiment: scheduled-training
                code_source_path: ./dist/code.tgz
                deployments:
                  - command_path: ${workspace.file_path}/command.sh
                    compute:
                      accelerator_type: GPU_1xA10
                      accelerator_count: 1
          environments:
            - environment_key: training
              spec:
                environment_version: '6'
                dependencies:
                  - torch
    
    targets:
      dev:
        mode: development
        default: true
    

测试并启用该计划

  1. 从 scheduled-training/ 中,部署捆绑包并启动手动运行:

    databricks bundle validate --target dev
    databricks bundle deploy --target dev
    databricks bundle run train_pipeline --target dev
    
  2. 打开 CLI 打印的运行 URL。 在 train 启动之前,确认 prep 已成功。 prep 输出报告有 10 个已准备的行,train 输出报告 Trained on cuda:0 以及损失值。

  3. 在 databricks.yml 中,将排班表的 pause_status 从 PAUSED 更改为 UNPAUSED。 现在的日程安排是:

    schedule:
      quartz_cron_expression: '0 0 9 * * ?'
      timezone_id: UTC
      pause_status: UNPAUSED
    
  4. 部署变更以激活每日计划:

    databricks bundle deploy --target dev
    

    显式设置 pause_status: UNPAUSED 会启用此计划,即使对于开发目标也是如此。 在“作业与管道”中,打开已部署的作业,确认其排程在 09:00 UTC 时仍然有效。 请参阅按计划运行作业。

要暂停计划运行,设置 pause_status: PAUSED,然后重新部署。 要移除示例作业和捆绑包上传的文件,请从其捆绑包目录中运行以下操作:

databricks bundle destroy --target dev

卷中已准备好的数据会保留下来。 当你不再需要该 scheduled-training 数据目录时,删除它。

其他资源