Overview

AI 运行时是基于 Azure Databricks 的无服务器 GPU 计算,用于深度学习工作负载。 本页介绍了其工作原理、示例用例、硬件、关键特性及限制。

AI 运行时的工作原理

AI 运行时让你可以在 Azure Databricks 上训练和微调模型,而无需管理 GPU 基础设施。 你带着代码,Azure Databricks负责GPU容量、采购和管理。

例如,以下命令通过你的终端提交工作负载:

databricks air run --file workload.yaml --watch

当你运行databricks air run时,AI Runtime会打包你提交的代码,并在由Azure Databricks管理的无服务器GPU计算上进行编排。 想试试,可以看看 AI 运行时快速入门。

示例用例

你可以用 AI Runtime 来训练或微调多种类型的 AI 模型。 例如:

有关所有笔记本教程和 Databricks CLI 示例,请参见 AI Runtime examples。

硬件

所有 AI 运行时加速器都预配单个节点。 该节点上的 GPU 数取决于加速器类型:

加速器 每个节点的 GPU 数 GPU 内存 最适用于 分布式训练
1xA10 1 24 GB 小型到中型 ML 和深度学习任务,例如经典 ML 模型或微调较小的语言模型 不支持 (单个 GPU)
1xH100 1 80 GB 需要比 1xA10 更多的 GPU 内存但不需要多 GPU 分布式训练的工作负载,例如微调中型语言模型 不支持 (单个 GPU)
8xH100 8 每个 GPU 80 GB 大规模 AI 工作负载,包括训练或微调大型模型或运行高级深度学习任务 支持使用 @distributed 装饰器,默认使用全部八块显卡

小窍门

只有 8xH100 支持多GPU分布式训练。 对于单GPU工作负载,根据你的型号需要的GPU内存,选择 1xA10 或 1xH100 。

主要功能

类别 Features
连接到 GPU
  • Databricks CLI:用 YAML 配置从终端提交和管理 GPU 工作负载。
  • Notebook:将 Notebook 关联到 GPU,进行交互式开发。
  • 笔记本中的分布式训练:使用 @distributed 装饰器在一个节点上的所有 GPU 上运行 PyTorch DDP、FSDP 或 DeepSpeed。
  • 作业:将 GPU 工作负载安排为周期性作业。
  • 通过 SSH 使用 IDE:从 IDE 或终端连接到 GPU 节点。
  • Ray:运行Ray Core、Ray Data、Ray Train和Ray Tune。
开发工作负载
监控与部署

要求

开始前,请确认您的工作空间符合以下要求:

Limitations

在规划AI运行时工作负载时,请牢记以下限制:

  • AI 运行时仅支持 A10 和 H100 加速器。
  • AI 运行时不支持适用于 FedRAMP High 或 DoD IL5 标准的 合规性安全配置文件。
  • AI 运行时的计划任务不支持通过“环境”面板添加依赖项。 请改为在笔记本中以编程方式安装 %pip install 依赖项。
  • 对于 AI 运行时上的计划作业,不支持与笔记本关联的不兼容包版本的自动恢复行为。
  • 交互式笔记本的 AI 运行时连接尝试在 15 分钟后终止,笔记本作业或 CLI 作业则在 24 小时后终止。 连接的笔记本会话和笔记本作业最长可运行两天,CLI作业可运行最长14天。 对于长时间运行的模型训练作业,请实现检查点机制,并在达到最长运行时间后重新启动该作业。 参见 带分布式检查点(DCP)的 Checkpoint。
  • 运行使用工作空间基础环境(包括 Databricks AI环境)的调度作业目前处于 测试阶段。 工作区管理员必须在作业预览中开启 无服务器工作区基础环境支持 。 请参阅 Manage Azure Databricks 预览版。
  • AI 运行时提供对 GPU 资源的按需访问。 虽然这会导致对 GPU 的轻松、灵活的访问,但可能存在容量受限或在你的区域中不可用的时间段。
  • 在某些情况下,AI 运行时在高需求时刻利用跨区域 GPU。 可能存在与此类使用相关的出口成本,并且跨区域网络连接在某些时候可能会受到限制。

Guides