多 GPU 分布式训练

重要

笔记本示例中使用的 @distributed 装饰器是 Beta 版。

这些例子展示了在 AI Runtime 上将模型训练扩展到多个 GPU。 笔记本示例在已附加的 GPU 计算资源上使用 serverless_gpu Python API。 Databricks 的 CLI 示例提供了单节点、多 GPU 训练的工作负载配置和源代码。

注释

H100 GPU 支持基于笔记本的多 GPU 分布式训练。

选择并行技术

根据模型大小、可用GPU内存和性能需求选择并行处理技术。 下表对比了这些选项。

方法 何时使用
DDP (分布式数据并行) 完整模型可以适配单个 GPU 内存;需要提高数据吞吐量
FSDP (完全分片数据并行) 非常大的模型不适合单个 GPU 的内存
DeepSpeed ZeRO 具有高级内存优化需求的大型模型

有关每种技术的详细信息,请参阅 DDP、 FSDP 和 DeepSpeed。

如需建议和模式,帮助您的培训流程更高效、更具韧性,请参阅 绩效与韧性指南。

按技巧和框架分类的笔记本示例

下表按框架或库及所应用的并行处理技术组织笔记本示例。 多个笔记本可能会出现在一个单元格里。

框架/库 DDP 示例 FSDP 示例 DeepSpeed 示例
PyTorch (原生) 简单的 MLP 神经网络
RetinaNet 图像检测
10M 参数转换器 —
Huggingface TRL 微调 Gpt OSS 20B 微调 Gpt OSS 120B 微调 Llama 3.2 1B
Unsloth 对 Llama 3.2 3B 进行微调 — —
Axolotl 微调 Olmo3 7B — —
闪电 双塔推荐系统 — —

CLI 示例

以下示例链接到 AI 运行时实践指南中可运行的方法。

Example 方法 说明
Qwen2.5-3B 与 Ray Train 的微调 DDP 在配备 8 块 H100 GPU 的单个节点上,每块 GPU 用一个 Ray Train 工作者微调 Qwen2.5-3B。
Qwen3-8B 发票提取微调 DeepSpeed ZeRO-3 使用 TRL 在一个 8x H100 节点上微调 Qwen3-8B,用于发票和收据实体提取。
利用DDP进行的ModernBERT微调 DDP 在8x H100节点上用PyTorch DDP微调ModernBERT进行主题分类。
LoRA对Nemotron 3.5 Lightning的微调 FSDP2 和专家并行 在八块H100 GPU上,用NeMo AutoModel微调Nemotron 3.5 Lightning。
Nemotron 3.5 Super VL 的 LoRA 微调 FSDP2 和专家并行 在八块H100 GPU上,使用NeMo AutoModel微调Nemotron 3.5 Super VL视觉语言模型。

在笔记本中开始使用

使用以下教程开始使用无服务器 GPU Python 库进行分布式训练:

教程 说明
具有 H100 GPU 的 AI 运行时 了解如何将 Databricks AI Runtime 与 H100 加速器配合使用,以使用 serverless_gpu Python 库运行分布式 GPU 工作负载。