重要
笔记本示例中使用的 @distributed 装饰器是 Beta 版。
这些例子展示了在 AI Runtime 上将模型训练扩展到多个 GPU。 笔记本示例在已附加的 GPU 计算资源上使用 serverless_gpu Python API。 Databricks 的 CLI 示例提供了单节点、多 GPU 训练的工作负载配置和源代码。
注释
H100 GPU 支持基于笔记本的多 GPU 分布式训练。
选择并行技术
根据模型大小、可用GPU内存和性能需求选择并行处理技术。 下表对比了这些选项。
| 方法 | 何时使用 |
|---|---|
| DDP (分布式数据并行) | 完整模型可以适配单个 GPU 内存;需要提高数据吞吐量 |
| FSDP (完全分片数据并行) | 非常大的模型不适合单个 GPU 的内存 |
| DeepSpeed ZeRO | 具有高级内存优化需求的大型模型 |
有关每种技术的详细信息,请参阅 DDP、 FSDP 和 DeepSpeed。
如需建议和模式,帮助您的培训流程更高效、更具韧性,请参阅 绩效与韧性指南。
按技巧和框架分类的笔记本示例
下表按框架或库及所应用的并行处理技术组织笔记本示例。 多个笔记本可能会出现在一个单元格里。
| 框架/库 | DDP 示例 | FSDP 示例 | DeepSpeed 示例 |
|---|---|---|---|
| PyTorch (原生) |
简单的 MLP 神经网络 RetinaNet 图像检测 |
10M 参数转换器 | — |
| Huggingface TRL | 微调 Gpt OSS 20B | 微调 Gpt OSS 120B | 微调 Llama 3.2 1B |
| Unsloth | 对 Llama 3.2 3B 进行微调 | — | — |
| Axolotl | 微调 Olmo3 7B | — | — |
| 闪电 | 双塔推荐系统 | — | — |
CLI 示例
以下示例链接到 AI 运行时实践指南中可运行的方法。
| Example | 方法 | 说明 |
|---|---|---|
| Qwen2.5-3B 与 Ray Train 的微调 | DDP | 在配备 8 块 H100 GPU 的单个节点上,每块 GPU 用一个 Ray Train 工作者微调 Qwen2.5-3B。 |
| Qwen3-8B 发票提取微调 | DeepSpeed ZeRO-3 | 使用 TRL 在一个 8x H100 节点上微调 Qwen3-8B,用于发票和收据实体提取。 |
| 利用DDP进行的ModernBERT微调 | DDP | 在8x H100节点上用PyTorch DDP微调ModernBERT进行主题分类。 |
| LoRA对Nemotron 3.5 Lightning的微调 | FSDP2 和专家并行 | 在八块H100 GPU上,用NeMo AutoModel微调Nemotron 3.5 Lightning。 |
| Nemotron 3.5 Super VL 的 LoRA 微调 | FSDP2 和专家并行 | 在八块H100 GPU上,使用NeMo AutoModel微调Nemotron 3.5 Super VL视觉语言模型。 |
在笔记本中开始使用
使用以下教程开始使用无服务器 GPU Python 库进行分布式训练:
| 教程 | 说明 |
|---|---|
| 具有 H100 GPU 的 AI 运行时 | 了解如何将 Databricks AI Runtime 与 H100 加速器配合使用,以使用 serverless_gpu Python 库运行分布式 GPU 工作负载。 |