大型语言模型(LLM)

这些示例用于在 AI Runtime 上对大型语言模型(LLM)进行微调和后训练。 它们涵盖了参数高效方法,例如低秩适配(Low-Rank Adaptation,LoRA),以及在 TRL、Unsloth、Axolotl 和 LLM Foundry 等库中的全量监督微调。 关于批量推断示例,请参见 批量推断。

Example Interface 说明
Gemma4-2B 的强化学习 Notebook 使用 Unsloth 在单块 H100 GPU 上通过组相对策略优化(GRPO)和低秩适配(LoRA)对 Gemma4-2B 进行后训练。
Qwen3-4B 的监督微调(全参数) Notebook 在单块 H100 GPU 上使用 TRL 对 Qwen3-4B 进行全权重微调,采用 BF16 混合精度和梯度检查点。
Llama-3.2-3B 的监督微调(LoRA) Notebook 使用 Unsloth 库在单张 GPU 上对 Llama-3.2-3B 进行 LoRA 微调。
GPT-OSS 20B 的监督式微调(LoRA) Notebook 使用 LoRA 在 8 张 H100 GPU 上借助 TRL 和分布式数据并行对 GPT-OSS 20B 进行微调。
Llama-3.2-1B 的监督微调(全) Notebook 使用 TRL 和 DeepSpeed ZeRO Stage 3 在 8 张 H100 GPU 上对 Llama-3.2-1B 进行全参数微调。
Olmo3 7B 的监督式微调(LoRA) Notebook LoRA 通过 Axolotl 库对 Olmo3 7B 在多块 GPU 上进行微调。
Qwen3.5-0.8B的监督微调(全量)与部署 Notebook 在单个 H100 GPU 上使用 TRL 对 Qwen3.5-0.8B 进行微调,然后将其部署到 vLLM 模型服务端点后提供服务。
在多 GPU 上对 Llama-3.2-3B 进行监督微调 Notebook LoRA 通过 Unsloth 库对 Llama-3.2-3B 在多个 GPU 上进行微调。
GPT-OSS 120B 的监督微调(LoRA) Notebook 借助 TRL,使用 DDP 和 FSDP 在 8 块 H100 GPU 上对 GPT-OSS 120B 进行 LoRA 微调。
多GPU上的变压器训练 Notebook 使用 PyTorch 全分片数据并行(FSDP)训练 Transformer 模型,将模型参数分片到多块 GPU 上。
Qwen3-8B 的全权重微调以提取发票 CLI 在1个配备8张H100的节点上,使用TRL和DeepSpeed ZeRO-3微调Qwen3-8B,以实现发票和收据实体提取。
使用 Ray Train 对 Qwen2.5-3B 进行监督微调 CLI 使用 Ray Train 在一个配有 8 张 H100 的节点上,对 Qwen2.5-3B 进行微调,每个 GPU 使用一个分布式数据并行工作器。
用于长文档分类的 Longformer 微调 CLI 用 LoRA 微调 Longformer 以在一块 GPU 上进行长文档情感分类,并将适配器保存到 Unity Catalog 卷。
ModernBERT在一块GPU上的微调 CLI 在一块 A10 GPU 上微调 ModernBERT 以进行主题分类,并在 Unity Catalog 中注册该模型。
利用DDP进行的ModernBERT微调 CLI 在8x的H100节点上,用PyTorch DDP微调ModernBERT进行主题分类,并在Unity Catalog中注册模型。
LoRA对Nemotron 3.5 Lightning的微调 CLI 用 NeMo AutoModel、FSDP2 和专家并行,在配备 8 块 H100 GPU 的单个节点上微调 Nemotron 3.5 Lightning。
Nemotron 3.5 Super VL 的 LoRA 微调 CLI 在配备 8 张 H100 的单个节点上,用 NeMo AutoModel 和 LoRA 微调 Nemotron 3.5 Super VL 视觉语言模型。
微调并服务Qwen2.5-0.5B CLI 用 LoRA 微调 Qwen2.5-0.5B,在 Unity Catalog 中注册合并模型,并部署到 Custom Model Serving。

视频演示

本视频详细介绍了 Llama-3.2-3B的监督微调(LoRA) 示例笔记本(12分钟)。