跟踪实验,检查日志,调度生产GPU工作负载,并在AI运行时为你训练的模型提供服务。
| Topic | Description |
|---|---|
| 跟踪运行、日志和指标 | 用MLflow跟踪实验、指标和产物,查看日志和GPU资源使用情况。 |
| 调度GPU工作负载 | 部署带有声明式自动化捆绑包的培训代码,安排运行,构建多任务GPU和CPU工作流。 |
| 将工作负载转换为捆绑包 | 将AI运行时工作负载的YAML转换为声明式自动化捆绑包,将其作为持久作业进行管理。 |
| 配置 Bundle 任务 | 打包训练代码,选择 GPU 计算和环境,并将配置传递到 bundle 任务中。 |
| 部署已训练的模型 | 记录、注册并部署在 AI 运行时训练的模型到使用 CPU 或 GPU 计算的 Model Serving 端点。 |
| 使用你的笔记本环境进行部署 | 将 AI 运行时笔记本中的模型注册为 express deployment,这样终端使用与笔记本相同的环境和包。 |
| 部署 LLM | 在 OpenAI 兼容 API 后面的 GPU 端点上,提供一个通过 AI Runtime 训练的大型语言模型。 |