监控、调试和部署

跟踪实验,检查日志,调度生产GPU工作负载,并在AI运行时为你训练的模型提供服务。

Topic Description
跟踪运行、日志和指标 用MLflow跟踪实验、指标和产物,查看日志和GPU资源使用情况。
调度GPU工作负载 部署带有声明式自动化捆绑包的培训代码,安排运行,构建多任务GPU和CPU工作流。
将工作负载转换为捆绑包 将AI运行时工作负载的YAML转换为声明式自动化捆绑包,将其作为持久作业进行管理。
配置 Bundle 任务 打包训练代码,选择 GPU 计算和环境,并将配置传递到 bundle 任务中。
部署已训练的模型 记录、注册并部署在 AI 运行时训练的模型到使用 CPU 或 GPU 计算的 Model Serving 端点。
使用你的笔记本环境进行部署 将 AI 运行时笔记本中的模型注册为 express deployment,这样终端使用与笔记本相同的环境和包。
部署 LLM 在 OpenAI 兼容 API 后面的 GPU 端点上,提供一个通过 AI Runtime 训练的大型语言模型。