将 MLflow 试验 添加为 Databricks Apps 资源,以便为 AI 应用程序、代理、LLM 和 ML 模型启用试验跟踪。 MLflow 试验提供了一种结构化的方式,用于在整个 AI 应用程序开发生命周期内组织和记录运行、跟踪参数、指标和项目。
将 MLflow 试验添加为资源时,应用可以:
- 使用执行轨迹调试代理和大型语言模型(LLM)应用程序
- 使用评分器评估代理和 LLM 应用程序质量
- LLM 应用程序的管理和版本提示模板
- 记录 ML 模型训练运行及其参数、指标和工件
- 检索试验数据、元数据和运行历史记录
添加 MLflow 试验资源
在将 MLflow 试验添加为资源之前,请查看 应用资源先决条件。
- 在创建或编辑应用时,在 “应用资源 ”部分中,单击“ + 添加资源>MLflow 试验”。
- 从工作区中可用试验列表中选择一个 MLflow 试验。
- 为应用选择适当的权限级别:
- 可以读取: 授予应用查看试验元数据、运行、参数和指标的权限。 用于显示试验结果的应用。
- 可以编辑: 授予应用修改试验设置和元数据的权限。
- 可以管理: 授予应用对试验的完全管理访问权限。
- (可选)指定自定义资源密钥,即在应用配置中引用试验的方式。 默认键为
experiment.
添加 MLflow 试验资源时:
- Azure Databricks授予应用的服务主体所选试验的指定权限。
- 应用可以通过 MLflow 跟踪 API 记录训练运行和访问试验数据。
- 访问权限仅限于所选试验。 除非将其他试验添加为单独的资源,否则应用无法访问其他试验。
注释
MLflow 实验资源会对该实验授予工作区级权限。 如果实验将追踪存储在 Unity 目录中,则 将四个 Unity 目录追踪表添加为应用资源。 对这些表中痕迹的访问受Unity Catalog权限控制,而非实验权限。
环境变量
使用 MLflow 试验资源部署应用时,Azure Databricks通过环境变量公开试验 ID,这些环境变量可以使用 valueFrom 配置中的 app.yaml 字段进行引用。
示例配置:
env:
- name: MLFLOW_EXPERIMENT_ID
valueFrom: experiment # Use your custom resource key if different
在应用程序中使用试验 ID:
import os
import mlflow
# Access the experiment using the injected environment variable
experiment_id = os.getenv("MLFLOW_EXPERIMENT_ID")
# Set the experiment for tracking
mlflow.set_experiment(experiment_id=experiment_id)
# Log parameters and metrics
with mlflow.start_run():
mlflow.log_param("learning_rate", 0.01)
mlflow.log_metric("accuracy", 0.95)
mlflow.log_artifact("model.pkl")
有关详细信息,请参阅从资源访问环境变量。
在Unity Catalog中存储MLflow跟踪
要将 MLflow 跟踪从应用写入 Unity Catalog,首先创建一个使用 Unity Catalog 跟踪位置的实验。 指定表前缀,使四个跟踪表的名称可预测。
在获得 CAN_EDIT 许可后将实验添加到应用中。 然后将以下每个 Unity Catalog 表作为单独的应用资源添加,并授予 MODIFY 权限:
<table_prefix>_otel_annotations<table_prefix>_otel_logs<table_prefix>_otel_metrics<table_prefix>_otel_spans
MODIFY 权限授予应用的服务主体对每个表具有 MODIFY 和 SELECT 两项权限。 Databricks Apps 还会自动在父目录和架构上授予 USE CATALOG 和 USE SCHEMA 权限。
以下声明式自动化捆绑包示例将实验及其四个跟踪表配置为应用资源:
resources:
apps:
my_app:
name: 'my-app'
source_code_path: ./app
resources:
- name: 'experiment'
experiment:
experiment_id: '<experiment-id>'
permission: 'CAN_EDIT'
- name: 'trace-annotations'
uc_securable:
securable_full_name: '<catalog>.<schema>.<table_prefix>_otel_annotations'
securable_type: 'TABLE'
permission: 'MODIFY'
- name: 'trace-logs'
uc_securable:
securable_full_name: '<catalog>.<schema>.<table_prefix>_otel_logs'
securable_type: 'TABLE'
permission: 'MODIFY'
- name: 'trace-metrics'
uc_securable:
securable_full_name: '<catalog>.<schema>.<table_prefix>_otel_metrics'
securable_type: 'TABLE'
permission: 'MODIFY'
- name: 'trace-spans'
uc_securable:
securable_full_name: '<catalog>.<schema>.<table_prefix>_otel_spans'
securable_type: 'TABLE'
permission: 'MODIFY'
有关 Unity Catalog 的所有跟踪要求(包括创建和管理这些表所需的权限),请参阅 在 Unity Catalog 中存储 OpenTelemetry 跟踪。
删除 MLflow 试验资源
从应用中删除 MLflow 试验资源时,应用的服务主体将失去对试验的访问权限。 试验本身保持不变,并继续可供具有适当权限的其他用户和应用程序使用。
最佳做法
使用 MLflow 试验资源时,请遵循以下最佳做法:
- 按项目或模型类型以逻辑方式组织试验,以提高可发现性。
- 在整个组织中对运行和参数使用一致的命名约定。
- 考虑针对长时间运行的项目的试验保留策略和存储管理。