Databricks 特征存储

Databricks 特征存储是用于 AI 和 ML 模型中特征的中央注册表。 在 Unity Catalog 中注册特征和模型后,即可获得内置治理、数据沿袭、时间点联接,以及跨工作空间的特征共享与发现能力。

你可以采用两种策略来编写功能。 两者都会生成由 Unity Catalog 管控的特征,并发布到在线特征存储。 对于新用例,Databricks推荐功能视图。 详情请参见 选择编写策略。

  • 特征视图,通过声明式定义特征,让 Databricks 帮你计算和管理特征流水线。
  • 特征表,你通过写入特征值到Delta表来填充它们。

借助 Databricks,整个模型训练工作流在单个平台上进行,包括:

  • 用于引入原始数据、创建特征表、训练模型和执行批量推理的数据管道。
  • 可一键式使用的并提供毫秒级延迟的模型和特征服务终结点。
  • 数据和模型监测。

使用 Databricks 特征库中的特征来训练模型时,模型会自动跟踪在训练中使用的特征的关联。 在推理时,模型会自动查找最新的特征值。 Databricks 功能存储还为实时应用程序提供按需计算功能,并处理所有功能计算任务。 这消除了训练/推理偏差,确保推理中使用的特征计算与模型训练期间使用的特征计算相同。 它还大大简化了客户端代码,因为 Databricks 功能存储处理所有功能查找和计算。

注释

本页介绍启用了 Unity Catalog 的工作区的 Databricks 特征存储。 如果未为 Unity Catalog 启用工作区,请参阅工作区特性存储(已弃用)。

Feature Store 的工作原理

有关 Databricks 功能存储的工作原理和术语表的概述,请参阅 Databricks 功能存储概述和术语表。

选择一种创作策略

特征存储支持两种编写特征的方式。 两者都创建了由 Unity 目录管理的功能,并且都可以发布到在线功能商店。 新案例推荐使用功能视图,尽管功能表适合需要 Delta 共享的工作负载。

Strategy 最适用于 工作原理
特征视图(推荐) 大多数新项目、时间窗口聚合和流式特征。 以声明方式将特征定义为 Unity Catalog Feature 对象。 Databricks 负责创建和管理功能流水线。 你可以在注册前在笔记本里对本地定义的特征做实验,然后实现特征管线。 流特征视图支持亚秒级新鲜特征数据,可从实时模式直接写入在线特征存储。
特征表 需要Delta共享或第三方在线商店的工作负载。 将特征值写入 Unity 目录中的 Delta 表,该表有主键。 负责填充和刷新该表的数据管道由你负责。

开发功能

功能 / 特点 Description
特征视图 使用特征视图以声明方式定义和计算特征,包括时间窗口聚合和流式特征。
实体化特征视图 将特征视图实体化,用于离线训练或在线服务。
回填特征视图 在修正或添加历史源数据后,重新计算实体化特征值。
清除实体的特征值 从离线和在线存储中移除选定实体的实体化特征值。
Unity Catalog 中的特征表 创建和使用功能表。

发现和共享功能

功能 / 特点 Description
探索 Unity Catalog 中的特征表 使用目录资源管理器和功能 UI 浏览和管理功能表。
在 Unity Catalog 中对特征表和特征使用标签 使用简单的键值对对特征表和特征进行分类和管理。
探索 Unity Catalog 中的特征视图 在 Databricks UI 中浏览功能视图定义和具体化状态。

在训练工作流中使用特性

功能 / 特点 Description
使用特征表训练模型 使用功能训练模型。
时间点特征联接 使用时间点正确性创建一个训练数据集,该数据集反映记录标签观察的时间特征值。
特征工程 Python API Python API 参考

服务功能

功能 / 特点 Description
Databricks 在线特征存储 为联机应用程序和实时机器学习模型提供功能数据。 由 Databricks Lakebase 提供支持。
模型服务,配备自动特征查找 自动从在线商店查找特征值。
提供特征表 为 Databricks 外部的模型和应用程序提供功能。
按需特征计算 在推理时计算特征值。

特征治理和世系

功能 / 特点 Description
特征治理与血缘 使用 Unity 目录控制对功能表的访问,并查看特征表、模型或函数的世系。

Tutorials

Tutorial Description
示例笔记本,方便入门 基础笔记本。 演示如何创建特征表、使用它来训练模型,以及如何使用自动功能查找运行批处理评分。 此外,还显示了用于搜索特征和查看来源的特征工程用户界面。
出租车示例笔记本。 显示创建功能、更新特征以及将它们用于模型训练和批处理推理的过程。
示例:部署并查询特征服务端点 演示如何部署和查询功能服务终结点的教程和示例笔记本。
示例:将特征与结构化RAG应用结合使用 演示如何使用 Databricks 联机表和功能服务终结点进行检索增强生成(RAG)应用程序的教程。
使用声明式自动化捆绑包管理功能视图 教程展示了如何在捆绑包中声明特征视图及其实体化,然后部署、修改和拆除它们。
使用声明式自动化捆绑包提供功能视图 教程演示如何通过FeatureSpec声明式自动化捆绑包以及在捆绑包中声明的功能服务端点来提供功能视图。

要求

若要使用 Databricks 功能存储,您的工作区必须启用 Unity Catalog。 如果未为 Unity Catalog 启用工作区,请参阅工作区特性存储(已弃用)。

支持的数据类型

Databricks 功能存储和旧工作区功能存储支持以下 PySpark 数据类型:

  • IntegerType
  • FloatType
  • BooleanType
  • StringType
  • DoubleType
  • LongType
  • TimestampType
  • DateType
  • ShortType
  • ArrayType
  • BinaryType [1]
  • DecimalType [1]
  • MapType [1]
  • StructType [2]

[1] Unity Catalog 的所有 Feature Engineering 版本以及 Workspace Feature Store v0.3.5 或更高版本中支持 BinaryType、DecimalType 和 MapType。 [2] 特征工程 v0.6.0 或更高版本支持 StructType。

上面列出的数据类型支持机器学习应用程序中常见的特征类型。 例如:

  • 可以将稠密矢量、张量和嵌入存储为 ArrayType。
  • 可以将稀疏矢量、张量和嵌入存储为 MapType。
  • 可以将文本存储为 StringType。

发布到在线商店时,ArrayType 和 MapType 特征以 JSON 格式存储。

特征库 UI 显示特征数据类型的元数据。

复杂数据类型示例

详细信息

有关最佳做法的详细信息,请下载特征存储综合指南。