Databricks Feature Store 和旧版 Workspace Feature Store 发布说明

此页面列出了 Unity Catalog 中的 Databricks 特征工程客户端和 Databricks 工作区特征存储客户端的版本。 这两个客户端都可用于 PyPI: databricks-feature-engineering 和 databricks-feature-store。

图书馆用于以下目的:

  • 创建、读取和写入功能表。
  • 基于特征数据训练模型。
  • 将功能表发布到在线应用商店,以便提供实时服务。

有关使用说明,请参阅 Databricks Feature Store。 有关 Python API 文档,请参阅功能工程Python API。

Unity Catalog 客户端中的特征工程适用于 Unity Catalog 的特征和特征表。 工作区特征存储客户端适用于工作区特征存储中的特征和特征表。 这两个客户端都预安装在用于机器学习的 Databricks Runtime 中。 通过 PyPI (databricks-feature-engineering) 安装 pip install databricks-feature-engineering 后,它们也可在 Databricks Runtime 上运行。 如果用于单元测试,两个客户端均可以在本地或 CI/CD 环境中使用。

有关 Databricks Runtime 和 Databricks Runtime ML 版本的客户端版本兼容性,请参阅特征工程兼容性对照表。 旧版 Databricks 工作区特征存储客户端在 PyPI 上作为 databricks-feature-store 提供。

databricks-feature-engineering 0.18.4

  • 训练集:
    • 使用 use_timeseries_filtering=True 时,create_training_set() 还会仅读取每个特征的数据源中训练行所需的时间范围和实体。 时间栏 TIMESTAMP_NTZ 为的来源仍然会被完整阅读。 训练 DataFrame 每次读取时必须返回相同的行和时间戳,例如缓存的 DataFrame。
    • 训练时,使用与批量物质化相同的近似草图计算滑动窗口和滚动窗口 ApproxCountDistinct 及 ApproxPercentile 特征,而非 Spark approx_count_distinct 和 percentile_approx 函数。 训练值现在会与物化值匹配到草图误差范围内,且可能与早期版本计算的值略有不同。 ApproxPercentile 仅在 Databricks 运行时 18.0 及以上版本中使用草图,且 double 返回整数列。 早期运行时继续使用 percentile_approx.
  • 模型日志记录:log_model() 接受 validate_serving_inputs,默认为 False。 当 True时, log_model() 会将特征视图模型与其服务端点传递给它的列进行检查,这些列仅是模型的特征。 如果模型像 scikit-learn 模型那样,在 feature_names_in_ 中记录其拟合所基于的列,log_model() 会在保存前于其中任一列不是特征时引发错误。 对于其他模型,当训练集包含端点未通过的列时,它会发出警告。 将随每个请求发送的列声明为 RequestSource 特征。
  • Lakeflow 管道来源:
    • SdpSource 最多接受 25 input_tables个表,低于 100,因为作业的表触发器最多只监视 25 个表。
    • 使用其 SdpSource 输出表不存在的功能进行计算、训练或评分时,会引发一个 ValueError,其中会指明相关特征、输出表和管道。
  • 流:
    • 在首次写入流摄取表之前读取流,会引发 ValueError,提示等待流水线首次写入,而不是 DELTA_TABLE_NOT_FOUND 错误。
    • 修复了在摄取表名称需要反引号时,Stream 的 training 和 sawtooth 批量读取因 INVALID_IDENTIFIER 而失败的问题。
  • 其他变化:
    • 修正了 from databricks.feature_engineering import *,这导致对 AttributeError 引发了 Window。
    • 漏洞修复和改进。

databricks-feature-engineering 0.18.3

  • Lakeflow 管道来源:
    • 新的 SdpSource 在触发的 Lakeflow 管道的输出表上定义特征视图。 特征存储在每次具体化和回填前运行流水线。 请参见 将 Lakeflow 管道用作特征源。
    • 新的实验方法会 refresh_sdp_source() 启动每个给定特征 SdpSource后面的流水线更新,或者加入已经在运行的更新。
  • 实体化触发条件:
    • TableTrigger 接受 min_time_between_triggers、wait_after_last_change 和 condition,以控制运行何时开始。 condition 采用一个 TableTriggerCondition。
    • 对于位于 SdpSource 上的特征,TableTrigger 则监视源的 input_tables,而非输出表。
  • 特征计算与训练:
    • compute_features() 接受 output_range、ComputeFeaturesRange(用于选择要计算哪些源行)以及 limit,仅保留最新的 limit 个合格行。
    • create_training_set() 当功能视图训练集包含了已服务模型未接收的列时发出警告。 将请求值作为 RequestSource 特征传递,或将这些列添加到 exclude_columns 中。
    • 修正了锯齿形训练窗口的起点,使其与服务窗口的起点一致,这样训练值与已服务值相匹配。
    • SawtoothWindow 当 delay 不为 0 时会引发一个 ValueError,因为锯齿形特征不支持延迟。
  • 特征实体清除(Beta版):purge_feature_entities() 接受 delete_rows。 将 delete_rows=True 设置为同时删除包含所选实体键的行。 参见 清除实体的特征值。
  • 复杂类型:
    • 模型 log_model() 签名包含仅供 FeatureViewSource 的上游特征使用的 RequestSource 输入,包括其嵌套的 ARRAY、MAP 和 STRUCT 模式。
    • 针对具有复杂输入的CustomUDF特征,修复了create_training_set()。 嵌套字段名称、可空性和排序规则都会被保留。
  • 其他变化:
    • create_feature()拒绝嵌套的时序实体列,例如meta.id,其中meta是一个STRUCT<id: TIMESTAMP>。
    • 对 TIMESTAMP_NTZ 时间序列列的固定窗口计算已修正,现在这些列被读取为 UTC。 在非 UTC 会话中创建的训练集现在会匹配物化值。
    • 漏洞修复和改进。

databricks-feature-engineering 0.18.2

  • 批量特征回填:
    • backfill_features() 接受 features、Feature 对象列表或完整功能名称。 feature_full_names 参数已弃用。
    • 在datetime中的新BackfillRange类接受用于end_time和databricks.feature_engineering.entities的 Python start_time 值。 传递来自 Databricks SDK for Python 的BackfillRange已被弃用。
    • backfill_features() 现在返回 BackfillStatus 一个,报告回填的状态、特征、时间范围和错误信息。 将 wait=True 设置为等待回填完成。
    • 新的 get_backfill()、wait_for_backfill() 和 cancel_backfill() 方法可用于检查、等待回填完成以及取消回填。 对 backfill_features() 的结果调用 wait()、done() 或 cancel() 的代码必须改用这些方法。 现有使用 get_operation() 和 cancel_operation() 用于回填的代码依然有效。
  • 功能实体清除(测试版):
  • 请求时特征:
    • RequestSource 支持 ARRAY、 MAP和 STRUCT 请求字段,包括嵌套类型。 用新 dataframe_schema 参数定义它们,或用 RequestSource.from_dataframe()推断它们。 MAP 键必须是字符串。
    • log_model() 在模型签名中包含嵌套请求字段。
    • RequestSource.from_dataframe() 支持 Spark Connect DataFrames。
  • 其他变化:
    • 修复了 create_training_set() 和 compute_features() 针对多行相同的输入行仅返回一行的问题。 现在每个输入行都返回一个输出行。
    • 漏洞修复和改进。

Databricks-feature-engineering 0.18.1

本次发布包含了对功能视图的以下改进:

  • Lakebase 的在线服务现在支持超过64字符的功能名称。
  • RollingWindow 现支持 window_duration=None 基于仅在线表触发器的 Delta 源的终身 Last 聚合。
  • 基于 FeatureViewSource 的功能现在可以使用 compute_features() 进行预览,包括跨多个源表的依赖关系。
  • SawtoothWindow现在支持在compute_features()和window_duration=None中的终身聚合窗口(create_training_set())。
  • backfill_features() 和 purge_feature_entities() 支持 tags 和 budget_policy_id,用于成本跟踪和归因。
  • 漏洞修复和改进。

databricks-feature-engineering 0.18.0

  • FeatureViewSource:
    • 新的 FeatureViewSource 定义了一种由其他特征组合而成的特征,并对这些值逐行应用 CustomUDF。 在训练和服务的整个生命周期中均受支持,但 compute_features() 除外。
  • CustomUDF 功能:
    • create_feature() 根据 CustomUDFinput_bindings Unity 目录函数签名进行验证,并与函数参数类型对照绑定列类型,在功能创建时报告不匹配,而非在培训或服务时报告不匹配。
  • 流式特征:
    • create_stream() 添加 record_type_filter,一个 SQL 谓词,在解码后只保留匹配记录,以及 excluded_columns,用于从摄取中丢弃列。 update_stream() 也接受 excluded_columns。
  • 实体化:
    • materialize_features() 支持 tags 和 budget_policy_id 用于成本跟踪和归因。
    • CronSchedule 除了手动 cron 表达式外,还支持一种从特性的聚合窗口和时间设置中派生出来的计划模式。
  • 批量特征回填:
    • 新 backfill_features() 会在你选择的时间范围内重新计算物化的 Feature View 值,比如在你更正历史源数据之后。 使用 get_operation() 和 cancel_operation() 检查或取消回填。
  • 功能实体清除(测试版):
    • 新的 purge_feature_entities() 会从线下和在线商店中移除所选实体的实体化特征值,例如在数据删除请求之后。 参见 清除实体的特征值。
  • 窗口特性 start_time 门控:
    • 窗口功能现在总是强制执行 start_time。 窗口结束时间早于某个特征的 start_time 的训练数据行会被排除,以便离线训练集与在线提供的值保持一致。 在窗口化特征上设置 start_time 以控制截止值。
  • 其他变化:
    • 聚合功能在创建时拒绝 DATE 时间序列列。 请改用 TIMESTAMP 列。
    • ColumnSelection功能会在create_training_set()和compute_features()中应用源稳定延迟,但不包括尚未稳定的源行。
    • 在功能 UDF 输入和输出中增加了对 Databricks 运行时 18 字符串类型的支持。
    • 诸如 start_time、聚合延迟和源稳定延迟等功能时序字段现在会在客户端读取和写入后保留。
    • 漏洞修复和改进。

databricks-feature-engineering 0.17.1

  • 漏洞修复和改进。

databricks-feature-engineering 0.17.0

  • SawtoothWindow 聚合(预览):
    • 新的 SawtoothWindow 时间窗口类可使长聚合窗口(例如 30 天、60 天或 90 天)持续保持最新状态:窗口的后沿按固定的每日步长推进,而前沿则随最新的流式事件保持更新,从而避免在每次事件到达时都进行完整重算。 支持 Sum、Avg、Count、Min 和 Max 聚合。 window_duration 必须超过两天;用于 RollingWindow 较短的时间窗口。
  • LastN 聚合(预览):
    • 新的 LastN 聚合以数组形式返回窗口内最近的 N 个值,并按照该特征的时间序列列进行排序。 支持SlidingWindow和RollingWindow时间窗口。
  • 永久聚合窗口:
    • SlidingWindow 现在支持对所有历史进行聚合的生命周期(无限)窗口。 生命周期窗口仅适用于批处理特征;将 window_duration 设置为 None,以便在 create_training_set() 和 compute_features() 中定义生命周期窗口。
  • CustomUDF 功能(预览):
    • 适用于 create_feature() 函数类型 CustomUDF 按行将注册的 Unity Catalog 函数应用到源列。 input_bindings 将每个 UC 函数参数映射到填充该参数的源列。 CustomUDF 仅直接作用于 RequestSource(请求时)特征;无法应用于其他特征类型。
  • 流式源转换(预览):
    • StreamSource 现在接受 transformation_sql 在流模式转换后应用的 SQL SELECT 表达式,用于在特征计算前转换记录。 设置后,通过 dataframe_schema 提供转换后的输出架构。
  • 流式源的架构模式注册表(预览版):
    • create_stream() 现在可以通过 Unity Catalog Connection 使用 SchemaRegistryConfig 从外部模式注册表(例如 Confluent)解析流密钥和负载模式,而非以内联方式提供模式。 支持Avro和Protobuf格式。
  • 自定义服务依赖关系(预览版):
    • 你现在可以声明额外的 pip 依赖以实现功能服务。 create_feature_spec() 和 log_model() 接受 extra_pip_requirements,即一个 pip 包(或 Unity Catalog Volume .whl 路径)列表,用于在模型服务环境中安装特征 UDF 所需但默认不可用的库。 在模型被服务时,对特征规范声明的依赖关系会被执行。
  • 其他改进:
    • 漏洞修复和改进。

Databricks-feature-engineering 0.16.1

  • create_training_set 和 score_batch 现在在可用时复用离线实体化聚合特征,加快了训练集创建和批量推断的速度。 请参阅 具体化功能视图。
  • RequestSource 功能不再需要实体列和时间序列列。
  • 修复了 create_training_set 中不正确的 First 和 Last 结果。 这些聚合现在默认包含空值;添加 filter_condition 以排除值为 null 的输入列。
  • 修复了当源行包含 null 值时,compute_features 会返回 0 或 null 的问题。
  • 漏洞修复和改进。

databricks-feature-engineering 0.16.0

  • 功能视图公开预览:
    • 功能视图现已进入公开预览。 FeatureEngineeringClient 上的 is_beta_feature_view() 和 list_beta_feature_views() 实用工具可识别出在 Beta API 下注册并需要迁移到 Public Preview 表示形式的功能。
    • Feature.clone() 方法有助于将 Beta 功能视图迁移到公开预览。
    • create_pipeline 已弃用于特征视图;请改用物化特征 API。
  • 流式特征:
    • StreamSource 现已在 create_feature() 中受支持,用于定义由 Kafka 或 Delta 源支持的流式特征。
    • create_training_set 现在支持对使用 StreamSource 定义的特征进行训练。
    • FeatureEngineeringClient 上新增了用于管理流式要素源的 create_stream、get_stream、update_stream、delete_stream 和 list_streams 方法。
    • StreamingMode 触发器用于为 materialize_features 选择微批量具体化。
  • 其他改进:
    • 新的 list_features() API 在FeatureEngineeringClient目录或架构中列出功能。
    • 新 grant_feature_serving_access() 实用程序会授予在线提供具体化特征所需的权限,并提供一种 dry_run 模式以在应用前预览访问权限。
    • DeltaTableSource.from_sql() 现在直接接受 SparkSession。
    • DeltaTableSource.dataframe_schema 替换了已弃用的 schema_json 参数。
    • RollingWindow 替换已移除的 ContinuousWindow 别名。
    • 已从RollingWindow中移除已弃用的offset参数;请改用delay。
    • 删除了对包含默认目录的 2 部分 Unity 目录名称的支持。
    • 漏洞修复和改进。

databricks-feature-engineering 0.15.0

  • RequestSource(测试版):
    • 新的 RequestSource 类支持在请求时根据直接传递给模型的数据计算特征,而无需查找特征表。
    • create_feature()、create_training_set()、score_batch() 以及 compute_features() 都支持 RequestSource 支持的功能。
    • log_model RequestSource将特征自动接入模型签名。
  • ColumnSelection(测试版):
    • 新 ColumnSelection 类允许从功能源中选择特定的输出列,从而启用更精细的功能定义。
    • 支持 create_feature()、create_training_set()、compute_features() 和 log_model。
  • 其他改进:
    • materialize_features 的新 TableTrigger 触发器类型可对 Delta 表更新触发具体化。
    • score_batch 现在可在 Databricks 运行时无服务器运行时上运行。
    • DeltaTableSource.from_sql() 现在拒绝不受支持的 SQL 子句,如 GROUP BY 和 ORDER BY。
    • RequestSource.from_dataframe() 从现有数据帧推断请求模式。
    • 从 databricks-feature-engineering中删除 Flask 依赖项。
    • 漏洞修复和改进。

databricks-feature-engineering 0.14.0

  • 批处理声明式特征(测试版):
    • 声明性功能 API,用于将声明性功能定义存储为具有聚合和时间窗口的 Unity 目录函数。
    • 具体化功能 API 使用可配置的 cron 计划将功能自动批量具体化到在线商店。
    • 在 Unity Catalog 中,已注册模型的在线服务可使用具体化特征。
    • 支持使用 SlidingWindow 和 TumblingWindow 类进行滑动窗口和滚动窗口处理,以便在 create_training_set() 中计算特定时间点的正确特征。
    • filter_condition 参数允许在计算特征时过滤源数据。
  • 其他改进:
    • 新 list_online_stores() API 列出了目录或架构中的所有在线商店。
    • 支持 usage_policy_id 在创建或更新在线商店时进行账单跟踪。
    • 改进了在线商店被删除或不可用时的错误消息。
    • Bug 修复和性能改进。

databricks-feature-engineering 0.13.0

  • 用于管理 Databricks 托管的在线特征存储库的 API。
  • publish_table() 现在接受 source_table_name、 online_table_name和 publish_mode 参数,以实现更清晰的表规格。
  • 在创建或更新在线存储库时支持 read_replica_count,以提升读取可扩展性。
  • 漏洞修复和改进。

databricks-feature-engineering 0.12.1

  • 支持特性查询的默认值。
  • 漏洞修复和改进。

databricks-feature-engineering 0.11.0

  • 添加对 mlflow 版本 3.0 的支持。
  • 漏洞修复和改进。

databricks-feature-engineering 版本 0.10.2

  • 添加对 mlflow 版本 2.20.0 及更高版本的支持。
  • 添加对 numpy 版本 2.x 的支持。
  • 漏洞修复和改进。

databricks-feature-engineering 0.9.0

  • 支持在prebuilt_env调用中使用score_batch。
  • 改进了使用 Photon 的时间点特征联接性能。
  • 漏洞修复和改进。

databricks-feature-engineering 0.8.0

  • 支持在 params 调用中使用 score_batch,从而允许将其他参数传递给模型进行推理。
  • 漏洞修复和改进。

databricks-特征工程 0.7.0

databricks-feature-engineering 0.6.0

  • 除了现有的 Tempo 支持外,现在还支持使用本机 Spark 运行时间点联接。 非常感谢 Semyon Sinchenko 提议这个想法!
  • StructType 现在作为 PySpark 数据类型受到支持。 StructType 不支持用于在线服务。
  • write_table 现在支持写入启用 了 Liquid Clustering 的表。
  • timeseries_columns 的 create_table 参数已重命名为 timeseries_column。 现有工作流可以继续使用 timeseries_columns 参数。
  • score_batch 现在支持该 env_manager 参数。 有关详细信息,请参阅 MLflow 文档。

Databricks-feature-engineering 0.5.0

  • 通过 update_feature_spec 中新的 API databricks-feature-engineering,用户可更新 Unity Catalog 中 FeatureSpec 的所有者。

Databricks-feature-engineering 0.4.0

  • 一些错误修复与改进。

Databricks-特征工程 0.3.0

databricks 特征库 0.17.0

  • databricks-feature-store 已弃用。 此包中的所有现有模块均在 databricks-feature-engineering 0.2.0 及更高版本中提供。 有关详细信息,请参阅 Python API。

databricks-feature-engineering 0.2.0

  • databricks-feature-engineering 现在包含 databricks-feature-store 中的所有模块。 有关详细信息,请参阅 Python API。

Databricks-feature-store 0.16.3

  • 修复了将 AutoML 与功能表配合使用时的超时 bug。

databricks-feature-engineering 0.1.3

  • UpgradeClient 中的小幅改进。

databricks-feature-store 0.16.2

  • 现在可以创建特性与功能服务的端点。 有关详细信息,请参阅特性和功能服务。

databricks-feature-store 0.16.1

  • 一些错误修复与改进。

databricks-feature-engineering 0.1.2 和 databricks-feature-store 0.16.0

  • 一些错误修复与改进。
    • 修复了使用某些工作区设置记录的不正确的作业世系 URL。

databricks-feature-engineering 0.1.1 (Databricks特性工程)

  • 一些错误修复与改进。

databricks-feature-engineering 0.1.0

  • PyPI 上现正式推出 Unity Catalog 中的特征工程 Python 客户端

databricks特性商店(databricks-feature-store)0.15.1

  • 一些错误修复与改进。

databricks-feature-store 0.15.0

  • 现在可以在记录模型时自动推断和记录输入示例。 要执行此操作,请在调用 infer_model_example 时将 True 设置为 log_model。 此示例基于 training_set 参数中指定的训练数据。

databricks-feature-store 0.14.2

  • 修复了从 MariaDB 连接器/J >=2.7.5 发布到 Aurora MySQL 时出现的 bug。

Databricks-feature-store 0.14.1

  • 一些错误修复与改进。

Databricks-feature-store 0.14.0

从 0.14.0 开始,必须在 primary_keys 参数中指定时间戳键列。 时间戳键是“主键”的一部分,用于唯一标识特征表中的每一行。 与其他主键列一样,时间戳键列不能包含 NULL 值。

在以下示例中,DataFrame user_features_df 包含以下列:user_id、ts、purchases_30d 和 is_free_trial_active。

0.14.0 及更高版本

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys=["user_id", "ts"],
timestamp_keys="ts",
features_df=user_features_df,
)

0.13.1 及更低版本

fs = FeatureStoreClient()

fs.create_table(
name="ads_team.user_features",
primary_keys="user_id",
timestamp_keys="ts",
features_df=user_features_df,
)

databricks-feature-store 0.13.1

  • 一些错误修复与改进。

databricks-feature-store 0.13.0

  • 现在所需的最低 mlflow-skinny 版本是 2.4.0。
  • 如果提供的数据帧不包含所有必需的查找键,则创建训练集会失败。
  • 在 Unity Catalog 中记录使用特征表的模型时,会自动使用模型记录 MLflow 签名。

databricks-feature-store 0.12.0

  • 现在可以使用 drop_online_table API 删除在线商店。

databricks-feature-store 0.11.0

  • 在已启用 Unity Catalog 的工作区中,现在可以将工作区和 Unity Catalog 特征表发布到 Cosmos DB 联机存储。 这需要 Databricks Runtime 13.0 ML 或更高版本。

databricks-feature-store 版本 0.10.0

  • 一些错误修复与改进。

databricks-feature-store 0.9.0

  • 一些错误修复与改进。

databricks-feature-store 0.8.0

  • 一些错误修复与改进。

Databricks 特性存储 0.7.1

  • 添加 flask 作为依赖项以修复使用 score_batch 对模型评分时缺少依赖项的问题。

databricks-feature-store 软件版本 0.7.0

  • 一些错误修复与改进。

databricks特性商店 0.6.1

  • PyPI 的 Databricks 特征存储客户端的初始公共版本。