具体化特征视图

创建存储在 Unity 目录中的功能视图定义后,可以使用功能定义从源表生成特征数据。 此过程称为特征具体化。 Azure Databricks创建和管理 Lakeflow 管道,以填充 Unity 目录中的表,以便进行模型训练和批量评分或联机服务。

有关提供功能视图的信息,请参阅 服务功能视图。

要在校正或添加历史源数据后重新计算物化值,请参见 回填特征视图。

要删除所选实体的具体化值,请参阅清除实体的特征值。

要在捆绑包中声明实体化特征,请参见 使用声明式自动化捆绑包管理功能视图。

要求

  • 必须将功能创建为功能视图,并存储在 Unity 目录中。
  • 关于版本要求,请参见 要求。

按特征类型划分的物质化支持

一个特征是否以及在哪里可以实现取决于其类型:

仅物化到在线存储的特征仍可离线使用:create_training_set 和 compute_features 直接从源计算其时间点值,因此无需离线物化。

列选择物化

ColumnSelection 特征会为每个实体键选择单列的最新值,无需聚合。 它们只能具体化到联机存储。 对于脱机用例(训练和批处理推理), ColumnSelection 功能在查询时直接从源数据中提取,因此不需要脱机具体化。

具体化行为

  • 管道将每个实体键值的最新行写入联机表,没有聚合窗口。
  • 在线具体化将每个实体键的当前最新值填充到联机表中。

示例

from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
    DeltaTableSource, Feature, ColumnSelection, TableTrigger, OnlineStoreConfig,
)

fe = FeatureEngineeringClient()

delta_source = DeltaTableSource(
    catalog_name="catalog",
    schema_name="schema",
    table_name="transactions",
)

amount_feature = Feature(
    source=delta_source,
    function=ColumnSelection("amount"),
    entity=["user_id"],
    timeseries_column="transaction_time",
    name="latest_transaction_amount",
)

# Register before materializing
amount_feature = fe.register_feature(
    feature=amount_feature,
    catalog_name="catalog",
    schema_name="schema",
)

mfs = fe.materialize_features(
    features=[amount_feature],
    online_config=OnlineStoreConfig(
        catalog_name="catalog",
        schema_name="feats_online",
        table_name_prefix="txn_",
        online_store_name="lb_usw2"
    ),
    trigger=TableTrigger(),
)

ColumnSelection 功能使用 TableTrigger,每当源 Delta 表收到新提交时,该流水线运行。 不需要 offline_config ,因为 ColumnSelection 功能直接从源读取脱机用例(训练和批处理推理)。

Note

RequestSource 特征无法实现,因为它们代表调用者在推理时提供的数据(或从训练时从标记数据帧中提取的数据)。 没有可读取的源表。 这些值仅存在于请求有效负载或训练数据帧中。

具体化受新鲜度限制的最新值

带 RollingWindow 的批处理 Last 聚合为在线特征提供生存时间 (TTL):当没有源值落在窗口内时,其值会过期并从在线存储中移除。 当某个值的存在时间决定是否可以安全地提供该值时,这会很有用。 例如,可以服务过去一小时的设备状态,而较旧的状态则解析为空状态,而非无限期保持可用。

A RollingWindow 定义了一个显式的持续时间,使该特征具有类似 TTL 的行为。 例如,如果源每天发布数值,而你只想保留过去七天的值,可以使用带有七天时长的 a RollingWindow 。 每次触发时,物化会完全替换在线表,因此窗口外的值会按可预测的计划被移除。 这与带有 RollingWindow的流式传输Last结果相同,但成本更低,因为不连续运行计算。

这种发布模式类似于带有TTL的特征表,以快照模式发布。 如果你维护一套功能表,并希望将它们与其他功能视图一起使用,你可以将它们调整到功能视图创作框架中。 使用带 RollingWindow 和 TableTrigger 的批处理 Last。

该组合具有一种特殊的仅限在线的具体化模式,要求如下:

  • 源必须是 DeltaTableSource。
  • 聚合函数必须是 Last,其窗口必须是 RollingWindow。
  • 物化必须提供 OnlineStoreConfig、省略 OfflineStoreConfig,并使用 TableTrigger。

以下示例中, latest_device_state_1h 是一个符合以下要求的注册特征:

from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import OnlineStoreConfig, TableTrigger

fe = FeatureEngineeringClient()

materialized = fe.materialize_features(
    features=[latest_device_state_1h],
    online_config=OnlineStoreConfig(
        catalog_name="main",
        schema_name="feature_store",
        table_name_prefix="latest_device_state_serving",
        online_store_name="device_state_store",
    ),
    trigger=TableTrigger(),
)

对于离线训练和批量评分,特征工程客户端直接从源计算时间点值。 它不会读取此功能的离线物化结果。

注意事项

  • 到期时间仅会在触发时提前。 当源表提交触发物化刷新时,在线值及其过期时间会更新。 时间本身不会触发刷新。 如果源停止发布数据,最后一次物化的值会保留在在线存储中,直到之后的某次提交触发刷新。
  • 将时间序列列与源发布时间对齐。 时间序列列必须反映数据来源发布数据的时间。 否则,在线值和离线值会出现偏差,因为在线存储是在触发时间进行关联,而离线读取是在时间序列时间进行关联。
  • 将窗口时长设置为发布节奏的倍数。 如果持续时间 RollingWindow 不是源发布节奏的整数倍,某些值在离线训练期间被视为过期,但在线上仍可见。

按需特征和物化

RequestSource 值来自训练数据框架或推理请求,因此没有源表可供实现。 FeatureViewSource 特征在训练或提供服务期间对上游特征值应用 CustomUDF。 它们不会存储预先计算的结果。 对于基于 Delta 表的 CustomUDF 特征,也不支持物化。

对于一个依赖关系图,例如 revenue_sum_7d 和 cost_sum_7d 作为 margin 特性的输入:

  • 如需线下培训,请拨打 create_training_set 并使用 margin。 它会解析上游特征并计算时点值,并在可用时使用兼容的离线物化结果。
  • 对于在线服务,将支持的收入和成本特征物化到在线存储。 端点会查找它们,并为每个请求计算 margin。
  • 仅将受支持的上游功能传递给 materialize_features,不要传递给 margin,也不要传递任何基于请求的功能。 物质化不会递归地实现衍生特征的依赖关系。

仅使用请求支持功能的图表不需要在线商店。 参见 使用 FeatureViewSource 特征进行训练 和 提供派生特征。

权限

物质化需要对该功能以及源资源和目的资源拥有权限。 有关完整的 Unity 目录权限描述,请参见 Unity 目录权限参考。

  • 实现某项功能需要 MANAGE。 调用 materialize_features 负责创建和管理后台的 Lakeflow 管道和 Unity 目录表,因此这是一种管理操作。 你必须在特征上拥有 MANAGE 权限,以及读取被具体化的特征定义的 READ FEATURE 权限。

  • 删除实体化特征仅限于其创造者。 只有创建了实体化特征的用户才能使用 delete_materialized_feature 将其删除。 该限制与 Unity 目录权限无关: MANAGE 功能或其父模式不允许其他用户删除该功能。

  • 读取源数据需要 SELECT。 对于使用Delta表源的功能,你必须在源表上设置 SELECT 。 对于使用 Stream 源的功能,你必须对 Stream 的引入表具有 SELECT。

    关于流认证配置所需的其他权限,请参见 Kafka 认证。

  • 创建目标表需要 CREATE TABLE。 你必须在由 OnlineStoreConfig 或 CREATE TABLE 指定的每个架构上都拥有 OfflineStoreConfig。 离线和在线目的地可能存在不同的模式或目录,实现需要对每个目的地拥有权限。

  • 具体化到在线存储需要 CAN USE。 你必须在在线商店使用的Lakebase实例或项目中拥有 CAN USE 。 有关Lakebase权限的信息,请参见 “项目授权”。

  • 列出实体化功能需要在父功能上使用 READ FEATURE。 若要使用 list_materialized_features,你必须对已物化的特征具有 READ FEATURE 权限。

  • 读取物化数据需要 SELECT。 你访问的每个离线或在线输出表上都必须具有 SELECT。 READ FEATURE 在父特征上不会授予访问这些表的权限。

对于参与实体化的每个 Unity Catalog 资源,你还需要在其父 Catalog 上具有 USE CATALOG 权限,并在其父架构上具有 USE SCHEMA 权限。 此要求适用于该功能、每个源或 Stream 引入表以及每个已配置的目标。 在架构或目录上授予的 READ FEATURE 和 MANAGE 权限适用于其中包含的所有当前及未来特征。

API 数据结构

OfflineStoreConfig

脱机存储的配置,具体化后的特征将被写入到脱机存储中。 当调用 materialize_features 时,特征存储后端使用此前缀创建表。 每次管道运行时,都将根据具体化计划将最新特征值具体化到表中。

OfflineStoreConfig(
    catalog_name: str,        # Catalog name for the offline table where materialized features will be stored
    schema_name: str,         # Schema name for the offline table
    table_name_prefix: str    # Table name prefix for the offline table. The pipeline may create multiple tables with this prefix, each updated at different cadences
)
from databricks.feature_engineering.entities import OfflineStoreConfig

offline_store = OfflineStoreConfig(
    catalog_name="main",
    schema_name="feature_store",
    table_name_prefix="customer_features"
)

OnlineStoreConfig

联机存储的配置,联机存储用于存储模型服务使用的特征。 具体化将使用 catalog.schema.table_name_prefix 创建 Delta 表,并将这些表流式传输到具有相同名称的联机特征存储中。

from databricks.feature_engineering.entities import OnlineStoreConfig

online_store = OnlineStoreConfig(
    catalog_name="main",
    schema_name="feature_store",
    table_name_prefix="customer_features_serving",
    online_store_name="customer_features_store"
)

MaterializedFeature

表示已具体化的特征视图,即在 Unity Catalog 中具有可用的预计算表示形式。 离线表和在线表分别有独立的物化特征。 通常,你不会直接实例化 a MaterializedFeature 。

该 latest_backfill_operation 字段保存该物化特征最近一次回填的名称。 参见 回填特征视图。

API 函数调用

materialize_features()

将特征视图列表具体化到脱机 Delta 表中,或具体化到联机特征存储中。 在调用此函数之前,必须在 Unity 目录中注册功能(例如,使用 create_feature 或 register_feature)。 未注册的本地构造功能将不起作用。

FeatureEngineeringClient.materialize_features(
    *,                                                                     # Arguments are keyword-only
    features: List[Feature],                                               # List of Feature Views to materialize
    offline_config: Optional[OfflineStoreConfig] = None,                   # Offline store config (aggregation features only)
    online_config: Optional[OnlineStoreConfig] = None,                     # Online store config
    trigger: Union[CronSchedule, TableTrigger, StreamingMode],             # Materialization trigger
    tags: Optional[Dict[str, str]] = None,                                 # Custom tags for cost attribution
    budget_policy_id: Optional[str] = None,                                # Serverless usage policy for cost attribution
) -> List[MaterializedFeature]:

该方法返回具体化特征的列表,其中包含有关何时更新特征值的元数据,以及具体化功能的 Unity 目录表。

如果同时提供一个 OnlineStoreConfig 和一个 OfflineStoreConfig,则为每个提供的特征返回两个具体化特征,每个类型的存储对应一个特征。

参数 trigger 控制材质化管道的运行时间:

  • CronSchedule:按派生自特征计时的计划或调用方提供的 Quartz cron 计划运行。 支持批处理聚合功能(AggregationFunction 来自 DeltaTableSource)。
  • TableTrigger:当上游Delta表收到提交时运行。 支持 ColumnSelection 特征和聚合特征(AggregationFunction),由 DeltaTableSource. 对于聚合功能,管道被限制为最多每半个功能粒度(滑动窗口的滑动持续时间或翻转窗口的窗口长度)运行一次,上限为 1 小时,并且频率不得超过每 5 分钟一次。 例如,最多每30分钟一次,达到1小时的细度;最多每小时一次,细度达到2小时或更长。 该间隔从上一次运行开始计时,因此即使某次提交在该间隔结束后才到达,仍会立即触发一次运行。
  • StreamingMode:作为连续流式处理管道运行。 StreamSource 支撑的特征所必需的。 也支持由RollingWindow支持的ColumnSelection功能和DeltaTableSource聚合功能,该流程以微批处理模式读取表的变更数据馈送,而不是按计划运行。 请参阅从 DeltaTableSource 流式传输。

一个 materialize_features 调用可以包含带有不同触发条件、源和流水线的批处理功能。 每个来源、流程和时间表都有自己的任务。 流媒体功能需要单独调用。

要归属物化的成本,请传入 tags、budget_policy_id 或两者。 Azure Databricks 会将这些信息应用于其创建的作业或管道,因此其支出会在可计费使用情况系统表中带有你的归因信息。 两者都是在创造时应用的,因此将现有的实体化归因不同,意味着创造新的实体。 budget_policy_id 接受无服务器使用策略的 ID。 要创建一个并获取其ID,请参见 创建无服务器使用策略。 关于标签限制、每个值达到的资源以及如何查询归属支出,请参见 功能商店成本管理。

具体化到脱机存储

from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
    CronSchedule, OfflineStoreConfig,
)

fe = FeatureEngineeringClient()

materialized = fe.materialize_features(
    features=features,
    offline_config=OfflineStoreConfig(
        catalog_name="main",
        schema_name="feature_store",
        table_name_prefix="customer_features"
    ),
    trigger=CronSchedule(
        quartz_cron_expression="0 0 * * * ?",  # Hourly
        timezone_id="UTC",
    ),
)

具体化到联机存储

Note

要将大部分聚合功能实现到线上商店,你也必须实现到线下商店。 offline_config 和 online_config 均为必需。 online_store_name必须引用现有的在线特征库。 有关创建一个的说明,请参阅 Databricks Online 特征库。

ColumnSelection 特征不需要 OfflineStoreConfig。 请参阅 ColumnSelection 具体化。

带 RollingWindow 的批处理 Last 特殊情况也仅支持在线使用。 参见 Materialize新鲜度受限的最新数值。

from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
    CronSchedule, OfflineStoreConfig, OnlineStoreConfig,
)

fe = FeatureEngineeringClient()

materialized = fe.materialize_features(
    features=features,
    offline_config=OfflineStoreConfig(
        catalog_name="main",
        schema_name="feature_store",
        table_name_prefix="customer_features"
    ),
    online_config=OnlineStoreConfig(
        catalog_name="main",
        schema_name="feature_store",
        table_name_prefix="customer_features_serving",
        online_store_name="customer_features_store"
    ),
    trigger=CronSchedule(
        quartz_cron_expression="0 0 * * * ?",  # Hourly
        timezone_id="UTC",
    ),
)

将流式特性实体化

流式处理特征只能具体化到联机存储;不支持 offline_config 参数。 不支持脱机具体化,因为流式处理特征需要实时管道来确保亚秒级新鲜度。 对于脱机训练或评估,特征工程客户端将根据评估的每个数据点重新计算特征值。

流式特性不能在同一次 materialize_features 调用中与批处理特性混用。

from databricks.feature_engineering import FeatureEngineeringClient
from databricks.feature_engineering.entities import (
    OnlineStoreConfig, StreamingMode,
)

fe = FeatureEngineeringClient()

materialized = fe.materialize_features(
    features=[streaming_feature],
    online_config=OnlineStoreConfig(
        catalog_name="my_catalog",
        schema_name="my_schema",
        table_name_prefix="streaming_features_serving",
        online_store_name="feature_store_online"
    ),
    trigger=StreamingMode(),
)

list_materialized_features()

返回由全名标识的单个特征的具体化结果。 feature_name 是必填项,且仅可通过关键字传递。 若要查看多个特征的实体化,请先列出某个目录或架构中的特征,然后对返回的每个特征调用 list_materialized_features。

默认情况下,最多返回 100 个物化结果。 可以使用参数更改此限制 max_results 。

FeatureEngineeringClient.list_materialized_features(
    *,                                      # Arguments are keyword-only
    feature_name: str,                      # Required: full name of the feature whose materializations to list
    max_results: int = 100,                 # Maximum number of materializations to return
) -> List[MaterializedFeature]:

delete_materialized_feature()

在删除具体化功能之前,请删除或更新引用该功能的任何模型或功能规格。

删除已具体化的特性。 要传递的功能取决于功能类型:

  • 聚合特征:传入离线实体化特征。 如果同一功能存在联机具体化功能,则会删除两者。 对于带 RollingWindow 的仅在线批处理 Last 特征,传入在线物化的特征。
  • ColumnSelection 特征:传入在线实体化特征。 ColumnSelection 特征仅具体化到联机存储(请参阅 ColumnSelection 具体化),因此没有配对的脱机特征。

具体化过程中,功能按数据源和汇总时段进行组合,以提高效率。 ColumnSelection 特征没有聚合窗口,因此它们仅按数据源分组。 在删除所有分组特征之前,实体化管道、离线表和在线表都不会被删除。 若删除了某个组中的最后一个具体化特征,特征存储会将相关资源安排为由后台进程自动清理。 请参阅 后台资源清理。

要清理具体化特征,请查看与具体化特征关联的表。 在清理计算和 Delta 表资源之前,必须删除表中的每个功能(每列一个)。

使用 list_materialized_features() 获取 materialized_feature 参数。

FeatureEngineeringClient.delete_materialized_feature(
    materialized_feature: MaterializedFeature,  # Required: The materialized feature to delete
) -> None
from databricks.feature_engineering import FeatureEngineeringClient

fe = FeatureEngineeringClient()

feature_names = [
    "main.feature_store.amount_sum_sliding_7d_1d",
    "main.feature_store.amount_sum_sliding_30d_1d",
    "main.feature_store.transaction_count_sliding_7d_1d",
    "main.feature_store.latest_transaction_amount",
    "main.feature_store.latest_user_tier",
]

for name in feature_names:
    mfs = fe.list_materialized_features(feature_name=name)   # required, keyword-only
    offline = [mf for mf in mfs if not mf.is_online]
    for mf in (offline or mfs):
        fe.delete_materialized_feature(materialized_feature=mf)
    fe.delete_feature(full_name=name)

后台资源清理

删除具体化功能时,Databricks 会立即删除功能元数据。 关联的基础结构(表、管道和作业)由后台进程异步清理。

由于多个具体化特征可以共享相同的表和管道,因此,只有在引用这些资源的所有具体化特征都已被删除后,这些共享资源才会被删除。 当共享一组表的最后一个物化特征被删除时,后台进程会自动删除以下资源:

  • 包含物化特征数据的离线 Delta 表
  • 联机表(如果特征已具体化到联机存储)
  • 物化管道
  • 编排作业

此后台进程使用由 Databricks 托管的系统服务主体,为你执行这些清理操作,包括删除工作区中的表、管道和作业。 你无需执行任何操作。 清理工作由特征存储全面管理。

Note

删除组中最后一个具体化特征与移除关联的表和其他资源,这两个操作之间可能存在短暂延迟。

查看具体化状态

要查看 Azure Databricks UI 中功能视图的物化状态并调试物化错误,请参见 在 Unity Catalog 中浏览功能视图。

验证RollingWindow端到端的新鲜度

Note

新鲜度验证使用 Lakebase 变更数据馈送(CDF),该功能处于公开预览阶段。 工作区管理员必须先启用 Lakebase Change Data Feed 预览,才能启用 CDF。

本节仅适用于 RollingWindow 聚合。 批处理功能不会暴露这里描述的流式新鲜度元数据。

流式 RollingWindow 特征物化到 Lakebase 在线商店中,并带有每行新鲜度元数据。 使用 CDF,你可以将在线表的每次更新都记录到 Unity Catalog 中的 Delta 历史表,并测量端到端的新鲜度,而无需运行额外的流水线。 端到端新鲜度是指事件发生与其聚合值可供查询之间的滞后。

RollingWindow 功能如何输出行

对于一个 RollingWindow 功能,每个实体的值汇总了固定时间窗口内的事件(例如,过去一小时内的交易计数)。 窗口会持续向前滑动,因此会在两种情况下将一行记录写入在线存储:

  • 数据驱动更新 (is_timer = false):一个新事件到达并更新聚合。 该行反映了该时间范围内最近发生的事件。
  • 窗口过期 (is_timer = true):没有新事件到达,但时间推进,最早的事件落入窗口外或 过时。由于这些事件不再计入总计,值发生变化(例如计数减少),功能会在计时器上发出更新的行。 这一行反映了最早事件被淘汰的时刻,也就是该事件窗口的结束。

滚动窗口流式功能写入行的方式有两种:当新事件到达时进行数据驱动更新(is_timer = false),以及当最旧事件从窗口中过时更新(is_timer = true)。

无论哪种情况,event_time 都表示产生该行的更改发生的时间:新事件到达,或最旧的事件过期移出。因此,commit_time - event_time 表示该行的新鲜度,无论该行是如何发出的。

新鲜度元数据

每个流式在线行包含以下列:

列 Description
event_time 产生该行的更改发生的时间。 在数据驱动更新(is_timer = false)时,窗口中最近(最大)的事件时间。 在窗口过期更新(is_timer = true)中,最旧事件过期的时间:该事件的时间加上窗口持续时间。 如果在线表中保存的特征具有不同的窗口时长,则使用已到期的那个窗口。
output_time 发出时刻的流式窗口前沿(水印)。
is_timer 该行的发出方式:false = 新到达的事件推进了聚合(数据驱动);true = 窗口在定时器触发时向前推进,最旧的数据已过期(窗口过期)。
commit_time 该行被写入 Lakebase 在线存储的时间。

启用 CDF 时,每个变更都会附加到包含 CDF 元数据列的 lb_<online_table>_history Delta 表中。 _pg_change_type列(insert, update_preimage, update_postimage, 或 delete)标识每种变更类型。

在在线表上启用 CDF

Warning

使用 CDF 来验证端到端新鲜度,例如在测试管道或调整其配置时,而不是在生产环境的在线存储上持续监控新鲜度。 CDF 和 REPLICA IDENTITY FULL 会增加 Lakebase 实例的负载,主要是用于解码变更的 CPU 负载和额外的预写日志量。 开销会随着同步的表数量增加以及较大的列值(如数组或映射)而增加。 如果你在服务生产流量的在线商店启用CDF,提高最大计算单元(CU),以便 自动扩展 有余裕,并监控CPU和在线服务的延迟。

  1. Lakebase CDF 要求将每个源表的副本标识设置为 FULL,以便在捕获更新时包含完整的更新前后行映像。 在联机表上设置该项:

    ALTER TABLE <schema>.<online_table> REPLICA IDENTITY FULL;
    
  2. 在在线商店启动 Lakebase CDF,选择源模式和目标 Unity Catalog 目录及模式。 有关设置细节,请参见 Lakebase变更数据流。

CDF 会在目标架构中创建 lb_<online_table>_history。

要停止捕获更改,请参见 禁用 Lakebase CDF。 禁用 CDF 会停止该项目中所有模式的数据馈送。 禁用CDF后,你可以重置在线表的副本身份,以移除额外的预写日志卷:

ALTER TABLE <schema>.<online_table> REPLICA IDENTITY DEFAULT;

计算新鲜度

对于数据驱动行和窗口过期行,新鲜度均为 commit_time - event_time。 包含 is_timer,这样你可以比较两种发射类型,并将查询限定在你想要测量的时间段内。

SELECT
  event_time,
  commit_time,
  is_timer,
  (unix_micros(commit_time) - unix_micros(event_time)) / 1000 AS feature_freshness_ms
FROM <dest_catalog>.<dest_schema>.lb_<online_table>_history
WHERE _pg_change_type IN ('insert', 'update_postimage')
  AND commit_time >= (
    SELECT max(commit_time) - INTERVAL 1 DAY
    FROM <dest_catalog>.<dest_schema>.lb_<online_table>_history
  );

feature_freshness_ms 是事件时间到在线商店写入的延迟,单位为毫秒。 这是可供服务使用的值的新鲜度。

Note

当你在已有行的联机表上启用 CDF 时,初始快照会将每个现有行作为 insert 复制到历史表中。 复制的每一行都保留该实体上一次写入的 event_time 和 commit_time,因此其新鲜度值是准确的,但快照每个实体只贡献一个样本。 要只测量馈送捕获的写入,请等到 Lakebase CDF 标签页中表格状态从 Snapshotting 变为Streaming时,记录时间,并用它作为下界而非 max(commit_time) - INTERVAL 1 DAY。 联机表的架构更改会触发另一个完整快照,从而重复写入源已经捕获的内容。 不要过滤掉所有 insert 行,因为每个新实体的第一次写入也是 insert。

解读结果

  • 跟踪 feature_freshness_ms 的 p50 和 p99,比较数据驱动的 (is_timer = false) 行与窗口过期的 (is_timer = true) 行。
  • 预计在 实时模式 批处理边界(默认为 5 分钟)会出现小幅周期性峰值,此时流水线会短暂停顿,以执行检查点保存并提交。 在默认间隔下,这通常可以忽略不计。
  • 注意罕见的长尾(最大值,超过 p99)。 它反映的是管道补处理积压数据,而非稳态,尤其是在重启后,如维护重启,此时管道会处理缓冲的事件。 在排除重启的窗口内测量稳态新鲜度,并分别评估重启峰值。

局限性

批处理功能

  • 批量具体化管道以无服务器 Lakeflow 管道的形式运行。
  • 批处理滚动窗口特征无法实体化,但在Last中描述的仅限在线的特殊情况除外。 对于离线训练或批量推断,系统会针对每个时间点查找请求,基于源数据计算滚动窗口特征。
  • ColumnSelection 特征只能具体化到联机存储中。
  • RequestSource、FeatureViewSource 和 CustomUDF 特征无法物化。 参见 按需功能和实体化。
  • 如果某个 SdpSource 特征的源流水线更新失败,物化运行也会失败。 请参见 将 Lakeflow 管道用作特征源。
  • 只能在生成具体化特征的工作区中删除具体化特征。
  • 只有创建实体化功能的用户可以删除该功能,无论该功能或其父模式的 Unity 目录权限如何。
  • 对于具体化聚合特征,无法直接删除联机具体化特征。 删除配对的脱机具体化特征,更改将同时传播到这两个配对特征。
  • 对于在 2026 年 4 月 20 日之前创建的具体化聚合特征,具体化管道将继续生成新的特征值,直到删除管道中的所有具体化特征,这会触发资源清理。 要创建支持按特征删除的更新管道,请删除特征,然后重新具体化特征。
  • 对于具体化的 ColumnSelection 特征,具体化管道会继续生成新的特征值,直到管道中的所有具体化特征都被删除,从而触发资源清理。

流式功能

  • 流式处理特征只能具体化到联机存储中。 不需要进行离线实体化,因为训练阶段使用的流式特征被设计为可根据每个数据点对应的历史事件重新计算,从而实现毫秒级精度。
  • 在单个 materialize_features 调用中,不能混合使用流式处理特性与批处理特性。
  • compute_features 不支持流式功能。
  • 工作区必须位于支持 Lakebase 实例的区域。
  • Kafka 消息可以使用 JSON、Avro 或 Protobuf。 关于模式要求和模式注册表的限制,请参见 模式注册表。
  • 流式聚合功能仅支持 RollingWindow 和 SawtoothWindow。 TumblingWindow 和 SlidingWindow 应与批处理功能一起使用。 请参见 流式功能的时间窗口。
  • 对于流式特征,仅支持 Count、Avg、Min、StddevPop、FirstDistinct、Sum、First、LastDistinct、Max、Last、FirstN 和 LastN 聚合函数。
  • 来自流式源的列选择功能无法处理乱序消息。 显示 Kafka 流的最新事件,即使时间列值早于以前收到的事件也是如此。
  • 流处理管道每周会重启两次。 每次重启可能会导致处理延迟和启动时间长达 1 分钟。 排除重启情况,p99 数据新鲜度为 200 毫秒。
  • 流式处理功能无法使用 backfill_features 回填。 要向用于训练的流添加历史数据,可以在该流上配置回填源。
  • 在线存储中的 RollingWindow 功能仅涵盖具体化开始后到达的事件,因此其值仅在其完整的 window_duration 过去后才完整。 SawtoothWindow 功能在具体化开始时从流的引入表计算其历史值。 如果你稍后更正引入表中的数据,具体化不会重新计算这些值。
  • 仅支持 Databricks 在线特征存储。
  • 流式具体化管道以无服务器 Lakeflow 管道的形式运行。