AI/BI 仪表盘中的数据集物化

Important

此功能在 Beta 版中。 要使用它,工作区管理员必须在预览页面开启 AI/BI 仪表盘实体化。 请参阅 Manage Azure Databricks 预览版。

AI/BI仪表盘基于仪表盘范围的数据集构建。 默认情况下,每个数据集都是实时评估的,所以每当仪表盘加载或查看器与之交互时,底层查询、加入和源扫描都会在你的SQL仓库上重新运行。 对于基于昂贵源查询或大量连接构建的仪表盘,每次交互都重复运行这些查询既慢又昂贵。

数据集物化会预先计算并存储数据集背后的结果,因此繁重的计算工作会按计划一次性完成,而不是在每次加载仪表板或与之交互时都执行。 交互随后会基于存储的结果进行呈现,从而使已发布的仪表板响应更快。

物质化使用Unity Catalog的度量视图物质化技术。 请参阅 指标视图的具体化。

什么会被物化

物化会预先计算并存储数据集数据。 两种数据集类型之间存储的内容不同:

  • 对于SQL数据集,完整的查询结果会被预先计算并存储。
  • 对于局部度量视图,存储行级数据模型(源数据、连接字段和过滤字段),而测量值仍会在查询时基于预计算的基底计算。

Benefits

数据集物质化带来了以下好处:

  • 更快的仪表板,无需重新建模。 昂贵的联接和数据源扫描按计划定时运行一次,而不是在每次加载时都运行,从而消除了查看者在仪表板重新查询大型表时需要等待的情况。
  • 降低读取时的仓库成本。 预先计算基础数据模型可以避免为每位查看者在每次页面加载时重复执行相同的高开销查询,从而减少冗余的数据仓库资源消耗。
  • 没有运营开销。 Azure Databricks 会为你创建、存储并刷新具体化的数据。 没有流水线、模式或存储需要管理。

Costs

数据集物质化会产生存储和计算成本:

  • 存储。 你为存储实体化数据付费。 收费取决于所使用的存储类型。 关于 Unity 目录中存储的概述,请参见 使用 Unity 目录连接云对象存储。
  • 计算。 初始创建和刷新运行在无服务器的 Lakeflow 管道上,会产生计算费用。 请参阅Lakeflow 管道价格。

权衡这些成本与避免对源数据进行重复扫描和联接所节省的成本。 选择一个平衡数据新鲜度与计算成本的刷新计划。

何时使用实体化

物化并不总是提升性能的正确手段。 其优势在于,将对数据集进行反复的完整重算(扫描和联接)替换为读取预先计算好的表。 当符合以下一项或多项条件时,将数据集物化:

  • 高度互动的仪表盘。 该仪表盘提供多种筛选、交叉过滤和下钻功能。 如果不进行物化,每次交互都要重新运行数据集查询,因此预先计算这些数据集的结果会在一次会话中反复带来收益。
  • 昂贵的数据集。 数据集基于多表联接、开销较大的视图或公用表表达式 (CTE)、窗口函数,或跨多个表的联合。
  • 大表上的选择性筛选 数据集从数十亿行中选择一个小子集,比如某个地区或最近7天。 物化仅存储较小的子集。
  • 可接受按计划刷新的数据时效性。 数据只需与仪表盘的刷新计划一样新鲜,比如每小时或按日更新,而不必实时更新。

对于很少加载的小型数据集或仪表盘,实时查询通常足够快,实体化可能不值得花费成本。 由于物化可针对每次发布和每个数据集单独选择启用,因此你只需在确有收益的地方使用它。

要求

  • 访问 AI/BI 仪表板。
  • 仪表盘通过 共享数据权限 选项发布。 不支持对使用单独数据权限发布的仪表板进行物化。 请参阅什么是共享数据权限?
  • 工作区支持无服务器计算。 初始创建和刷新运行在无服务器的 Lakeflow 管道上。 请参阅 设置无服务器 SQL 仓库。
  • 可以对运行 Databricks Runtime 17.3 及以上版本的 SQL 仓库使用权限。

启用数据集物质化

默认情况下,系统会选择将数据集实体化,但仪表板默认不启用实体化,直到你在发布时开启将数据集实体化选项。

选择要物化的数据集

在 数据 标签页中,点击数据集旁的物质化图标以包含或排除该数据集。

数据选项卡中,一个数据集显示绿色实体化图标,另一个数据集显示未选中图标。

当你将某个数据集排除在物化之外时,针对该数据集的查询会返回实时结果,而针对已物化数据集的查询则会反映最近一次物化运行的结果。 当所有数据集使用相同的物质化计划时,控件的数据新鲜度保持一致。

发布时启用物化

  1. 在草稿信息中心中点击发布。
  2. 在发布对话框中选择 共享数据权限 。
  3. 开启 “Materialize datasets” 选项,将 数据标签中 选中的数据集实现。
  4. 单击“发布”。

发布对话框,选择共享数据权限,并选择“数据实体化”选项。

在每次发布时开启 “Materialize datasets” 选项。

设定刷新计划

物化数据会按照仪表盘的刷新计划进行刷新。 使用仪表板计划来调整刷新频率。

如果仪表板没有计划,启用物化发布将添加每日刷新计划。 现有的时刻表得以保存。 没有活动计划,物质化数据在创建后不会自动刷新。

仪表板的“计划”面板显示刷新计划的“数据集已物化”徽章。

查看物质化状态

在已发布的仪表板中,打开 Kebab 菜单图标。 菜单并选择 信息。 侧边栏显示每个具体化数据集的状态和刷新信息。

发布仪表盘的烤肉菜单,带有查看实体化状态的信息选项。

信息侧边栏列出了每个物化数据集的状态和刷新信息。

再利用与清理

Azure Databricks 管理你实体化数据的生命周期:

  • 跨修订重复使用。 如果仪表盘由同一用户重新发布且数据集保持不变,现有的实体化将被重用,避免计算浪费。
  • 自动清理。 Azure Databricks 会删除已发布仪表板不再引用的物化结果,例如在定义更改或取消发布之后。

重新发布不一定会刷新实体化数据。

局限性

数据集具体化存在以下局限性:

  • 仅发布仪表盘。 实体化适用于已发布的仪表盘。 草稿继续查询实时数据。
  • 没有参数化数据集。 定义参数的数据集无法被物质化。 如果你将参数化数据集设为进行具体化,Azure Databricks 会将其报告为失败,而不是对其进行具体化。
  • 刷新仅遵循仪表板计划。 没有为每个数据集单独刷新的时间表。 物化按仪表板的计划刷新频率进行刷新。
  • 需要无服务器架构。 初始创建和刷新运行在无服务器的 Lakeflow 管道上,因此工作区必须启用无服务器计算。
  • 受保护的数据不会通过物化结果提供。 对于受行级安全、列掩码或基于属性的访问控制(ABAC)策略保护的源数据,无法创建实体化。 如果在物质化创建后为源表添加行级安全性,后续对度量视图的查询会绕过物质化,直接对源数据运行。
  • 共享需要的数据权限。 仅当你使用共享数据权限发布时,才能启用物化。 使用单独数据权限发布时,无法启用它。

常见问题解答

以下问题涵盖数据集物质化行为、刷新和权限。

具体化会改变我的指标或结果吗?

物质化保留了数据集的查询逻辑,但其数据反映的是最新成功刷新。 对于本地指标视图,度量是在查询时基于物化数据计算的。 请参阅哪些内容会被实体化。

如果物化尚未就绪或不可用,会发生什么?

如果实体化尚未准备好或查询时不可用,查询会返回错误,而不是查询实时数据。 等物质化完成后,再重新运行查询。

具体化的数据存储在哪里?

Azure Databricks 将物质化的数据存储在受管理的内部存储中,范围对应你发布的仪表盘。 你没有任何内容可以发布到 Unity 目录,也没有需要管理的模式或存储。 访问仍将遵循您的仪表板及底层数据权限。

具体化的数据多久刷新一次?

物化数据会按照仪表盘的刷新计划进行刷新。 参见 “设置刷新计划”。

物化使用什么计算资源?

初始创建和刷新都运行在由 Azure Databricks 管理的无服务器 Lakeflow 管道上。 这就是为什么必须在工作空间中启用无服务器计算。

实体化会影响权限吗?

No. 物质化不会赋予额外的数据访问权。 访问仍遵循仪表盘的共享配置及发布权限。

我重新发布时会发生什么?

当同一用户重新发布未更改的数据集时,现有的物质化可以被重复使用。 参见 重复使用与清理。 在每次发布时开启 “Materialize datasets” 选项。

其他资源