实时湖屋

Important

此功能在 Beta 版中。 联系 Databricks 帐户团队,在帐户中启用此功能。

Lakehouse//RT 正在积极开发中。 性能和受支持的功能集可能会发生变化。

Lakehouse Real-Time(Lakehouse//RT)是一种无服务器的 SQL 仓库类型,专为低延迟、高并发工作负载而设计,例如向自定义应用和 AI 代理提供分析数据、运行运维分析,或为需要数百到数千名并发用户提供不到秒响应的 BI 仪表盘运行。

Lakehouse//RT 针对存储在云存储中并采用 Delta Lake 或 Apache Iceberg 格式的 Unity Catalog 表,可提供低于亚秒级的 SQL 读取查询延迟。 它会在原地查询你的表,因此你无需将数据复制到另一个低延迟的服务数据库中才能获得快速响应。 创建和管理 Lakehouse//RT 非常类似于执行其他 SQL 仓库。 工作区管理员或特权用户为每个工作区创建一个或多个,并向用户分配权限。

何时使用 Lakehouse//RT

Lakehouse//RT 适合发送大量并发、选择性读取查询且要求每个查询在一秒内返回的工作负载。 使用下表为工作负载选择计算:

工作量 建议的计算
需要在高并发下实现亚秒级响应的选择性 SELECT 查询,例如应用后端和 AI 代理工具 Lakehouse//RT
长期运行的查询、跨大表的连接、提取、转换和加载(ETL)作业、写入或依赖非 ANSI SQL 行为的查询 无服务器 SQL 仓库
事务性工作负载,经常进行行级插入、更新和删除 Lakebase

Requirements

若要使用 Lakehouse//RT,必须:

在工作区中启用 Lakehouse//RT

工作区管理员可以在工作区中启用 Lakehouse//RT Beta:

  1. 在工作区菜单(右上角)中,转到 “预览”。
  2. 搜索 Lakehouse RT。
  3. 启用预览。

启用预览后, 实时 仓库类型在工作区的 SQL 仓库创建流中可用。

创建一个 Lakehouse//RT 仓库

要创建 Lakehouse//RT 仓库: 请按以下步骤操作:

  1. 转到 计算>SQL 仓库>创建 SQL 仓库。
  2. 选择 “实时”。
  3. 根据查询所需的性能,选择查询 大小: 小、 中、 大或 X-Large。
  4. 配置自动缩放,以设定每小时最多可计费的 DBU 数。
  5. 设置自动停止以控制空闲仓库何时停止。
  6. 输入仓库的名称。
  7. 单击 “创建” 。

若要分配权限,请授予 Can 使用、 可以监视或 可以管理 给用户和组的权限,与 SQL 仓库相同。 请参阅 SQL 仓库 ACL。 有关适用于所有 SQL 仓库类型的设置,请参阅 “创建 SQL 仓库”。

注释

您无法将现有的 SQL 仓库升级为 Lakehouse//RT,也无法将现有的 Lakehouse//RT 仓库降级为其他仓库类型。

调整 Lakehouse//RT 仓库的大小和规模

Lakehouse//RT 有控制性能和成本的设置:

  • 查询大小 控制单个查询可用的计算量。
  • 自动缩放 控制仓库扩展到多大以服务并发查询。
  • 自动停止 控制一个空闲仓库运行多久才会停止。

查询大小和自动扩展的工作方式与应用于 无服务器 SQL 仓库 的大小和扩展设置不同。

查询大小

查询大小决定了单个查询的最大计算能力,这决定了单个查询运行的速度。 它还会设定仓库运行的最低计算量,以及仓库运行期间你应被收取的最低费用。

你在创建仓库时设置查询大小。 选择 小号、中号、大号或 超大号。 更大的查询体积能让每个查询获得更多计算,从而获得更快的结果,同时成本也更高。

该设置在概念上类似于无服务器SQL仓库的大小,后者同样将可用的计算量设定为单一查询。

Autoscaling

自动扩展让仓库可以添加计算量以服务更多并发查询,然后在需求下降时释放。 你可以设置仓库可扩展的最大计算值,单位是DBU。 您可以设置每小时最多 960 个 DBU。

Lakehouse//RT 上的自动扩展与无服务器 SQL 仓库的集群扩展在几个方面不同:

  • 它按 DBU 计量,而不是按集群计量。
  • 最大值与查询大小无关。 请参见 “并发大小”。
  • Lakehouse//RT 自动扩展只增加和移除所需的计算量,而不是按集群的增量进行。

要查看仓库的扩展情况,可以使用其 监控页面。

并发规模

若要同时处理大量并发查询,请使用自动扩展方式扩展,而不是选择更大的查询大小:

  1. 选择满足单个查询延迟目标的最小查询大小。
  2. 将自动缩放的最大值设置得足够高,以处理并发查询峰值。
  3. 在 监控页面上关注排队查询。 如果查询在峰值负载时排队,请提高自动缩放的最大值。

一个拥有高自动扩展最大值的 Lakehouse//RT 仓库可以扩展到无需添加仓库的情况下,处理大量并发查询。 如果您需要更高的并发量,请联系您的 Azure Databricks 账户团队。

自动停车

自动停止是在仓库闲置一段时间后终止,这样空闲仓库不会继续积累费用。 创建仓库时,设置空闲超时时间。

Lakehouse//RT 上的自动停止功能和无服务器 SQL 仓库一样。 关于默认值和最小值,请参见 配置SQL仓库设置。

监控 Lakehouse//RT 活动

你可以像其他 SQL 仓库一样监控 Lakehouse//RT 仓库及其查询:

评估您的工作负载

在将工作负载迁移到 Lakehouse//RT 之前,先用自己的查询测试,并与当前仓库进行延迟对比:

  1. 选择您的应用程序或仪表板最常运行的查询,并确认它们在无服务器 SQL 仓库中几秒钟内即可运行。
  2. 创建一个 Lakehouse//RT 仓库,并对其运行同样的查询。 使用相同的表,因此无需数据移动。
  3. 修复任何因使用 不支持功能 或超出 保护栏而失败的查询。
  4. 在 查询历史系统表中比较这两个仓库之间的延迟。

要比较两个仓库之间的中位数和第 90 百分位延迟,请运行以下查询,并将占位符 ID 替换为你的仓库 ID。 你需要拥有对 system.query.history 表的 SELECT 权限:

SELECT
  compute.warehouse_id,
  count(*) AS queries,
  percentile(total_duration_ms, 0.5) AS p50_ms,
  percentile(total_duration_ms, 0.9) AS p90_ms
FROM system.query.history
WHERE compute.warehouse_id IN ('<serverless-warehouse-id>', '<real-time-warehouse-id>')
  AND execution_status = 'FINISHED'
  AND start_time >= current_timestamp() - INTERVAL 1 DAY
GROUP BY compute.warehouse_id;

查询会比较过去一天每个仓库上完成的查询,因此只有当两个仓库运行相同工作负载时,结果才可比。 要将比较范围限制在测试查询中,请为它们设置 查询标签 ,并对 query_tags 列进行筛选。 请参阅 查询历史记录系统表参考。

护栏

为保护所有查询的低延迟,Lakehouse//RT 强制执行每次查询的资源限制。 超过保护栏的查询会返回错误,而不是运行缓慢,因此查询设计时应严格遵守这些限制。

Guardrail Limit Error
查询运行时 2 分钟 QUERY_RESOURCE_LIMIT_EXCEEDED 与子 QUERY_RUNTIME 类
语句超时 默认为1分钟。 您可以将其配置为最长 2 分钟,即达到查询运行时间上限。 QUERY_EXECUTION_TIMEOUT_EXCEEDED
每个阶段写入的 Shuffle 字节数 300 GB QUERY_RESOURCE_LIMIT_EXCEEDED 与 SHUFFLE_SIZE 子类
溢出大小 启用溢出功能时为 30 GB QUERY_RESOURCE_LIMIT_EXCEEDED 使用 SPILL_SIZE 子类
修剪后列出的文件 10,000 个文件,可调整至 50,000 QUERY_RESOURCE_LIMIT_EXCEEDED 使用 FILE_LIMIT 子类

Azure Databricks 可以更改这些限制。 QUERY_RESOURCE_LIMIT_EXCEEDED 错误返回 SQLSTATE 53400。

请采用以下方法以控制在限制范围内:

  • 查询运行时间:即使查询完成,接近限制的查询也无法达到亚秒级目标。 增加过滤条件或预先聚合。
  • Shuffle 字节:跨大表的宽连接或聚合可能超过限制。 使用物化视图预聚合,而不是在查询时连接大型表。
  • 列出的文件:在分区或 液体聚类 列上进行筛选,使查询只读取所需的文件。

数据新鲜度

为降低延迟,Lakehouse//RT 会重用最近缓存的表元数据。 查询结果相比对表的最新提交,可能会延迟几秒。

为 Lakehouse//RT 准备您的工作负载

在把工作负载搬到 Lakehouse//RT 之前,先做好准备。 要从头到尾测试工作负载,请参见 “评估您的工作负载”。

  • 使用 Unity Catalog 管理的表。 具 备预测性优化 和 液体聚类 的托管表,使您的数据能够根据查询模式保持聚类状态。
  • 验证查询是否具有选择性。 对于亚秒级延迟,请确认您的查询扫描的数据较少。 尽早使用 WHERE 子句进行过滤,只选择所需的列,并尽量利用聚合。 支持跨表联接,但如果发现查询变得复杂或速度缓慢,请考虑使用预先聚合数据的具体化视图来加快延迟。
  • 检查 SQL 覆盖范围。 Lakehouse//RT 仅支持符合 ANSI 标准的读取查询和 CREATE TABLE AS SELECT(CTAS)查询。 确认工作负荷符合 ANSI, 并避免“ 限制”下列出的不受支持的语句、函数和数据类型。

支持的功能

本节列出了 Lakehouse//RT 支持的工具、表类型和连接方法。 关于它不支持的内容,请参见 “限制”。

工具和接口

对于以下任一 Azure Databricks 功能,您都可以从计算选择器中选择 Lakehouse//RT:

要在 Lakehouse//RT 仓库上构建 AI/BI 仪表板,包括防护措施和仪表板特定的限制,请参阅 《在 Lakehouse Real-Time 上构建 AI/BI 仪表板》。

表类型

Lakehouse//RT 仅查询 Unity 目录数据。 为了获得最佳性能,请使用 Unity Catalog 管理的表,这些表为引擎提供所需的低延迟数据布局。

Lakehouse//RT 支持下表类型:

Connectivity

Lakehouse//RT 仅接受使用 语句执行 API 的连接。 它不支持遗留的 Thrift 协议。 通过 Thrift 向 Lakehouse//RT 仓库发送查询的驱动程序会收到带有 SQLSTATE KP001的错误。

要连接自定义应用或 AI 代理,请参阅 《在 Lakehouse Real-Time 上构建应用和代理》。

可以通过以下方式连接到 Lakehouse//RT 仓库:

  • 语句执行 API: 直接从外部应用程序调用 API。 请参阅 语句执行 API:在仓库上运行 SQL。 目前有两个版本可供选择:

    • 语句执行 API 版本 2: 使用此版本以获得最佳的 Lakehouse//RT 性能。 它针对 Lakehouse//RT 仓库进行了优化,具有更低的延迟和更高的并发性,并且在每次调用时都将 p warehouse_id 作为路径参数。 目前它仅支持 Lakehouse//RT 仓库。
    • 语句执行 API 版本 1: 适用于所有 SQL 仓库类型。 你也可以在 Lakehouse//RT 仓库上运行语句,版本 1 也支持,但版本 2 针对它们进行了优化。
  • Databricks 驱动程序: 将驱动程序的 HTTP 路径指向你的 Lakehouse//RT 仓库,并至少使用驱动程序所列的版本。 在这些版本中,驱动程序会自动检测 Lakehouse//RT,并使用针对其优化的连接路径,无需设置。 较早版本可以使用所列设置进行连接,但性能较低。 Azure Databricks 建议使用最新驱动程序版本以获得完整功能和最佳性能。

    注释

    明确设置为使用 Thrift(其中 use_kernel=False、 useKernel: false、 WithUseKernel(false)、 或 UseThriftClient=1)的驱动程序在使用 SQLSTATE KP001的 Lakehouse//RT 仓库时失败。

  • 支持的工具: 以下工具通过各自的连接器连接到 Lakehouse//RT:

Geospatial

Lakehouse//RT 支持 GEOGRAPHY 和 GEOMETRY 数据类型以及 st_ 和 h3_ 函数,但 限制 中列出的除外。

精细访问控制

Lakehouse//RT 支持对表、物化视图和受行筛选器和列蒙码保护的流式表进行读取查询,包括 Unity Catalog 内置的筛选器和蒙版。 过滤器和掩码可以直接分配给表,或通过基于属性的访问控制(ABAC)策略来应用。 请参见Unity Catalog中的 行筛选、列遮罩 以及 基于属性的访问控制。

使用支持策略管理的计算工具,如无服务器SQL仓库,以创建或更改行筛选、列掩码和ABAC策略。 Lakehouse//RT 在读取表时应用现有策略。 它不支持策略管理语句或向带有策略的表写入。 关于查询限制,请参见细粒度访问控制限制。

列遮罩结果类型

Lakehouse//RT 使用 ANSI 语义将列遮罩的结果强制转换回列声明的数据类型。 这适用于表级掩模和 ABAC 掩模。 如果结果无法转换为列的类型,查询将失败。

例如:

  • 对 BOOLEAN 列返回字符串 'REDACTED' 的遮罩会导致查询失败,因为该字符串无法被强制转换为 BOOLEAN。
  • 对于 INT 列返回 FALSE 的掩码会生成整数 0。

在Databricks运行时,表级列掩码会向查询暴露掩码的返回类型。 将同一查询迁移到 Lakehouse//RT 可能会改变其结果类型或导致类型转换错误。 在 Databricks Runtime 和 Lakehouse/RT 上,ABAC 掩码会将结果强制转换回列类型。 Databricks 建议使用与列类型相同的掩蔽函数。

受保护表的查询计划和配置文件

对于使用行筛选或列遮罩的查询,Lakehouse//RT 会限制 输出和 EXPLAIN 中显示的细节,以保护有关底层数据和策略逻辑的信息:

  • EXPLAIN 输出隐藏读取受保护数据或应用策略的查询步骤。 它还省略了计划统计数据。
  • 查询配置文件隐藏这些查询步骤,并省略受保护表的统计数据。

Troubleshooting

下表列出了常见错误及其解决方法:

Error 原因 解决方法
Thrift 协议错误(SQLSTATE KP001) 驱动程序通过Thrift连接。 配置驱动程序以使用语句执行 API。 参见 连接。
UNSUPPORTED_FEATURE (SQLSTATE 0A000) 查询使用了 Lakehouse//RT 不支持的语句、函数、数据类型或表类型。 消息中会指出该功能。 重写查询以避开此功能特性,或者在无服务器 SQL 仓库上运行。 请参阅限制。
QUERY_RESOURCE_LIMIT_EXCEEDED (SQLSTATE 53400) 查询超出了限制。 错误子类(QUERY_RUNTIME、SHUFFLE_SIZE、SPILL_SIZE或FILE_LIMIT)表示该限制。 提前筛选,选择更少的列,或使用物化视图进行预聚合。 参见 Guardrails。
QUERY_EXECUTION_TIMEOUT_EXCEEDED 查询运行时间超过语句超时限制。 优化查询,或将语句超时提高到不超过查询运行时间限制。
带有列掩码的表上的类型转换错误 蒙版返回一个无法转换为列类型的值。 使用返回列数据类型的遮罩函数。 参见 列蒙版结果类型。
403 Forbidden 读取存储时 存储防火墙会阻止无服务器计算访问存储。 配置您的防火墙以支持无服务器计算。 请参阅为无服务器计算访问配置防火墙。

如果问题仍然存在,请收集以下信息并联系 Azure Databricks 支持:

  • 错误消息。
  • 查询概要文件的导出,包括原始查询文本。
  • 如果查询在 AI/BI 仪表板中运行,则提供指向仪表板的链接。
  • 确认同一查询运行在无服务器 SQL 仓库上。

Pricing

有关价格信息,请参见 Databricks定价页面。

Limitations

当查询使用不支持的功能时,Lakehouse//RT 将返回一个错误来命名该功能。 若要成功运行查询,请改用无服务器 SQL 仓库。

工具和功能

Lakehouse//RT 不支持以下功能:

  • Genie,包括 Genie Agents
  • 作业任务

表类型

Lakehouse//RT 不支持下表类型:

  • Unity Catalog 默认存储中的表
  • Unity Catalog 中的外部表
  • Hive 元存储表(托管或外部)
  • 外部表和查询联合 (Lakehouse Federation)
  • Delta Sharing 表
  • 临时表
  • 使用其他数据格式的表(CSV、JSON、Avro、Parquet、ORC 和文本)

细粒度访问控制限制

涉及行筛选或列遮罩的查询有以下限制:

  • 在受保护的表上使用 table_changes 进行变更数据馈送读取不受支持。
  • 不支持附带到视图的ABAC政策。
  • 在策略函数内的聚合中,多个 DISTINCT 参数集会因 UNSUPPORTED_FEATURE 而失败。 共享相同 DISTINCT 参数的聚合以及外部查询中的聚合仍然受支持。

驱动程序和连接器

Lakehouse//RT 不支持 Simba Spark ODBC 驱动或 Databricks 的 ODBC 驱动。 改用 Databricks OSS ODBC Driver 吧。

SQL 语言

Lakehouse//RT 仅在 ANSI 模式下 运行 SQL 读取查询。 它会严格根据 ANSI SQL 规则评估所有隐式类型转换 (Coercion) 和强制类型转换 (Cast),且该行为无法关闭。 在 ANSI 语义下,依赖于非 ANSI 行为的查询可能:

  • 引发运行时错误,而不是静默生成 NULL。 例如,将非数值字符串强制转换为数字。
  • 如果不存在安全的公共类型,则会在分析阶段引发错误。 例如,COALESCE、CASE、IN,或者对不兼容的类型执行集合运算。
  • 返回与旧模式不同的结果类型,因为 ANSI 字符串提升和数值扩大选择安全、无损失的类型。

若要获取可预测的结果,当 ANSI 模式隐式转换不生成预期行为时,请使用显式 CAST 表达式。

Lakehouse//RT 不支持以下各项:

  • 函数:AI 函数、Python UDF 以及 XPath 和 XML 函数。
  • 空间函数:st_buffer、st_envelope_agg、st_concavehull、st_simplify和st_union_agg。
  • H3函数: h3_tessellateaswkb、 h3_try_tessellateaswkb和 h3_getpentagoncellids。

Lakehouse//RT 用于读取(SELECT)查询和 CREATE TABLE AS SELECT(CTAS)。 不支持其他写入和 ETL 命令,包括:

  • 写入操作:INSERT、UPDATE、DELETE和MERGE。
  • DDL: CREATE (CTAS除外)、 ALTER、、 DROP以及其他用于创建或修改对象的语句。
  • 安全语句: GRANT 以及 REVOKE。
  • 脚本、存储过程、临时表和多语句事务。
  • Delta Lake 维护:OPTIMIZE、ANALYZE、VACUUM和REFRESH。

Compliance

Lakehouse//RT 不支持 合规安全配置文件。