本文介绍 SQL 分析终结点是什么、它如何与 Lakehouse 保持同步,以及管理该同步所需的控件。SQL 分析终结点通过后台进程自动检测更改并更新其 SQL 元数据。 你还可以通过 Fabric 门户、REST API 或 T-SQL 存储过程手动刷新 SQL 分析终结点元数据。
元数据同步后台进程从 /Tables OneLake 中的文件夹中读取 Delta 日志,并使 SQL 架构保持最新状态。
Fabric 会自动保持 SQL 分析端点与底层湖屋的同步。 没有要设置的基础结构,在大多数情况下,不需要用户操作。 平台负责:
- 表发现 ——检测湖屋中新创建或删除的 Delta 表,并在端点中创建或移除相应的 SQL 表。
- 数据新鲜度 ——检测对现有表中数据所做的更改(插入、更新、删除),并确保查询返回最新结果。
- 架构变更检测 ——检测现有 Delta 表中的列的添加、删除或类型变更,并刷新相应的 SQL 表定义。
有关此同步的工作原理和影响同步延迟的因素的详细信息,请参阅 SQL 分析终结点性能注意事项。
架构更改检测和元数据同步
Fabric 中的每个湖屋、仓库、数据库和镜像数据库都会自动配置自己的 SQL 分析端点,因此你可以用 T-SQL 和 TDS 协议查询 Delta 表,无需移动或复制数据。
- 每个湖屋、仓库、数据库和镜像数据库都恰好有一个SQL分析端点。
- 基础项中的每个 Delta 表自动显示为终结点中的 SQL 表。
- 该端点对于自动生成的表仅具有只读权限。 可以使用自己的 SQL 架构、视图、存储过程和函数扩展模型。
- 终结点由与Fabric Data Warehouse相同的计算引擎提供支持,因此它针对打开的 Delta 文件提供高性能、低延迟的 SQL 查询。
新的元数据同步
新的元数据同步选项会让数据在落地后几秒钟内保持查询可用。 您可以通过工作区设置为新的 SQL Analytics 端点启用新的元数据同步,或升级现有的 SQL Analytics 端点。
新的元数据同步过程包括以下功能:
- 用于分析 Delta 日志和创建目录的新外部表体系结构。
- 分离的体系结构,可以单独检测架构和数据更改,并相应地刷新目录。
- 一种定期检查数据是否更新的后台刷新。
- 当收到读取查询请求且系统检测到数据不是最新时,对数据执行按需刷新。
启用新的元数据同步
要为工作区启用新的元数据同步,请打开工作区设置,展开 Data Warehouse,然后选择“新建元数据同步”。
启用新的元数据同步后,工作区中新的 SQL 分析端点在刷新底层表的更改时会同步得更快。 此设置不会升级现有的 SQL 分析端点。 要升级现有的 SQL 分析端点,请按照 升级步骤操作。
当您在现有 Fabric 工作区中开始配置新的 SQL 分析端点时,工作区配置会自动设置为“新建元数据同步”。新的 SQL 分析端点使用此配置。
将现有 SQL 分析端点升级到新的元数据同步
在升级之前,请确定您的 SQL Analytics 端点所使用的元数据同步版本。 您可以在 Fabric 门户中或使用 REST API 检查版本。
检查 Fabric 门户中的版本
- 在您的工作区中,打开 SQL 分析端点。
- 在项标题中打开项目详细信息。
- 检查 元数据同步 值。 Legacy 表示 SQL Analytics 端点使用旧版元数据同步(V1)。
使用 REST API 检查版本
使用 Get SQL Endpoint 元数据同步迁移状态 ,查找项目内 SQL Analytics 端点和表的元数据同步版本。
检查响应中返回的元数据同步版本:
-
V1表示 SQL Analytics 端点使用旧版元数据同步。 -
V2指示 SQL Analytics 端点使用新的元数据同步。
-
运行升级评估
检查元数据同步版本后,使用 预检 SQL 端点元数据同步升级执行预检评估。 该评估在不修改每个表的情况下评估其升级准备情况。
查看每个表格的评估结果,并处理报告的问题:
-
多部分检查点:在升级之前,将使用多部分检查点的表迁移到单部分经典检查点或 V2 检查点。 对应的 Delta 检查点策略为
classic和v2。 这些策略与元数据同步版本 V1 和 V2 是分开的。 参见 Delta 表属性。 - 自上次检查点以来提交超过 1,000 次:在升级前考虑为该表创建一个检查点。
-
按 ID 进行列映射:如果表使用
id列映射模式,在移动到none或name之前,请查看管理该 Delta 表的运行时所支持的迁移选项。 不要认为直接更改delta.columnMapping.mode受支持。 移除列映射可能会重写数据文件,并要求您暂停并发写入程序。 对于由 Azure Databricks 管理的表,请遵循“移除列映射”。
-
多部分检查点:在升级之前,将使用多部分检查点的表迁移到单部分经典检查点或 V2 检查点。 对应的 Delta 检查点策略为
升级元数据同步
在您查看评估结果并解决报告的问题后,使用 升级 SQL 端点元数据同步 功能升级 SQL 分析端点。
Important
将升级规划为维护活动。 与预检评估不同,此次升级会更改 SQL 分析端点中的单个表。
请查看每个表的升级结果:
- 如果至少有一个表成功升级,SQL Analytics 端点会报告新的元数据同步(V2)。 任何未能升级的表会保留在 V1 上,不会自动同步。
- 如果没有表成功升级,SQL 分析端点仍处于旧版元数据同步(V1)状态。
如果有任何表升级失败,请处理报告的错误,并再次发送相同的 Upgrade SQL 端点元数据同步 请求。 在第二次及之后的尝试中,只有仍需升级的表会被升级。 已在 V2 上的表格保持不变。
如果您之前使用 Refresh SQL Analytics 端点元数据 REST API 来刷新元数据或安排刷新,对于使用新元数据同步的表,您现在无需再这样做。新元数据同步会自动处理元数据的新鲜度。 要刷新特定表,请考虑使用请求体中的
tables参数来刷新单个表。
查找上次更新元数据的时间
如果使用新版本的元数据同步,可以使用动态管理视图(DMV)获取有关 SQL 分析终结点的最新更新的详细信息。 使用 sys.dm_db_external_tables_log_status DMV 获取有关最新元数据同步的详细信息:
-
last_update_time_utc:表最后一次更新新数据的时间戳。 -
latest_log_version:该表中已更新到的最高 Delta 事务日志版本。 -
latest_checkpoint_version:已处理的最新Delta检查点版本。 -
is_blocked: 指示上次尝试更新表是被阻止(1)还是成功(0)。
有关详细信息,请参阅 sys.dm_db_external_tables_log_status。
新元数据同步的限制
- 新的元数据同步不支持多段式检查点这一已弃用的 Delta 功能。 如果 Lakehouse 表包含多部分检查点,它们将无法在新元数据同步中更新。
手动刷新
除了自动更新数据的后台进程外,还可以手动刷新元数据:
从门户刷新:在 Fabric 门户的 SQL 分析端点编辑器中,选择资源管理器工具栏中的刷新图标,以强制执行按需元数据同步。前往 SQL 分析端点的查询视图,并在工具栏中查找刷新按钮。
使用 REST API 刷新:使用 Refresh SQL Analytics 端点元数据 REST API 以程序化方式刷新 SQL Analytics 端点的元数据。 要刷新特定表,请使用该 API 的
tables参数。通过存储过程刷新:使用 sys.sp_dw_refresh_ext_table 系统存储过程 刷新 SQL 分析端点中特定表的数据。 此 T-SQL 方法需要 新的元数据同步。例如:
EXEC sys.sp_dw_refresh_ext_table "dbo.publicholidays";
仅在有架构变更(例如添加或删除表或列,或更改列类型)且需要刷新整个项目或一组表时使用 API。 对于 SQL 分析终结点中仅涉及数据的更改,请使用 sys.sp_dw_refresh_ext_table 系统存储过程来更新指定表。
若要优化基础 Delta 表以获取最佳元数据同步和查询性能,请参阅 SQL 分析终结点性能注意事项。