适用于:
SQL
Important
此功能在 Beta 版中。
您无需启用预览即可使用 CREATE TABLE ... FLOW。
创建一个 Unity 目录管理表,其数据由单一追加流程写入。 运行该语句后,Azure Databricks 会创建一个无服务器管道,运行流程以填充该表。 你可以按需或按计划刷新表格,就像刷新 流媒体表格一样。
与流式表不同,其结果是一个标准的管理型 Delta 表,没有任何后台表。 下游用户和工具会像处理其他托管表一样使用它。
要在管道中定义此类表,包括包含多个流写入的表,请参见 CREATE TABLE ...FLOW(管道)。
Requirements
CREATE TABLE ... FLOW 具有与其他独立管道相同的要求,包括支持无服务器账户和支持 Unity 目录的工作区。 要创建表,您需要对目标架构拥有 CREATE TABLE 权限。 请参阅 要求。
Syntax
CREATE TABLE table_name
[ table_specification ]
[ table_clauses ]
flow_clause
table_specification
( { column_identifier column_type [ column_properties ] } [, ...]
[ CONSTRAINT expectation_name EXPECT (expectation_expr)
[ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )
column_properties
{ NOT NULL |
GENERATED ALWAYS AS ( expr ) |
COMMENT column_comment |
MASK clause } [ ... ]
table_clauses
{ PARTITIONED BY (col [, ...]) |
CLUSTER BY clause |
COMMENT table_comment |
TBLPROPERTIES clause |
schedule |
WITH { ROW FILTER clause } } [...]
schedule
{ SCHEDULE [ REFRESH ] schedule_clause |
TRIGGER ON UPDATE [ AT MOST EVERY trigger_interval ] }
schedule_clause
{ EVERY number { HOUR | HOURS | DAY | DAYS | WEEK | WEEKS } |
CRON cron_string [ AT TIME ZONE timezone_id ]}
flow_clause
FLOW INSERT BY NAME query
将所有表格子句放在关键字之前 FLOW 。
Parameters
-
要创建的表的名称。 该表必须位于 Unity 目录目录中。 如果名称未经过限定,表将在当前目录和架构中创建。
名称不得属于现有的流表或物化视图。
table_specification
此可选子句定义了列、其类型、属性、描述以及数据质量期望。 如果省略,则该架构将通过流程查询推断。
-
列的唯一名称。
-
指定列的数据类型。
不是无效的
如果指定,该列不接受
NULL数值。始终生成为( expr )
当您指定此子句时,该列的值由指定的
expr决定。评论column_comment
一个
STRING字面意义上的词,描述了这篇专栏。MASK 子句
添加列掩码函数以对敏感数据进行匿名化处理。 请参阅 行筛选器和列掩码。
CONSTRAINT expectation_name 期待 (expectation_expr) [ 违反 { 失败 UPDATE |丢弃行 } ]
向表中添加数据质量期望值。
FAIL UPDATE当某行违反期望值时,刷新会失败。DROP ROW期望值会删除每违反该期望的行。 请参阅通过管道预期管理数据质量。
-
分区为(栏[, ...])
(可选)按列的子集对表进行分区。 不能合并
PARTITIONED BY和CLUSTER BY。CLUSTER BY 子句
(可选)在表上启用 液体聚类 分析。
评论table_comment
一个
STRING描述表格的字面值。TBLPROPERTIES 子句
(可选)设置一个或多个用户定义的表属性。
赛程
可选地自动刷新表格。
SCHEDULE并TRIGGER ON UPDATE遵循与 相同的 CREATE STREAMING TABLE规则和限制。 如果省略计划,表仅在运行REFRESH时刷新。WITH ROW FILTER 子句
向表中添加行筛选器函数。 对表的查询只返回函数计算为
TRUE的行。 请参阅 行筛选器和列掩码。按名称流 INSERT 查询
定义写入表的追加流程。 结果
query中的列按名称与表列匹配。query通常是流式读取,如STREAM(source_table)或STREAM read_files(...)。 每次刷新只追加自上次刷新以来已到达源的数据。
刷新表格
虽然结果是一个托管表,但你用 REFRESH STREAMING TABLE 以下语句刷新它,就像流表一样:
-- Process new data and wait for the refresh to finish
REFRESH STREAMING TABLE main.sales.orders_bronze;
-- Start a refresh and return immediately
REFRESH STREAMING TABLE main.sales.orders_bronze ASYNC;
-- Reprocess all source data
REFRESH STREAMING TABLE main.sales.orders_bronze FULL;
Warning
完整刷新会截断表并重新处理源中所有可用的数据。 如果源头保留数据的时间有限,比如 Kafka,那么已从源头中过时的数据就会丢失。
在刷新之间,你可以运行 DML 命令,例如 DELETE 对表运行。
Limitations
- 该表必须在 Unity 目录中。
hive_metastore该目录不被支持。 - 一个
CREATE TABLE ... FLOW语句定义了一个表和一个流程。 要从多个流程写入表,请在管道中定义该表。 参见CREATE TABLE......流动(管道)。 -
CREATE TABLE ... FLOW如果该表已经存在,则失败。CREATE OR REFRESH TABLE ... FLOW是无效语法,且CREATE OR REPLACE TABLE ... FLOW不被允许。 -
CREATE TEMPORARY TABLE ... FLOW而且CREATE EXTERNAL TABLE ... FLOW不被允许。 -
FLOW AUTO CDC不支持且在 时MANAGED_TABLE_DOES_NOT_SUPPORT_CDC失败。 要应用变更数据捕获(CDC),请使用 AUTO CDC FLOW 子句。 -
FLOW REPLACE WHERE不支持且在 时UNSUPPORTED_FEATURE.REPLACE_WHERE_ON_MANAGED_TABLE失败。 - 您不能重复使用现有流表或物化视图的名称。 将名称重新定义为不同的表类型时失败。
CANNOT_CHANGE_TABLE_MODEL_TYPE先删除现有表。 -
TARGET FRESHNESS不支持且在 时TARGET_FRESHNESS_REQUIRES_ETL_PIPELINE失败。 要使用目标新鲜度,请在管道中定义该表。 -
PRIMARY KEY约束FOREIGN KEY条件被接受,但不会应用于表。 - 以下子句不受支持,且在解析语句时失败:
DEFAULT COLLATIONOPTIONSCLUSTERED BY ... INTO num_buckets BUCKETS-
ROW FORMAT和STORED AS WITH CREDENTIAL
Examples
-- Incrementally copy new rows from a Delta table
CREATE TABLE main.sales.orders_bronze
FLOW INSERT BY NAME
SELECT * FROM STREAM(main.sales.orders_raw);
-- Create a partitioned table with an explicit schema, an expectation, and table properties
CREATE TABLE main.sales.orders_by_region (
order_id BIGINT NOT NULL,
region STRING,
amount DECIMAL(10, 2),
CONSTRAINT positive_amount EXPECT (amount > 0) ON VIOLATION DROP ROW
)
PARTITIONED BY (region)
TBLPROPERTIES ('delta.enableChangeDataFeed' = 'true')
FLOW INSERT BY NAME
SELECT order_id, region, amount FROM STREAM(main.sales.orders_raw);
-- Create a table with liquid clustering
CREATE TABLE main.sales.orders_clustered (order_id BIGINT)
CLUSTER BY (order_id)
FLOW INSERT BY NAME
SELECT order_id FROM STREAM(main.sales.orders_raw);
-- Refresh the table on demand
REFRESH STREAMING TABLE main.sales.orders_bronze;