CREATE TABLE ...FLOW(管道)

Important

此功能在 Beta 版中。

使用 CREATE TABLE ... FLOW 语句在管道中创建托管表,由一个或多个 流编写。

要在 Databricks SQL 中创建一个具有单一流程的托管表(在管道定义之外),请参见 CREATE TABLE ......FLOW。

Syntax

CREATE TABLE
  table_name
  [ table_specification ]
  [ table_clauses ]
  [ flow_clause ]

table_specification
  ( { column_identifier column_type [column_properties] } [, ...]
    [ CONSTRAINT expectation_name EXPECT (expectation_expr)
        [ ON VIOLATION { FAIL UPDATE | DROP ROW } ] ] [, ...] )

table_clauses
  { PARTITIONED BY (col [, ...]) |
    CLUSTER BY clause |
    LOCATION path |
    COMMENT table_comment |
    TBLPROPERTIES clause |
    WITH { ROW FILTER clause } } [ ... ]

flow_clause
  FLOW [ IMPORT CHECKPOINT checkpoint_path ] INSERT BY NAME query

若要将多个源扇入一个托管表,请使用 CREATE FLOW(管道)声明多个针对它的流:

CREATE FLOW flow_name AS INSERT INTO table_name BY NAME query

Parameters

  • table_name

    要创建的托管表的名称。 如果名称不限定,则会在管道的目标架构中创建表。 该名称不得已属于流式处理表。

  • table_specification

    (可选)定义列及其类型、属性和说明。 如果省略,则会从流查询推断架构。

  • CONSTRAINT expectation_name 期待 (expectation_expr) [ 违反 { 失败 UPDATE |丢弃行 } ]

    将数据质量期望添加到管理表中。 这些数据质量期望可以随时间追踪,并通过管道 的事件日志访问。 在创建表和刷新表时,FAIL UPDATE 期望会导致处理失败。 如果未满足DROP ROW 预期,则该预期会导致整行被删除。 请参阅通过管道预期管理数据质量。

    expectation_expr 可以由表中的字面量、列标识符以及确定性内置的 SQL 函数或运算符组成,但不包括:

    此外,expectation_expr 不能包含任何子查询。

  • 分区为(栏[, ...])

    (可选)按列的子集对表进行分区。

  • CLUSTER BY 子句

    (可选)在表上启用 液体聚类 分析。 不能合并 PARTITIONED BY 和 CLUSTER BY。

  • 位置路径

    表数据的可选存储位置。

  • 评论table_comment

    STRING描述表的文本。

  • TBLPROPERTIES 子句

    (可选)设置一个或多个用户定义的表属性。

  • WITH ROW FILTER 子句

    向表中添加行筛选器函数。 该表的未来查询将接收函数计算结果为 TRUE的行的子集。

  • 按名称流 INSERT 查询

    定义一个追加流,该流将结果 query 插入表中, 按名称将结果列与表列匹配。 query 可以引用批处理或流源。 每个命名流程在每次管道更新中只处理一次其输入,与 FLOW INSERT BY NAME 流式表上的处理方式相同。

  • 进口检查站checkpoint_path

    一个 STRING 带有路径的文字,包含通往现有结构化流检查点的路径,以便导入流中,使迁移后的流从上次提交的偏移量恢复,而不是重新处理源。 导入检查点还处于 测试阶段。 参见 迁移结构化流检查点。

迁移结构化流检查点

Important

导入检查点还处于 测试阶段。

用于 IMPORT CHECKPOINT 将现有的结构化流工作负载迁移到流水线,而无需重新处理源代码。 设置为checkpoint_pathcheckpointLocation你使用的结构化流查询,可以是云存储、Unity 目录卷或 DBFS 路径。 在第一次流水线更新时,流将该检查点克隆到流水线的托管存储中。 随后,流程会从最后一个提交的偏移量开始,保持状态(如聚合、去重键和水印)完好无损。 后续的流水线更新使用流的克隆检查点;原始检查点不会被修改。

Warning

在运行流水线之前,先停止原始的结构化流查询。 导入后,原始的结构化流查询可以重复使用,但你需要管理其检查点状态,并确保流水线和查询不会同时写入同一个表,否则会产生重复数据。

重新创建结构化流查询,作为一个流水线,继续写入查询写入的表,并导入其检查点:

-- Use the existing table your Structured Streaming query writes to; CREATE TABLE adopts it.
CREATE TABLE streaming_table
-- Continue from the imported checkpoint instead of reprocessing the source.
FLOW IMPORT CHECKPOINT '/Volumes/my_catalog/my_schema/checkpoints/my_stream'
INSERT BY NAME
  -- The same source your original query read from.
  SELECT * FROM STREAM(source_table);

检查点仅在第一次流水线更新时导入。 后续更新忽略 IMPORT CHECKPOINT。 完全刷新不会重新导入检查点。 它从一个新的空白检查点开始,重新处理源代码。

局限性

  • 托管表不支持 CDC 更改流。 AUTO CDC INTO(SQL)或apply_changes / apply_changes_from_snapshot(Python)对受管表执行时失败。MANAGED_TABLE_DOES_NOT_SUPPORT_CDC 对于CDC目标,使用CREATE STREAMING TABLE由CREATE FLOW(管道)定义的(管道)。
  • 托管表不支持 FLOW ... REPLACE WHERE。 仅支持 FLOW INSERT BY NAME。 要重新计算和覆盖表的目标子集,可以创建一个流表,并用 CREATE FLOW(管道)定义一个REPLACE WHERE流。 请参阅 使用 REPLACE WHERE 流的批处理。
  • 托管表仅在具有 Unity 目录的管道中受支持。 不支持 Hive 元存储。
  • 您不能将现有流表或物化视图的名称重复使用为受管表,反之亦然。 将名称重新定义为不同的表类型时失败。CANNOT_CHANGE_TABLE_MODEL_TYPE 先删除现有表。
  • IMPORT CHECKPOINT 仅 FLOW INSERT BY NAME支持 。

示例

-- Create a managed table populated by an inline append flow from a streaming table
CREATE TABLE output
FLOW INSERT BY NAME SELECT * FROM STREAM(samples.tpch.orders);

-- Create a managed table that ingests files with schema inference and evolution
CREATE TABLE raw_data
FLOW INSERT BY NAME
  SELECT * FROM STREAM read_files('/Volumes/catalog/schema/landing/base/path');

-- Create a partitioned managed table from a streaming source
CREATE TABLE events
PARTITIONED BY (bucket)
FLOW INSERT BY NAME
  SELECT id, bucket FROM STREAM read_files('/Volumes/catalog/schema/landing/my_path', format => 'json');

-- Create a managed table with liquid clustering
CREATE TABLE orders_clustered
CLUSTER BY (order_date, customer_id)
FLOW INSERT BY NAME
  SELECT
    o_orderkey   AS order_id,
    o_custkey    AS customer_id,
    o_orderdate  AS order_date,
    o_totalprice AS total_price
  FROM STREAM(samples.tpch.orders);

-- Create a managed table with a data quality expectation that drops violating rows
CREATE TABLE valid_events
  (CONSTRAINT positive_id EXPECT (id > 0) ON VIOLATION DROP ROW)
FLOW INSERT BY NAME
  SELECT id FROM STREAM read_files('/Volumes/catalog/schema/landing/path', format => 'json');

其他资源