将刷新策略添加到具体化视图,控制何时增量化刷新。 CREATE MATERIALIZED VIEW 适用于 (pipelines) 语句。
若要了解增量化,请参阅 具体化视图的增量刷新。 可以使用 Databricks SQL 中的语句检查 SQL 查询是否可 EXPLAIN CREATE MATERIALIZED VIEW 增量化。 请参阅 EXPLAIN CREATE MATERIALIZED VIEW。
Syntax
REFRESH POLICY refresh_policy
refresh_policy:
AUTO | INCREMENTAL | INCREMENTAL STRICT | FULL
参数
refresh_policy
定义具体化视图的刷新策略。 如果省略,
REFRESH POLICYAUTO则为默认策略。刷新策略定义刷新如何处理具体化视图的增量化。
AUTO系统根据成本模型自动选择增量刷新或完全刷新。
State 行为 增量可用于刷新。 使用成本模型来确定哪种成本更便宜、增量或完整。 增量不可用于刷新。 执行完全刷新。 创建或重新初始化是必需的(例如,在架构更改时) 执行完全刷新。 INCREMENTAL系统尽可能使用增量刷新。 打开
CREATE时,如果查询无法增量化,则 create 语句将失败。State 行为 增量可用于刷新。 执行增量刷新。 增量不可用于刷新。 执行完全刷新。 创建或重新初始化是必需的,但对于查询,增量化是可能的。 执行完全刷新。 创建或重新初始化是必需的,并且查询无法进行增量化。 作失败。 INCREMENTAL STRICT系统使用增量刷新。 打开
CREATE时,如果查询无法增量化,则 create 语句将失败。State 行为 增量可用于刷新。 执行增量刷新。 增量不可用于刷新。 刷新失败。 创建或重新初始化是必需的,但对于查询,增量化是可能的。 执行完全刷新。 创建或重新初始化是必需的,并且查询无法进行增量化。 作失败。 FULL系统始终使用完全刷新。
State 行为 增量可用于刷新。 执行完全刷新。 增量不可用于刷新。 执行完全刷新。 创建或重新初始化是必需的。 执行完全刷新。
失败时的行为
当刷新失败,因为它无法满足刷新策略(for INCREMENTAL STRICT),系统将返回错误类, MATERIALIZED_VIEW_NOT_INCREMENTALIZABLE 其中包含描述无法增量化的原因的详细信息:
-
AGGREGATE_NOT_TOP_NODEGROUP BY: 及其以上复数表达式 不被支持。 -
EXPRESSION_NOT_DETERMINISTIC:查询中使用了非确定性函数,如RAND。 -
INPUT_NOT_IN_DELTA一个或多个源数据集不是Delta表。 -
OPERATOR_NOT_INCREMENTALIZABLE:一个算符,如复连接,防止增量化。 -
ROW_TRACKING_NOT_ENABLED: 需要行追踪的源表不启用行追踪。 -
SUBQUERY_EXPRESSION_NOT_INCREMENTALIZABLE:查询中的一个或多个子查询不可增量化。 -
UDF_NOT_DETERMINISTIC表达式中使用的一个或多个UDF不标记为确定性。 -
WINDOW_WITHOUT_PARTITION_BY:窗口规格不PARTITION_BY包含增量。
若要了解查询可增量化的原因,请参阅 具体化视图的增量刷新。
若要检查 SQL 查询是否可增量化,请使用 EXPLAIN CREATE MATERIALIZED VIEW Databricks SQL 中的语句。 请参阅 EXPLAIN CREATE MATERIALIZED VIEW。
例子
-- Create a materialized view with an incremental policy
CREATE OR REFRESH MATERIALIZED VIEW my_mv
REFRESH POLICY INCREMENTAL
AS SELECT a, sum(b) FROM my_catalog.example.my_table GROUP BY a;