专用计算要求和限制

本页概述了专用计算的要求和限制。 大多数专用计算限制依赖于运行时,因为随着时间推移添加了功能支持。

重要

Init 脚本和库对各访问模式和 Databricks Runtime 版本提供不同的支持。 请参阅 初始化脚本可以安装在哪里? 和 计算范围库。

分配给组的专用计算具有其他限制。 请参阅 组访问限制。

精细访问控制支持

专用计算支持精细访问控制,但需要满足某些要求:

如果专用计算在 Databricks Runtime 15.3 或更低版本上运行:

  • 无法访问具有行筛选器或列掩码的表。
  • 无法访问动态视图。
  • 若要从任何视图中读取,必须在视图引用的所有表和视图上具有 SELECT 权限。

专用计算上的流式表和物化视图要求

  • 若要查询由其他用户使用 Lakeflow 管道创建的表(包括流式表和物化视图),您的工作区必须已启用无服务器计算,并且专用计算必须使用 Databricks Runtime 15.4 或更高版本。 请参阅“使用独立流式表”和“使用独立物化视图”。
  • Databricks Runtime 12.2 LTS 及更高版本支持异步检查点。
  • Databricks Runtime 15.1 及更高版本支持使用 StreamingQueryListener 与 Unity Catalog 管理的对象进行交互。
  • Python foreachBatch 不支持 ThreadPoolExecutor 或多线程执行。 多线程执行可能不会引发错误,但可能会导致数据损坏或结果不一致。

视图架构演进的限制

在SCHEMA TYPE EVOLUTIONSCHEMA EVOLUTION专用计算模式下查询 Unity 目录视图有以下限制:

  • 如果不拥有视图的用户查询该视图,当需要更新存储视图架构时,查询可能会失败。
  • 有关变通方法,请参见 schema_binding 中的 CREATE VIEW 参数。

Spark API 限制

  • 要读取 Unity 目录卷或外部位置的数据,可以使用 DataFrame API,例如 spark.read。 基于RDD的文件API不支持这些路径,包括 sc.textFile、sc.wholeTextFiles、sc.binaryFiles、sc.hadoopFile、sc.binaryRecords、sc.sequenceFile 和 sc.newAPIHadoopFile。 请参阅限制。
  • sc.setCheckpointDir 支持 Unity Catalog 卷路径,但不支持外部位置。 详见 卷中的DataFrame检查点。

用户定义的函数