无服务器计算限制

在将笔记本或作业迁移到无服务器计算之前,请检查支持的语言和 API、数据访问要求、用户自定义功能限制、网络规则和缓存要求。

语言和 API 支持

  • 不支持 R。
  • 仅支持 Spark Connect API。 不支持 Spark RDD API。
  • Spark Connect(由无服务器计算使用)将分析和名称解析推迟到执行时间,这可能会更改代码的行为。 请参阅 “将 Spark 连接与 Spark 经典版进行比较”。
  • ANSI 模式默认启用。 无效的类型转换、算术溢出和错误的输入会引发运行时错误,而不是默然返回 NULL 或错误的结果。 关于如何处理改变行为的操作以及选择退出的限制,请参阅迁移指南中的 SQL行为差异部分 。
  • 默认会话时区为 Etc/UTC (协调世界时)。 要使用不同的时区,可以设置 spark.sql.session.timeZone。 请参阅 为无服务器笔记本和作业配置 Spark 属性。
  • 使用 spark.createDataFrame本地数据创建数据帧时,行大小不能超过 128MB。

数据访问和存储

  • 必须使用 Unity Catalog 连接到外部数据源。 使用外部位置访问云存储。
  • 对 DBFS 的访问受到限制。 请改用 Unity Catalog 数据卷 或 工作区文件。
  • 笔记本和作业任务的工作目录并不保证,因此相对文件路径和相对的 Python 导入可能会失败。 使用绝对路径来引用文件,并将共享的 Python 代码导入为工作区文件,而非相对模块。 请参阅 使用 Python 和 R 模块。
  • 不支持 Maven 坐标。
  • 不支持全局临时视图。 使用 会话临时视图 来处理单个会话内使用的结果。 要在会话间共享计算结果,请将其写入 Unity Catalog 表。

用户定义函数 (UDF)

  • 无服务器笔记本和作业上的 Unity Catalog Python UDF 支持出站网络访问,但受工作区网络策略和 UDF 网络限制约束。 CREATE FUNCTION(External)命令不受支持。 Databricks 建议使用CREATE FUNCTION(SQL 和 Python)来创建支持的 UDF。
  • 无服务器计算上的 PySpark UDF 运行在隔离沙箱中,每个沙箱默认内存限制为 1 GiB(1024 MiB)。 Databricks 负责管理这一限制。 用户无法配置它。
  • 不能在 高阶函数中使用 Scala UDF。

用户界面(UI)与日志记录

  • Spark UI 不可用。 请改用查询配置文件来查看有关 Spark 查询的信息。 请参阅Query profile。
  • Spark 日志不可用。 用户只能访问客户端应用程序日志。

网络和工作区访问

  • 跨工作区访问取决于源工作区的出站规则和目标工作区的入站规则。 跨工作区访问测试版支持配置允许的工作区配对。 使用兼容模式的工作区保留其预先存在的网络限制。 有关需求和服务特定限制,请参见 跨工作区访问 。
  • 不支持 Databricks 容器服务。
  • 无服务器计算无法连接到只能通过IPv6访问的资源。 资源必须通过IPv4可访问。

流式处理限制

笔记本和作业的无服务器计算支持以下 结构化流触发器:

  • Trigger.AvailableNow()。 Databricks 建议使用此触发器模式进行无服务器计算。
  • Trigger.Once()。 此弃用模式受支持,但不建议这样做。

以下触发器在无服务器笔记本或作业中不受支持:

  • Trigger.Continuous(interval)。
  • Trigger.ProcessingTime(interval)。
    • 默认情况下,如果未指定触发器模式,Apache Spark 会将触发器设置为 Trigger.ProcessingTime("0 seconds")。 必须在无服务器计算上设置受支持的触发器。

如果尝试使用不受支持的触发器,查询将引发错误 INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED。

这些触发限制不适用于Lakeflow管道的处理模式。 对于连续流工作负载,可以在无服务器流水线中使用连续模式,或者在Trigger.AvailableNow()中使用。 Lakeflow 管道中的实时模式支持亚秒级操作工作负载,并具有特定的运行时、源、接收器和算子要求。

有关将流式处理用例映射到正确的无服务器产品的决策指南,请参阅 无服务器计算上的流式处理。

标准访问模式的所有流媒体限制也适用。 请参阅流式处理限制。

笔记本限制

  • 笔记本不支持 Scala 和 R。
  • 笔记本不支持 JAR 库。 有关解决方法,请参阅无服务器计算的最佳做法。 作业中的 JAR 任务受支持。 请参阅用于作业的 JAR 任务。
  • 在笔记本会话中使用 %pip 安装的库必须在新会话中重新安装。 在 环境 窗格中配置的依赖项使用无服务器环境缓存。 请参阅 向笔记本添加依赖项。
  • 在用户之间共享笔记本时,不支持共享 TEMP 表和视图。
  • 笔记本中的数据帧不支持使用自动补全和变量浏览器。
  • 默认情况下,新建笔记本会以.ipynb格式保存。 如果笔记本以源格式保存,则无法正确捕获无服务器元数据,并且某些功能可能无法按预期工作。
  • 不支持笔记本标记。 使用 无服务器使用策略 标记无服务器使用情况。

作业限制

  • 作业运行页面显示的任务日志并非每次任务运行隔离,而是包含多个任务的输出。 要将应用日志传递到按任务运行组织的目录中的卷,请参见 “向Unity Catalog卷交付无服务器日志”。
  • 不支持笔记本任务的任务库。 请改用笔记本范围的库。 请参阅 Notebook 范围内的 Python 库。
  • 默认情况下,无服务器任务没有查询执行超时。 可以使用该 spark.databricks.execution.timeout 属性为作业查询设置执行超时。 有关详细信息,请参阅 为无服务器笔记本和作业配置 Spark 属性。
  • 无服务器计算的最大运行时为 7 天。 超过 7 天的运行由平台终止,不会重试。 若要运行超过 7 天的工作负荷,请将它们分解为较小的运行或使用经典计算。

特定于计算的限制

不支持以下特定于计算的功能:

缓存限制

  • 元数据缓存在无服务器计算会话中。 因此,切换目录时,会话上下文可能无法完全重置。 若要清除会话上下文,请重置无服务器计算资源或启动新会话。
  • df.cache()、df.persist() 和 df.unpersist() 在无服务器环境版本 5 及以上中,当启用 无服务器计算上的 DataFrame 缓存公开预览版时,均受到支持。 在启用合规安全配置文件的工作区中无法使用预览。 参见 要求,了解启用要求和客户端要求。
  • 以下缓存API和SQL命令不支持无服务器计算。 使用这些 API 或 SQL 命令中的任何一个会导致异常。
  • Spark ML 模型缓存每个会话限制为 1 GB(1073741824 字节),单个模型限制为 100 MB。 这两个限制在无服务器计算中都低于经典计算,且都无法更改。 超过会话限制会引发 ML_CACHE_SIZE_OVERFLOW_EXCEPTION。 超过单个模型的限制会引发 MODEL_SIZE_OVERFLOW_EXCEPTION。 为了腾出缓存空间,删除你不再使用的模型的 Python 引用。 未使用15分钟的模型会移动到本地磁盘,但仍然计入会话限制。

Hive 限制

  • 不支持 Hive SerDe 表。 此外,不支持用于将数据加载到 Hive SerDe 表中的相应 LOAD DATA 命令。 使用该命令会导致异常。

  • Hive 变量(例如 ${env:var}、${configName}、${system:var} 和 spark.sql.variable)或使用 ${var} 语法的配置变量引用不受支持。 使用 Hive 变量会导致异常。

    请改用 DECLARE VARIABLE、SET VARIABLE 和 SQL 会话变量引用 以及参数标记(“?”或“:var”)来声明、修改和引用会话状态。 在许多情况下,可以使用 IDENTIFIER 子句 来参数化对象名称。

支持的数据源

对于数据操作语言(DML)操作,无服务器计算资源允许以下数据源提供程序。 每个提供者还必须支持所请求的操作。 列入此列表并不意味着支持所有写入、更新或删除操作。 例如, 二进制文件源 是只读的。

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG

无服务器计算支持以下数据源进行读取:

  • CSV
  • JSON
  • AVRO
  • DELTA
  • KAFKA
  • PARQUET
  • ORC
  • TEXT
  • UNITY_CATALOG
  • BINARYFILE
  • XML
  • SIMPLESCAN
  • ICEBERG
  • MYSQL
  • POSTGRESQL
  • SQLSERVER
  • REDSHIFT
  • SNOWFLAKE
  • SQLDW(Azure Synapse)
  • DATABRICKS
  • BIGQUERY
  • ORACLE
  • SALESFORCE
  • SALESFORCE_DATA_CLOUD
  • TERADATA
  • WORKDAY_RAAS
  • MONGODB