在将笔记本或作业迁移到无服务器计算之前,请检查支持的语言和 API、数据访问要求、用户自定义功能限制、网络规则和缓存要求。
语言和 API 支持
- 不支持 R。
- 仅支持 Spark Connect API。 不支持 Spark RDD API。
- Spark Connect(由无服务器计算使用)将分析和名称解析推迟到执行时间,这可能会更改代码的行为。 请参阅 “将 Spark 连接与 Spark 经典版进行比较”。
- ANSI 模式默认启用。 无效的类型转换、算术溢出和错误的输入会引发运行时错误,而不是默然返回
NULL或错误的结果。 关于如何处理改变行为的操作以及选择退出的限制,请参阅迁移指南中的 SQL行为差异部分 。 - 默认会话时区为
Etc/UTC(协调世界时)。 要使用不同的时区,可以设置spark.sql.session.timeZone。 请参阅 为无服务器笔记本和作业配置 Spark 属性。 - 使用
spark.createDataFrame本地数据创建数据帧时,行大小不能超过 128MB。
数据访问和存储
- 必须使用 Unity Catalog 连接到外部数据源。 使用外部位置访问云存储。
- 对 DBFS 的访问受到限制。 请改用 Unity Catalog 数据卷 或 工作区文件。
- 笔记本和作业任务的工作目录并不保证,因此相对文件路径和相对的 Python 导入可能会失败。 使用绝对路径来引用文件,并将共享的 Python 代码导入为工作区文件,而非相对模块。 请参阅 使用 Python 和 R 模块。
- 不支持 Maven 坐标。
- 不支持全局临时视图。 使用 会话临时视图 来处理单个会话内使用的结果。 要在会话间共享计算结果,请将其写入 Unity Catalog 表。
用户定义函数 (UDF)
- 无服务器笔记本和作业上的 Unity Catalog Python UDF 支持出站网络访问,但受工作区网络策略和 UDF 网络限制约束。 CREATE FUNCTION(External)命令不受支持。 Databricks 建议使用CREATE FUNCTION(SQL 和 Python)来创建支持的 UDF。
- 无服务器计算上的 PySpark UDF 运行在隔离沙箱中,每个沙箱默认内存限制为 1 GiB(1024 MiB)。 Databricks 负责管理这一限制。 用户无法配置它。
- 不能在 高阶函数中使用 Scala UDF。
用户界面(UI)与日志记录
- Spark UI 不可用。 请改用查询配置文件来查看有关 Spark 查询的信息。 请参阅Query profile。
- Spark 日志不可用。 用户只能访问客户端应用程序日志。
网络和工作区访问
- 跨工作区访问取决于源工作区的出站规则和目标工作区的入站规则。 跨工作区访问测试版支持配置允许的工作区配对。 使用兼容模式的工作区保留其预先存在的网络限制。 有关需求和服务特定限制,请参见 跨工作区访问 。
- 不支持 Databricks 容器服务。
- 无服务器计算无法连接到只能通过IPv6访问的资源。 资源必须通过IPv4可访问。
流式处理限制
笔记本和作业的无服务器计算支持以下 结构化流触发器:
-
Trigger.AvailableNow()。 Databricks 建议使用此触发器模式进行无服务器计算。 -
Trigger.Once()。 此弃用模式受支持,但不建议这样做。
以下触发器在无服务器笔记本或作业中不受支持:
-
Trigger.Continuous(interval)。 -
Trigger.ProcessingTime(interval)。- 默认情况下,如果未指定触发器模式,Apache Spark 会将触发器设置为
Trigger.ProcessingTime("0 seconds")。 必须在无服务器计算上设置受支持的触发器。
- 默认情况下,如果未指定触发器模式,Apache Spark 会将触发器设置为
如果尝试使用不受支持的触发器,查询将引发错误 INFINITE_STREAMING_TRIGGER_NOT_SUPPORTED。
这些触发限制不适用于Lakeflow管道的处理模式。 对于连续流工作负载,可以在无服务器流水线中使用连续模式,或者在Trigger.AvailableNow()中使用。
Lakeflow 管道中的实时模式支持亚秒级操作工作负载,并具有特定的运行时、源、接收器和算子要求。
有关将流式处理用例映射到正确的无服务器产品的决策指南,请参阅 无服务器计算上的流式处理。
标准访问模式的所有流媒体限制也适用。 请参阅流式处理限制。
笔记本限制
- 笔记本不支持 Scala 和 R。
- 笔记本不支持 JAR 库。 有关解决方法,请参阅无服务器计算的最佳做法。 作业中的 JAR 任务受支持。 请参阅用于作业的 JAR 任务。
- 在笔记本会话中使用
%pip安装的库必须在新会话中重新安装。 在 环境 窗格中配置的依赖项使用无服务器环境缓存。 请参阅 向笔记本添加依赖项。 - 在用户之间共享笔记本时,不支持共享 TEMP 表和视图。
- 笔记本中的数据帧不支持使用自动补全和变量浏览器。
- 默认情况下,新建笔记本会以
.ipynb格式保存。 如果笔记本以源格式保存,则无法正确捕获无服务器元数据,并且某些功能可能无法按预期工作。 - 不支持笔记本标记。 使用 无服务器使用策略 标记无服务器使用情况。
作业限制
- 作业运行页面显示的任务日志并非每次任务运行隔离,而是包含多个任务的输出。 要将应用日志传递到按任务运行组织的目录中的卷,请参见 “向Unity Catalog卷交付无服务器日志”。
- 不支持笔记本任务的任务库。 请改用笔记本范围的库。 请参阅 Notebook 范围内的 Python 库。
- 默认情况下,无服务器任务没有查询执行超时。 可以使用该
spark.databricks.execution.timeout属性为作业查询设置执行超时。 有关详细信息,请参阅 为无服务器笔记本和作业配置 Spark 属性。 - 无服务器计算的最大运行时为 7 天。 超过 7 天的运行由平台终止,不会重试。 若要运行超过 7 天的工作负荷,请将它们分解为较小的运行或使用经典计算。
特定于计算的限制
不支持以下特定于计算的功能:
- 计算策略
- 计算资源范围的初始化脚本。 安装包或配置 Python 环境时,建议使用基础环境或笔记本依赖。 请参阅 配置无服务器环境。
- 面向计算的库,包括自定义数据源和 Spark 扩展。 请改用笔记本范围的库。
- 实例池
- 计算事件日志
- 大多数 Apache Spark 计算配置。 有关受支持的配置列表,请参阅 为无服务器笔记本和作业配置 Spark 属性。
- 计算范围环境变量。 要在无服务器 Lakeflow 作业中将环境变量传递给应用程序代码,可以使用作业级环境变量功能(Beta 版)。 参见 “配置无服务器作业的环境变量”。 你也可以用 小部件 来创建 作业和任务参数。
缓存限制
- 元数据缓存在无服务器计算会话中。 因此,切换目录时,会话上下文可能无法完全重置。 若要清除会话上下文,请重置无服务器计算资源或启动新会话。
-
df.cache()、df.persist()和df.unpersist()在无服务器环境版本 5 及以上中,当启用 无服务器计算上的 DataFrame 缓存公开预览版时,均受到支持。 在启用合规安全配置文件的工作区中无法使用预览。 参见 要求,了解启用要求和客户端要求。 - 以下缓存API和SQL命令不支持无服务器计算。 使用这些 API 或 SQL 命令中的任何一个会导致异常。
- Spark ML 模型缓存每个会话限制为 1 GB(1073741824 字节),单个模型限制为 100 MB。 这两个限制在无服务器计算中都低于经典计算,且都无法更改。 超过会话限制会引发 ML_CACHE_SIZE_OVERFLOW_EXCEPTION。 超过单个模型的限制会引发 MODEL_SIZE_OVERFLOW_EXCEPTION。 为了腾出缓存空间,删除你不再使用的模型的 Python 引用。 未使用15分钟的模型会移动到本地磁盘,但仍然计入会话限制。
Hive 限制
不支持 Hive SerDe 表。 此外,不支持用于将数据加载到 Hive SerDe 表中的相应 LOAD DATA 命令。 使用该命令会导致异常。
Hive 变量(例如
${env:var}、${configName}、${system:var}和spark.sql.variable)或使用${var}语法的配置变量引用不受支持。 使用 Hive 变量会导致异常。请改用 DECLARE VARIABLE、SET VARIABLE 和 SQL 会话变量引用 以及参数标记(“?”或“:var”)来声明、修改和引用会话状态。 在许多情况下,可以使用 IDENTIFIER 子句 来参数化对象名称。
支持的数据源
对于数据操作语言(DML)操作,无服务器计算资源允许以下数据源提供程序。 每个提供者还必须支持所请求的操作。 列入此列表并不意味着支持所有写入、更新或删除操作。 例如, 二进制文件源 是只读的。
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERG
无服务器计算支持以下数据源进行读取:
CSVJSONAVRODELTAKAFKAPARQUETORCTEXTUNITY_CATALOGBINARYFILEXMLSIMPLESCANICEBERGMYSQLPOSTGRESQLSQLSERVERREDSHIFTSNOWFLAKE-
SQLDW(Azure Synapse) DATABRICKSBIGQUERYORACLESALESFORCESALESFORCE_DATA_CLOUDTERADATAWORKDAY_RAASMONGODB