在开发管道时,了解以下限制非常重要:
Azure Databricks 工作区最多支持 1,000 个并发管道更新。 单个管道可包含的数据集数量限制为1000个,但管道更新可能在达到限制前就耗尽内存或其他资源。 有效限制由流水线配置和工作负载复杂度决定。 关于资源限制,请参见 资源限制。
管道的配置包括对源文件和文件夹的引用。
如果配置 仅 引用单个笔记本或文件,则每个管道的限制为 100 个源文件。
如果配置包含文件夹,最多可以包含由文件或文件夹组成的 50 个源条目。
间接引用一个文件夹就等于间接引用该文件夹中的文件。 在这种情况下,对引用的文件数(直接或间接)的限制为 1000。
如果需要 100 多个源文件,请将它们组织到文件夹中。 若要了解如何使用文件夹来包含源文件,请参阅 Lakeflow 管道编辑器中的 管道资产浏览器 。
管道数据集只能定义一次。 因此,它们在所有管道中只能作为单个操作的目标。 例外情况是使用追加流处理的流式处理表,它允许你从多个流式处理源写入流式处理表。 请参阅 默认流和追加流。
标识列具有以下限制。 若要详细了解 Delta 表中的标识列,请参阅 “标识”列。
- 作为 AUTO CDC FROM SNAPSHOT 处理目标的表不支持身份列。
- 在更新具体化视图期间,可能会重新计算标识列。 因此,Databricks 建议仅在流式表的管道中使用标识列。
默认情况下,具体化视图和流式处理表只能由Azure Databricks客户端和应用程序访问。 若要使其可供外部系统访问,请参阅 使用外部系统访问物化视图和流式表。
运行和查询 Unity Catalog 管道所需的 Databricks 计算具有限制性。 请参阅发布到 Unity Catalog 的管道的要求。
Delta Lake 时间旅行查询仅支持流式表,且不支持具体化视图。 请参阅处理表历史记录。
不支持
pivot()函数。 Spark 中的pivot操作需要预先加载输入数据以计算输出架构。 管道不支持此功能。在无服务器计算或标准访问模式下运行的流水线中,运行在工作端上的 Python 代码如果序列化函数(包括捕获对象)大于约 1 MB 就会失败。 这包括 Python UDF、pandas UDF、Python UDTF 以及传递给
mapInPandas或applyInPandas的函数。 这个错误类似于38000,SQLSTATE 为FileNotFoundError: [Errno 2] No such file or directory: '.../broadcast_<n>_python<id>',即使你的代码没有使用广播变量。 带有环境版本的流水线通过 Spark Connect 运行 Python,不会受到影响。 为避免这种情况,设置环境版本,或将大型对象如模型、查找表和大型常量排除在函数之外。 相反,可以在函数内部从 工作区文件 或 卷中的文件加载它们,或者与表进行联接,而不是引用大型字典。管道的运行身份可以是一个账户组,但该组必须是分配给工作区的账户组。 工作区本地组不能用作运行身份,覆盖范围宽泛的内置组
admins、users和account users也不能。 参见 “将运行身份设置为组”。在
pipeline_events系统表中,对于具有超过 2,500 列的表或具有超过 1,000 个期望的流,事件可能具有缩短的details。
有关 Lakeflow 管道资源配额,请参阅 资源限制。