实时模式限制

本页介绍结构化流式处理中实时模式的已知限制。

源限制

对于Kinesis,Databricks推荐使用增强型 Fan-Out(EFO)模式以获得最低延迟。 此外,频繁的重新分区可能会对延迟造成负面影响。

联合限制

Union 运算符存在一些限制:

  • 不支持自联合:
    • 对于 Kafka,不能使用同一源数据帧对象和联合派生的数据帧。 解决方法是使用不同的从同一源读取的数据帧。
    • 对于 Kinesis,不能将派生自同一 Kinesis 源的数据帧与同一配置联合。 解决方法是,可以为每个数据帧分配不同的 consumerName 选项,而不是使用不同的 DataFrame。
  • 在 Union 之前,无法定义有状态运算符(例如aggregate,)deduplicatetransformWithState。
  • 不支持与批量源合并。

mapPartitions 限制

实时模式在 Scala 或类似的 Python API 中不支持mapPartitions(mapInPandas, mapInArrow)。 它们会对整个输入分区进行迭代,生成整个输出的迭代器,如果没有积极输出,可能会阻塞输出并增加延迟。 它们的语义也不很好地支持水印传播。

将标量 UDF 与 转换复杂数据类型 结合使用,或通过 filter 来实现类似的功能。

transformWithStateInPandas 不支持

transformWithStateInPandas实时模式下不支持该运算符。 如果需要在具有实时模式的Python中自定义有状态处理,请改用基于行的 transformWithState API。 基于行的 API 使用 Row 对象而不是 pandas 数据帧提供相同的有状态处理功能。

有关使用基于行的 API 的工作Python示例,请参阅 transformWithState 实时模式,详细了解 transformWithState 行为实时模式示例。