Lakeflow 管道支持 SQL 和Python接口来定义批处理和流式处理管道。 这两个接口都生成相同的基础数据流图,因此它们为大多数数据处理提供等效的功能。 它们的灵活性、辅助功能和功能覆盖范围有所不同。
使用本指南确定要使用的接口:
- 如果可以在 SQL 中表达逻辑,请使用 SQL。
- 如果你需要以编程方式进行控制,或需要仅限 Python 的功能,请使用 Python。
- 如果你更熟悉Python,请使用Python。 它几乎涵盖了所有流水线特性(Iceberg兼容的实体化视图仅支持 SQL),所以熟悉就足够了。 反过来则不成立:SQL 并不能涵盖所有功能,因此不要仅仅因为熟悉它而选择它。
还可以在同一管道中合并这两个接口。 请参阅 Mix SQL 和 Python。
何时使用 SQL
当你想要实现以下需求时,SQL 很适合:
- 易读且声明式的定义:数据工程师和分析师都能维护的清晰逻辑。
- 标准表类型:主要由流表和实体化视图构建的管道。
- 线性转换链:直接的数据摄取和转换,如青铜到白银再到黄金的流程,不包含程序逻辑。
- 独立表:独立的流表或实体化视图,你用SQL编写。
有关在 SQL 中开发管道的概述,请参阅 使用 SQL 开发 Lakeflow 管道代码。
何时使用Python
如果需要,Python非常适合以下条件:
- 程序控制:通过循环、条件和元编程动态生成流水线定义。
-
外部库:如
faker或boto3等 Python 包。 请参阅 管理管道的 Python 依赖项。 - 用户自定义函数(UDF):你可以在 Python 中定义 UDF,并可从 Python 和 SQL 源文件中调用。 请参阅Python标量用户定义函数(UDF)。
-
仅限 Python 的功能:
-
create_sink()、foreach_batch_sink()和foreach_sink(),并可写入外部事件流、Delta 或自定义目标。
-
有关在 Python 中开发管道的概述,请参阅使用 Python 开发管道代码。
混合 SQL 和Python
单个管道可以合并 SQL 和Python定义,但每种语言都必须位于单独的源文件中。 例如,可以在 Python 和 SQL 中的黄金表中定义青铜表和白银表。
功能可用性
下表比较了每个接口如何支持通用管道功能:
| 功能 / 特点 | SQL | Python |
|---|---|---|
| 流式处理表 | CREATE STREAMING TABLE |
create_streaming_table()、table() |
| 具体化视图 | CREATE MATERIALIZED VIEW |
materialized_view() |
| 与 Iceberg 兼容的物化视图(公开预览版) |
CREATE MATERIALIZED VIEW ... USING ICEBERG。 请参阅 创建与外部 Iceberg 读取器兼容的物化视图。 |
不支持 |
| 临时视图 | CREATE TEMPORARY VIEW |
temporary_view() |
| 专用表 |
CREATE PRIVATE STREAMING TABLE、CREATE PRIVATE MATERIALIZED VIEW |
table(private=True) |
| 自动 CDC | AUTO CDC ... INTO |
create_auto_cdc_flow() |
| 从快照中自动进行 CDC | AUTO CDC ... FROM SNAPSHOT |
create_auto_cdc_from_snapshot_flow() |
| Flow | CREATE FLOW |
append_flow() |
| Sink | 不支持 |
create_sink()、foreach_batch_sink()、foreach_sink() |
| Expectations | CONSTRAINT ... EXPECT |
expect(), expect_or_drop(), , expect_or_fail()及变 expect_all 体 |
决策摘要
如果需要...
| 目标 | 建议的接口 |
|---|---|
| 简单性和可读性 | SQL |
| 快速声明式设置 | SQL |
| 独立流式表或具体化视图 | SQL |
| 条件或循环逻辑 | Python |
| UDF 或外部Python库 | Python |
| Sinks | Python |
| 完全编程控制和模块化 | Python |