注释
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。
以下发行说明提供有关由 Apache Spark 4.1.0 提供支持的 Databricks Runtime 18.0 的信息。
此版本包含所有以前 Databricks Runtime 版本中的所有功能、改进和 bug 修复。 Databricks 于 2026 年 1 月发布了此版本。
行为变更
- JDK 21 现在是默认 Java 开发工具包
-
FSCK REPAIR TABLE默认包含元数据修复 - Spark Connect Scala 客户端中为数组和映射类型保留了空值属性
-
FSCK REPAIR TABLE DRY RUN输出架构已更新 -
SHOW TABLES DROPPED遵循LIMIT子句 - 读取与自动优化写入之间对齐的比例因子
- 在 PySpark 和 Unity Catalog 之间统一执行 Python UDF
- 改进了 Kafka 连接器登录模块问题的错误消息
-
时间旅行限制和
VACUUM保留行为 -
BinaryType默认情况下,在 PySpark 中映射到bytes - Delta MERGE、UPDATE 和流式写入操作中保留的 NULL 结构
- 分区列具体化为 Parquet 文件中的列
- 时间戳分区值现在遵循 Spark 会话时区
-
DESCRIBE TABLE输出包括元数据列
JDK 21 现在是默认 Java 开发工具包
Databricks Runtime 18.0 使用 JDK 21 作为默认的 Java 开发工具包。 JDK 21 已正式发布,是长期支持(LTS)版本。 以前,默认值为 JDK 17。
JDK 21 中的显著更改:
-
Double.toString()和Float.toString()现在生成最短的唯一字符串表示形式,这在某些特殊情况下可能与 JDK 17 的输出不同。 -
Thread.stop()、Thread.suspend()和Thread.resume()现在抛出UnsupportedOperationException。 - 更新的区域设置数据(CLDR v42)可能会影响日期、时间和数字格式。
如果遇到兼容性问题,请回退到 JDK 17。 有关配置 JDK 版本的信息,请参阅 创建具有特定 JDK 版本的群集。 有关 JDK 17 和 JDK 21 之间的更改的完整列表,请参阅官方 JDK 供应商的发行说明。
FSCK REPAIR TABLE 默认自带元数据修复功能
FSCK REPAIR TABLE命令现在增加了一个初步的元数据修复步骤,然后再检查是否有缺失的数据文件。 该命令可以处理具有损坏检查点或无效分区值的表。
Spark Connect Scala 客户端中数组和映射类型的可空性保留
在 Spark Connect Scala 客户端中,数组和映射类型的可空性现在对类型化字面量保留。 以前,数组中的元素和映射中的值始终可以为 null。
FSCK REPAIR TABLE DRY RUN 输出架构已更新
dataFilePath输出架构中的FSCK REPAIR TABLE DRY RUN列现在可为 null,用于支持报告数据文件路径不适用的新问题类型。
SHOW TABLES DROPPED 遵循 LIMIT 子句
SHOW TABLES DROPPED 命令现在正确遵守 LIMIT 子句的规定。
读取和自动优化写入之间的比例因子对齐
分区大小的比例因子现在在读取操作和自动优化写入中一致使用小数值。 此更改可能会导致读取操作的任务数量不同。
PySpark 和 Unity Catalog 之间的 Python UDF 执行统一
Unity 目录 Python UDF 现在使用 Apache Arrow 作为默认交换格式,提高整体性能,并符合 Apache Spark 中箭头优化 Python UDF 的行为。 作为此更改的一部分,TIMESTAMP传递给 Python UDF 的值不再在对象的datetime属性中包含tzinfo时区信息。 时间戳值本身仍以 UTC 格式保存,但时区元数据现已删除。
如果你的 UDF 依赖时区信息,你需要使用 date = date.replace(tzinfo=timezone.utc) 恢复它。 有关详细信息,请参阅逐行输入的时间戳时区行为。
改进了 Kafka 连接器中有关登录模块问题的错误消息
将 Kafka 连接器与无阴影登录模块类结合使用时,Azure Databricks 现在提供错误消息,建议使用正确的着色类前缀(kafkashaded.org.apache.kafka 或 kafkashaded.software.amazon.msk.auth.iam)。
时间旅行限制和 VACUUM 保留行为
Azure Databricks 现在对所有表阻止超过 deletedFileRetentionDuration 阈值的时间旅行查询。 该 VACUUM 命令忽略保留期参数,但值为 0 小时除外。 你不能将 deletedFileRetentionDuration 设置得比 logRetentionDuration 更大。
默认情况下,BinaryType 在 PySpark 中映射到 bytes
在 PySpark 中, BinaryType 现在一直映射到 Python bytes。 以前,PySpark 会根据上下文将 BinaryType 映射到 bytes 或 bytearray。 若要还原旧行为,请设置为 spark.sql.execution.pyspark.binaryAsBytesfalse.
Delta MERGE、UPDATE 和流式写入操作中保留的 NULL 结构
Delta MERGE、UPDATE 和包含结构类型转换的流式写入操作中,NULL 结构现在保留为 NULL。 以前,NULL 结构已扩展为具有 NULL 字段的结构。 NULL 结构现在保持为 NULL,而不是扩展为所有字段值为 NULL 的结构。
分区列具体化为 Parquet 文件中的列
分区 Delta 表现在在新写入的 Parquet 数据文件中具体化分区列。 以前,分区值存储在 Delta 事务日志元数据中,并反映在目录路径中,但不作为列写入 Parquet 文件本身。 此更改与 Apache Iceberg 和 UniForm 行为保持一致,可能会影响直接读取 Delta Lake 写入的 Parquet 文件的工作负荷,因为新写入的文件包括其他分区列。
时间戳分区值现在遵循 Spark 会话时区
以前,时间戳分区值使用 JVM 时区错误地转换为 UTC,而不是遵循 spark.sql.session.timeZone 配置。 现在,时间戳分区值已根据 Spark 会话的时区设置得到正确调整。
DESCRIBE TABLE 输出包括元数据列
现在的 DESCRIBE TABLE [EXTENDED] 输出包括新列 metadata,适用于所有表类型。 此列包含在表上定义为 JSON 字符串的语义元数据(显示名称、格式和同义词)。
新功能和改进
- SQL 脚本现已正式发布
- Redshift JDBC 驱动程序升级到 2.1.0.28
- 用于 Unity Catalog 的 Python UDF 的共享隔离执行环境
- 指标视图中的 SQL 窗口函数
- 无状态流查询中的动态洗牌分区调整
- 无状态流式查询中的自适应查询执行和自动优化洗牌
- 各处字面量字符串合并
- 随处可见的参数标记
- 各处 IDENTIFIER 子句
- 新 BITMAP_AND_AGG 函数
- 新建 Theta 草图函数
- 新的KLL_Sketch函数库
- Apache Parquet 库已升级到 1.16.0
-
st_azimuth函数现在受支持 -
st_boundary函数现在受支持 -
st_closestpoint函数现在受支持 -
st_geogfromewkt函数现在受支持 -
st_geomfromewkt函数现在受支持 - 改进了空间联接性能
- 改进了地理空间函数的性能
- EWKT 输入支持
SQL 脚本现已正式发布
SQL 脚本功能现已正式发布。
Redshift JDBC 驱动程序升级到 2.1.0.28
Redshift JDBC 驱动程序已升级到版本 2.1.0.28。
Unity Catalog Python 用户自定义函数(UDF)的共享隔离执行环境
默认情况下,具有相同所有者的 Unity 目录 Python UDF 可以共享隔离环境。 这可以通过减少需要启动的独立环境的数量来提高性能和减少内存使用率。
若要确保 UDF 始终在完全隔离的环境中运行,请添加 STRICT ISOLATION 特征子句。 请参阅 环境隔离。
指标视图中的 SQL 窗口函数
现在可以在指标视图中使用 SQL 窗口函数 来计算运行总计、排名和其他基于窗口的计算。
无状态流式查询中的动态洗牌分区调整
现在可以在不重启查询的情况下更改 无状态流式处理查询 中的随机分区数。
无状态流式查询中的自适应查询执行和自动优化的洗牌机制
自适应查询执行(AQE)和自动优化洗牌(AOS)现在在无状态流式查询中受支持。
各处字面量字符串合并
将顺序字符串字面量(例如 'Hello' ' World' 合并为 'Hello World')的能力已从表达式扩展到允许字符串字面量的任何位置。 例如,COMMENT 'This' ' is a ' 'comment'。 有关详细信息,请参阅 STRING 类型 。
随处可见的参数标记
现在几乎在任何可以使用适当类型字面值的位置,都可以使用命名(:param)和未命名(?)参数标记。
这包括 DDL 语句中的参数标记,例如 CREATE VIEW v AS SELECT ? AS c1,列类型 DECIMAL(:p, :s)或 COMMENT ON t IS :comment。
借助此功能,您可以参数化各种 SQL 语句,避免代码暴露在 SQL 注入攻击风险下。
有关详细信息 ,请参阅参数标记 。
各处 IDENTIFIER 子句
用于将字符串转换为 SQL 对象名称的IDENTIFIER子句,其范围已扩展到几乎所有允许使用标识符的地方。
随着对文本字符串合并和参数标记的改进,现在可以对从列别名(AS IDENTIFIER(:name))到列定义(IDENTIFIER(:pk) BIGINT NOT NULL)等任何内容进行参数化。 有关详细信息,请参阅 IDENTIFIER 子句 。
新BITMAP_AND_AGG函数
现有的BITMAP函数库已被新的BITMAP_AND_AGG函数完善。
新建 Theta 草图函数
你现在可以使用新的函数库进行近似去重计数和使用 Datasketches Theta Sketch 的集合操作:
-
theta_sketch_agg聚合函数 -
theta_union_agg聚合函数 -
theta_intersection_agg聚合函数 -
theta_sketch_estimate函数 -
theta_union函数 -
theta_difference函数 -
theta_intersection函数
新的KLL_Sketch函数库
现在可以使用生成 KLL 草图的新函数库进行近似分位计算:
-
kll_sketch_agg_bigint聚合函数 -
kll_sketch_get_quantile_bigint函数 -
kll_sketch_merge_bigint函数 -
kll_sketch_agg_double聚合函数 -
kll_sketch_get_quantile_double函数 -
kll_sketch_merge_double函数 -
kll_sketch_agg_float聚合函数 -
kll_sketch_get_quantile_float函数 -
kll_sketch_merge_float函数 -
kll_sketch_get_n_bigint函数 -
kll_sketch_get_rank_bigint函数 -
kll_sketch_to_string_bigint函数 -
kll_sketch_get_n_double函数 -
kll_sketch_get_rank_double函数 -
kll_sketch_to_string_double函数 -
kll_sketch_get_n_float函数 -
kll_sketch_get_rank_float函数 -
kll_sketch_to_string_float函数
可以使用以下方法在聚合上下文中合并多个 KLL 草图:
Apache Parquet 库已升级到 1.16.0
Apache Parquet 库已升级到版本 1.16.0。
st_azimuth 函数现在受支持
你现在可以使用 st_azimuth 函数表达式,它以弧度返回从第一个点到第二个点的基于北方的方位角(在 [0, 2π) 中)。
st_boundary 函数现在受支持
现在 st_boundary 可以使用函数 表达式,该表达式返回输入几何图形的边界。
st_closestpoint 函数现在受支持
可以使用st_closestpoint函數 表达式了,该表达式返回第一个几何图形上距离第二个几何图形最近的点的2D投影。
st_geogfromewkt 函数现在受支持
你现在可以使用 st_geogfromewkt 函数表达式,它解析地理的扩展已知文本 (EWKT) 描述。
st_geomfromewkt 函数现在受支持
现在可以使用 st_geomfromewkt 函数 表达式,该表达式用于解析几何图形的扩展通用文本(EWKT)说明。
改进了空间联接性能
通过引入打乱空间联接支持,空间联接性能现已改进。
改进了地理空间函数的性能
以下 ST 函数现在具有 Photon 实现:
EWKT 输入支持
以下功能现在接受扩展已知文本(EWKT)作为输入:
图书馆升级
升级后的 Python 库:
- anyio 从 4.6.2 到 4.7.0
- asttokens 2.0.5 至 3.0.0
- azure-core 版本从 1.34.0 升级到 1.37.0
- 从 1.5.0 到 1.6.0 的 azure-mgmt-core
- azure-storage-blob 从 12.23.0 升级到 12.28.0
- azure-storage-file-datalake 从 12.17.0 到 12.22.0
- boto3 从 1.36.2 到 1.40.45
- botocore 从 1.36.3 到 1.40.45
- 证书从2025年1月31日到2025年4月26日
- 点击将版本从 8.1.7 更新至 8.1.8
- 加密从 43.0.3 到 44.0.1
- Cython 从 3.0.12 到 3.1.5
- databricks-sdk 从 0.49.0 到 0.67.0
- 已从 1.2.13 弃用到 1.2.18
- executing 已从 0.8.3 升级到 1.2.0
- fastapi 从 0.115.12 到 0.128.0
- filelock 从 3.18.0 到 3.17.0
- google-api-core 从 2.20.0 到 2.28.1
- google-auth 从 2.40.0 到 2.47.0
- google-cloud-core 从 2.4.3 到 2.5.0
- google-cloud-storage 从 3.1.0 到 3.7.0
- google-crc32c 从 1.7.1 到 1.8.0
- google-resumable-media 从 2.7.2 升级到 2.8.0
- h11 从 0.14.0 到 0.16.0
- 从 1.0.2 到 1.0.9 的 httpcore
- httpx 从 0.27.0 到 0.28.1
- isodate 从 0.6.1 到 0.7.2
- Jinja2 从 3.1.5 到 3.1.6
- jupyter-events 从 0.10.0 到 0.12.0
- jupyter-lsp 从 2.2.0 到 2.2.5
- jupyter_server 2.14.1 到 2.15.0
- jupyter_server_terminals从 0.4.4 到 0.5.3
- mistune从2.0.4更新到3.1.2
- mlflow-skinny 从 3.0.1 到 3.8.1
- mmh3 从 5.1.0 到 5.2.0
- msal 从 1.32.3 到 1.34.0
- nbclient 从 0.8.0 到 0.10.2
- nbconvert版本从7.16.4更新到7.16.6
- nodeenv 从 1.9.1 到 1.10.0
- notebook_shim 0.2.3 到 0.2.4
- opentelemetry-api 从版本 1.32.1 更新到版本 1.39.1
- opentelemetry-sdk 从 1.32.1 到 1.39.1
- opentelemetry-semantic-conventions 从 0.53b1 到 0.60b1
- platformdirs 的版本从 3.10.0 升级到 4.3.7
- prometheus_client从 0.21.0 到 0.21.1
- proto-plus 从 1.26.1 到 1.27.0
- psycopg2 从 2.9.3 到 2.9.11
- pyarrow 从 19.0.1 到 21.0.0
- 从 2.15.1 到 2.19.1 的 Pygments
- pyiceberg 从 0.9.0 到 0.10.0
- python-lsp-server 从 1.12.0 到 1.12.2
- rope 已从 1.12.0 升级到 1.13.0
- s3transfer 从 0.11.3 到 0.14.0
- scipy 已更新版本从 1.15.1 至 1.15.3
- setuptools 版本号从 74.0.0 更新到 78.1.1
- six 从 1.16.0 到 1.17.0
- 从 0.5.3 到 0.5.5 的 sqlparse
- 从 0.2.0 到 0.6.3 的 stack-data
- starlette 从 0.46.2 升级至 0.50.0
- tornado 已从 6.4.2 升级到 6.5.1
- types-python-dateutil 从 2.9.0.20241206 升级至 2.9.0.20251115
- uvicorn 从 0.34.2 到 0.40.0
- 网页颜色从 24.11.1 版升级到 25.10.0 版
升级后的 R 库:
- 箭头从 19.0.1 到 22.0.0
- 基础版本从 4.4.2 到 4.5.1
- bigD 从 0.3.0 到 0.3.1
- 将 broom 从 1.0.7 升级到 1.0.10
- clock 已从 0.7.2 升级到 0.7.3
- commonmark 从 1.9.5 到 2.0.0
- 编译器从 4.4.2 到 4.5.1
- 证书从版本 2.0.2 更新至 2.0.3
- curl 版本从 6.4.0 升级到 7.0.0
- data.table 版本从 1.17.0 到 1.17.8
- 从 4.4.2 到 4.5.1 的数据集
- dbplyr 从 2.5.0 到 2.5.1
- devtools 从 2.4.5 到 2.4.6
- diffobj 从 0.3.5 到 0.3.6
- digest 从 0.6.37 到 0.6.39
- downlit 已从 0.4.4 升级到 0.4.5
- dtplyr 从 1.3.1 到 1.3.2
- evaluate 已从 1.0.3 升级到 1.0.5
- fansi 从 1.0.6 到 1.0.7
- forcats 从 1.0.0 到 1.0.1
- fs 从 1.6.5 到 1.6.6
- future 已从 1.34.0 升级到 1.68.0
- future.apply 从 1.11.3 到 1.20.0
- gargle从1.5.2升级到1.6.0
- gert 从 2.1.4 到 2.2.0
- ggplot2 从 3.5.1 到 4.0.1
- gh 从 1.4.1 到 1.5.0
- git2r 从 0.35.0 到 0.36.2
- glmnet 从 4.1-8 到 4.1-10
- googledrive 从 2.1.1 到 2.1.2
- googlesheets4 从 1.1.1 到 1.1.2
- 从 4.4.2 到 4.5.1 的图形
- grDevices 从 4.4.2 到 4.5.1
- 从 4.4.2 到 4.5.1 的网格
- 将 gt 从 0.11.1 更新至 1.1.0
- hardhat 从 1.4.1 到 1.4.2
- haven 从 2.5.4 到 2.5.5
- 从 1.1.3 到 1.1.4 的 hms
- httpuv 从 1.6.15 到 1.6.16
- httr2 从 1.1.1 到 1.2.1
- 从 1.9.1 到 2.0.0 的 jsonlite
- 稍后从 1.4.1 升级到 1.4.4
- lava 已从 1.8.1 升级到 1.8.2
- listenv 从 0.9.1 到 0.10.0
- magrittr 从 2.0.3 到 2.0.4
- markdown 从 1.13 到 2.0
- 从 4.4.2 到 4.5.1 的方法
- miniUI 从 0.1.1.1 到 0.1.2
- mlflow 从 2.20.4 到 3.6.0
- openssl 从 2.3.3 到 2.3.4
- parallel 已从 4.4.2 升级到 4.5.1
- parallelly 已从 1.42.0 升级到 1.45.1
- pillar 已从 1.11.0 升级到 1.11.1
- pkgbuild 从 1.4.6 到 1.4.8
- pkgdown 从版本 2.1.1 升级到 2.2.0
- pkgload 从 1.4.0 到 1.4.1
- pROC 从 1.18.5 到 1.19.0.1
- prodlim 从 2024.06.25 到 2025.04.28
- progressr 从 0.15.1 升级到 0.18.0
- promises 已从 1.3.2 升级到 1.5.0
- ps 版本从 1.9.0 升级到 1.9.1
- 将 purrr 从 1.0.4 升级到 1.2.0
- ragg版本从1.3.3更新到1.5.0
- Rcpp 从 1.0.14 到 1.1.0
- readr 从 2.1.5 到 2.1.6
- 食谱从 1.2.0 到 1.3.1
- reshape2 从 1.4.4 更新至 1.4.5
- rmarkdown版本从2.29升级到2.30
- roxygen2 从 7.3.2 到 7.3.3
- rprojroot 从 2.0.4 到 2.1.1
- RSQLite 从 2.3.9 到 2.4.4
- rversions 已从 2.1.2 升级到 3.0.0
- rvest 从 1.0.4 到 1.0.5
- sass 从 0.4.9 到 0.4.10
- 从版本 1.3.0 升级到 1.4.0
- shiny 从 1.10.0 到 1.11.1
- sparklyr 从 1.9.1 到 1.9.3
- SparkR 从 4.0.0 到 4.1.0
- sparsevctrs从0.3.1到0.3.4
- 从 4.4.2 到 4.5.1 的样条
- 从 4.4.2 到 4.5.1 的统计信息
- stats4 从 4.4.2 到 4.5.1
- stringr 从 1.5.1 到 1.6.0
- Systemfonts 从 1.2.1 到 1.3.1
- tcltk 从 4.4.2 到 4.5.1
- testthat 从 3.2.3 到 3.3.0
- textshaping 已从 1.0.0 升级到 1.0.4
- timeDate 从 4041.110 到 4051.111
- tinytex 从 0.56 到 0.58
- 工具从 4.4.2 到 4.5.1
- 将 usethis 从 3.1.0 升级到 3.2.1
- utils 已从 4.4.2 升级到 4.5.1
- V8 从 6.0.2 到 8.0.1
- 从 1.6.5 到 1.6.6 的 vroom
- waldo 从 0.6.1 到 0.6.2
- xfun 从 0.51 到 0.54
- xml2 从 1.3.8 到 1.5.0
- zeallot 从 0.1.0 到 0.2.0
- zip 从 2.3.2 到 2.3.3
升级后的 Java 库:
- com.amazonaws.amazon-kinesis-client 从 1.12.0 到 1.15.3
- com.amazonaws.aws-java-sdk-autoscaling 从 1.12.638 升级到 1.12.681
- com.amazonaws.aws-java-sdk-cloudformation 从版本 1.12.638 升级到版本 1.12.681
- com.amazonaws.aws-java-sdk-cloudfront 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudhsm 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudsearch 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudtrail 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatch 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cloudwatchmetrics 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-codedeploy 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cognitoidentity 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-cognitosync 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-config 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-core 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-datapipeline 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-directconnect 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-directory 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-dynamodb 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ec2 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ecs 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-efs 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticache 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticbeanstalk 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elasticloadbalancing 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-elastictranscoder,从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-emr 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-glacier 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-glue 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-iam 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-importexport 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-kinesis 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-kms 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-lambda 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-logs 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-machinelearning 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-opsworks 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-rds 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-redshift 从 1.12.638 升级到 1.12.681
- com.amazonaws.aws-java-sdk-route53 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-s3 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ses 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-simpledb 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-simpleworkflow 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-sns 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-sqs 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-ssm 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-storagegateway 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-sts 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-support 从 1.12.638 到 1.12.681
- com.amazonaws.aws-java-sdk-workspaces 从 1.12.638 到 1.12.681
- com.amazonaws.jmespath-java 从 1.12.638 到 1.12.681
- com.databricks.databricks-sdk-java 从 0.27.0 到 0.53.0
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.18.2 到 2.18.3
- com.github.luben.zstd-jni 从 1.5.6-10 到 1.5.7-6
- com.google.flatbuffers.flatbuffers-java 从 24.3.25 到 25.2.10
- com.google.guava.failureaccess 从 1.0.2 升级至 1.0.3
- com.google.guava.guava 从 33.4.0-jre 到 33.4.8-jre
- com.microsoft.sqlserver.mssql-jdbc 从 11.2.3.jre8 升级到 12.8.0.jre8
- commons-cli.commons-cli 从 1.9.0 到 1.10.0
- commons-codec.commons-codec 从 1.17.2 到 1.19.0
- commons-fileupload.commons-fileupload 版本从 1.5 升级到 1.6.0
- commons-io.commons-io 从 2.18.0 到 2.21.0
- dev.ludovic.netlib.arpack 从 3.0.3 到 3.0.4
- dev.ludovic.netlib.blas 从 3.0.3 升级到 3.0.4
- dev.ludovic.netlib.lapack 从 3.0.3 到 3.0.4
- io.dropwizard.metrics.metrics-annotation 已从 4.2.30 升级到 4.2.37
- io.dropwizard.metrics.metrics-core 已从 4.2.30 升级到 4.2.37
- io.dropwizard.metrics.metrics-graphite 从 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-healthchecks 从 4.2.30 升级到 4.2.37
- io.dropwizard.metrics.metrics-jmx 从 4.2.30 升级到 4.2.37
- io.dropwizard.metrics.metrics-json 从 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-jvm 从 4.2.30 到 4.2.37
- io.dropwizard.metrics.metrics-servlets 从 4.2.30 到 4.2.37
- io.netty.netty-all 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-buffer 从 4.1.118.Final 升级至 4.2.7.Final
- io.netty.netty-codec 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-http 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-http2,从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-codec-socks 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-common 从 4.1.118.Final 升级至 4.2.7.Final
- io.netty.netty-handler 从《4.1.118.Final》到《4.2.7.Final》
- io.netty.netty-handler-proxy 版本从 4.1.118.Final 升级到 4.2.7.Final
- io.netty.netty-resolver 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-tcnative-boringssl-static 从 2.0.70.Final-db-r0-windows-x86_64 更新至 2.0.74.Final-db-r0-windows-x86_64
- io.netty.netty-tcnative-classes 从 2.0.70.Final 到 2.0.74.Final
- io.netty.netty-transport 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-transport-classes-epoll 从 4.1.118. Final 升级至 4.2.7.Final
- io.netty.netty-transport-classes-kqueue 从 4.1.118.Final 到 4.2.7.Final
- io.netty.netty-transport-native-epoll 从 4.1.118.Final-linux-x86_64 升级至 4.2.7.Final-linux-x86_64
- io.netty.netty-transport-native-kqueue 从 4.1.118.Final-osx-x86_64 到 4.2.7.Final-osx-x86_64
- io.netty.netty-transport-native-unix-common 从 4.1.118.Final 到 4.2.7.Final
- joda-time.joda-time 从 2.13.0 到 2.14.0
- org.apache.arrow.arrow-format 从 18.2.0 到 18.3.0
- org.apache.arrow.arrow-memory-core 从 18.2.0 到 18.3.0
- org.apache.arrow.arrow-memory-netty 从 18.2.0 到 18.3.0
- org.apache.arrow.arrow-memory-netty-buffer-patch 从 18.2.0 到 18.3.0
- org.apache.arrow.arrow-vector 从 18.2.0 到 18.3.0
- org.apache.avro.avro 从 1.12.0 到 1.12.1
- org.apache.avro.avro-ipc 从 1.12.0 到 1.12.1
- org.apache.avro.avro-mapred 从 1.12.0 到 1.12.1
- org.apache.commons.commons-collections4 从 4.4 到 4.5.0
- org.apache.commons.commons-compress 从 1.27.1 更新到 1.28.0
- org.apache.commons.commons-lang3 从 3.17.0 到 3.19.0
- org.apache.commons.commons-text 从 1.13.0 到 1.14.0
- org.apache.curator.curator-client 从 5.7.1 到 5.9.0
- org.apache.curator.curator-framework 从 5.7.1 到 5.9.0
- org.apache.curator.curator-recipes 从 5.7.1 到 5.9.0
- org.apache.datasketches.datasketches-java 从 6.1.1 到 6.2.0
- org.apache.hadoop.hadoop-client-runtime 从 3.4.1 到 3.4.2
- org.apache.orc.orc-core 从 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
- org.apache.orc.orc-format 从 1.1.0-shaded-protobuf 到 1.1.1-shaded-protobuf
- org.apache.orc.orc-mapreduce 从 2.1.1-shaded-protobuf 到 2.2.0-shaded-protobuf
- org.apache.orc.orc-shims 从 2.1.1 到 2.2.0
- org.apache.xbean.xbean-asm9-shaded 已从 4.26 升级到 4.28
- org.apache.zookeeper.zookeeper,从 3.9.3 到 3.9.4
- org.apache.zookeeper.zookeeper-jute 从 3.9.3 到 3.9.4
- org.eclipse.jetty.jetty-client 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-http 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-io 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-jndi 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-plus 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-proxy 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-security 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-server 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-servlet 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-servlets 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-util 从 9.4.53.v20231009 到 10.0.26
- org.eclipse.jetty.jetty-webapp 从版本 9.4.53.v20231009 升级至版本 10.0.26
- org.eclipse.jetty.jetty-xml 从 9.4.53.v20231009 到 10.0.26
- org.mlflow.mlflow-spark_2.13 从 2.9.1 到 2.22.1
- org.objenesis.objenesis 版本从 3.3 更新到 3.4
- org.scala-lang.modules.scala-xml_2.13 从 2.3.0 到 2.4.0
Apache Spark
Databricks Runtime 18.0 包括 Apache Spark 4.1.0。 此版本包括以前版本中包含的所有 Spark 修复和改进,以及以下内容:
- SPARK-54182 还原“[SQL][python] 优化 df.toPandas` 的非 arrow 转换”
- SPARK-54134 优化箭头内存使用情况
- SPARK-54536 乱序 FetchWaitTime 缺失收集创建客户端/等待成本
- SPARK-54534 将 Hive 相关的旧错误代码迁移到适当的错误条件
-
SPARK-54565 SparkBuildInfo 应从自己的类加载器加载
spark-version-info.properties - SPARK-54533 为指标 ExecutorSource.METRIC_RESULT_SIZE 设置正确的值
- SPARK-54478 为 connect 兼容测试 CI 重新启用流式测试
-
SPARK-54552 修复
SparkConnectResultSet.getString以使用UTF_8处理 BINARY 数据类型 - SPARK-54501 改进 Hive 元存储分区筛选器失败的错误处理
-
SPARK-54550 在
SparkConnectStatement.close()中妥善处理ConnectException -
SPARK-54020 在 Spark 声明性管道的查询函数中支持
spark.sql(...)Python API - SPARK-53127 修复 LIMIT ALL 以处理带 CTE 规范化的无限递归
- SPARK-50072 处理间隔解析时出现的大值算术异常
-
SPARK-54299 修复错误的示例查询
WindowGroupLimit - SPARK-54505 更正 makeNegative 中 createMetrics 调用的参数顺序
-
SPARK-54462 为
TableProvider添加SupportsV1OverwriteWithSaveAsTable混入 - SPARK-54540 连接 JDBC 驱动程序的几个次要修复
-
SPARK-54508 修复
spark-pipelines以更可靠地解析spec文件路径 - SPARK-54087 Spark 执行程序启动任务失败应返回任务终止消息
- SPARK-53797 修复 并使用
FileStreamSource.takeFilesUntilMax以避免zipWithIndex的使用 - SPARK-54418 修复错误消息和代码格式
- SPARK-54114 支持获取 SparkConnectDatabaseMetaData 的列信息
- SPARK-54209 支持 SparkConnectResultSet 中的 TIMESTAMP 类型
- SPARK-54208 支持 SparkConnectResultSet 中的 TIME 类型
- SPARK-54528 急切关闭 URLClassLoader 以避免 OOM
-
SPARK-54464 删除重复
output.reserve调用assembleVariantBatch - SPARK-53635 支持具有 Seq[Row] 类型的输入参数的 Scala UDF
- SPARK-54493 修复 MapType 的 assertSchemaEqual
- SPARK-52515 使用开和关标志测试 approx_top_k
- SPARK-54413 将 Bootstrap v4.4.1 升级到 v4.6.2
-
SPARK-54497在转换器缓存中应用
functools.lru_cache - SPARK-54306 使用 Variant 逻辑类型批注对 Variant 列进行批注
- SPARK-54350 SparkGetColumnsOperation ORDINAL_POSITION 应该从1开始
- SPARK-54130 为目录断言失败添加详细的错误消息
- SPARK-54220 Parquet 中的 NullType/VOID/UNKNOWN 类型支持
- SPARK-54163 扫描规范化处理以获取分区和排序的信息
- SPARK-54377 修复 COMMENT ONTABLE IS NULL,以便能够正确删除表上的注释
- SPARK-52767 优化 join 和 union 的 maxRows 和 maxRowsPerPartition
- SPARK-54063 当上传延迟时触发下一批快照
- SPARK-54384 更新 BatchedSerializer 的 _batched 方法
-
SPARK-54378从
CreateXmlParser.scala模块中删除catalyst - SPARK-53103 还原“[SC-204946][ss] 当查询启动时如果状态目录非空则抛出错误”
- SPARK-53103 如果在查询启动时状态目录不为空,则引发错误
-
SPARK-54397 使
UserDefinedType可哈希化 -
SPARK-54440 为默认管道规范文件提供更惯用的名称,
spark-pipeline.yml - SPARK-54324 为 client-user-context-extensions 添加测试
- SPARK-54456 在 fork 后导入 worker 模块以避免死锁
-
SPARK-54427允许 ColumnarRow 使用可变类型进行调用
copy -
SPARK-54136 将计划合并逻辑从
MergeScalarSubqueries提取到PlanMerger - SPARK-54389 修复当任务在初始化期间标记为失败时 RocksDB State Store Invalid Stamp 错误
- SPARK-54346 引入状态重新分区 API 和重新分区执行器
- SPARK-53809 为 DataSourceV2ScanRelation 添加标准化处理
- SPARK-54280 要求管道检查点存储目录为绝对路径
- SPARK-54206 支持 SparkConnectResultSet 中的 BINARY 类型数据
- SPARK-54319 禁用代码生成时 BHJ LeftAnti 更新 numOutputRows 错误
-
SPARK-54355使
spark.connect.session.planCompression.defaultAlgorithm能够支持NONE - SPARK-54341 记住通过 TableProvider 加载的表的 TimeTravelSpec
- SPARK-54280 还原“[SC-212148][sdp] 要求管道检查点存储目录为绝对路径”
- SPARK-54354 修复当广播哈希关系没有足够 JVM 堆内存时 Spark 挂起
- SPARK-54439 KeyGroupedPartitioning 和联接键大小不匹配
- SPARK-54280 要求管道检查点存储目录为绝对路径
- SPARK-54395 RemoteBlockPushResolver 类重复初始化 ObjectMapper
- SPARK-54207 支持 SparkConnectResultSet 中的日期类型数据
-
SPARK-54182 优化非箭头转换
df.toPandas - SPARK-54312 避免在独立 worker 中重复调度 SendHeartbeat/WorkDirClean 任务
-
SPARK-54394将
isJavaVersionAtMost17和isJavaVersionAtLeast21从core移动到common/utils - SPARK-53927 升级 kinesis 客户端
- SPARK-54358 不同架构中流式表同名时检查点目录冲突
-
SPARK-54310 还原“[SC-212003][sql] 为
numSourceRows添加MergeIntoExec度量” -
SPARK-54310 为
numSourceRows添加MergeIntoExec指标 - SPARK-53322 仅当联接键位置可完全下推时选择 KeyGroupedShuffleSpec
- SPARK-54270 SparkConnectResultSet get* 方法应调用 checkOpen 并检查索引边界
- SPARK-53849 更新 netty 和 netty tc native
- SPARK-54205 支持 SparkConnectResultSet 中的十进制类型数据
- SPARK-54417 修复 IDENTIFIER 子句中标量子查询的错误消息
- SPARK-54113 支持 SparkConnectDatabaseMetaData 中的 getTables
- SPARK-54303 标准化错误状态 MISSING_CATALOG_ABILITY
- SPARK-54153 支持基于分析迭代器的 Python UDF
- SPARK-54349 重构代码以简化 faulthandler 集成扩展
- SPARK-54317 统一 Classic 和 Connect 的 Arrow 转换逻辑 toPandas
- SPARK-54339 修复 AttributeMap 非确定性
- SPARK-54112 支持 SparkConnectDatabaseMetaData 的 getSchemas功能
- SPARK-54180 重写 BinaryFileFormat 的 toString
- SPARK-54213 从 Spark Connect 中删除 Python 3.9
- SPARK-54215 将 SessionStateHelper 特征添加到 FilePartition
- SPARK-54115 提升线程转储页面中连接服务器操作线程的显示排序优先级
- SPARK-54193 弃用 spark.shuffle.server.finalizeShuffleMergeThreadsPercent
- SPARK-54149 尽可能启用尾递归
- SPARK-54185 已弃用 spark.shuffle.server.chunkFetchHandlerThreadsPercent
- SPARK-54056 解决目录中 SQLConf 设置替换的问题
- SPARK-54147 在 BaseScriptTransformationExec 中默认将 OMP_NUM_THREADS 设置为 spark.task.cpus
- SPARK-54229 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目
- SPARK-53337 XSS:确保历史页面中的应用名称被转义
- SPARK-54229 还原“[SC-211321][python] 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目”
- SPARK-54373 扩大作业 DAG 初始化时的 SVG viewBox 属性
- SPARK-54323 将访问日志的方式更改为 TVF 而非系统视图
- SPARK-54229 使 UDF 中的 PySparkLogger 为每个日志函数调用存储一个日志条目
- SPARK-53978 支持驱动端 worker 中的日志记录
- SPARK-54146 清理已弃用的 Jackson API 的使用
- SPARK-54383 为 InternalRowComparableWrapper util 添加预计算架构变体
- SPARK-54030 为视图元数据损坏添加用户友好断言消息
- SPARK-54144 短路评估类型推理
- SPARK-54030 还原“[SC-210301][sql] 为视图元数据损坏添加用户友好断言消息”
- SPARK-54028 更改与 Hive 不兼容的视图时使用空架构
- SPARK-54030 为视图元数据损坏添加用户友好断言消息
-
SPARK-54085 修复
initialize,此外在CREATE中添加DriverRunner选项 - SPARK-53482MERGE INTO 当源具有比目标更少嵌套字段时支持
- SPARK-53905 重构 RelationResolution 以启用代码重用
- SPARK-53732 记住 DataSourceV2Relation 中的 TimeTravelSpec
- SPARK-54014 支持 SparkConnectStatement 的最大行数
- SPARK-50906 修复重新排序的结构体字段的 Avro 空值性检查
- SPARK-54396 优化 Dataframe.toArrow 中的 Py4J 调用
- SPARK-54344 如果 daemon.py 中 flush 失败则杀死 worker
- SPARK-53977 支持在 UDTF 中进行日志记录
- SPARK-52515 重新应用“[SC-199815][sql] 添加approx_top_k函数”
- SPARK-54340 添加在 pyspark 守护程序/辅助角色上使用 viztracer 的功能
-
SPARK-54379 将 lambda 绑定移动到单独的
LambdaBinder对象 - SPARK-54029 添加表元数据损坏的详细错误消息以简化调试
- SPARK-54002 支持将 BeeLine 与 Connect JDBC 驱动程序集成
-
SPARK-54336 修复与
ScalarSubqueryReference的BloomFilterMightContain输入类型检查 - SPARK-53406 在直接直通洗牌 id 中避免不必要的洗牌联接
- SPARK-54347 优化经典数据帧中的 Py4J 调用
- SPARK-54062 MergeScalarSubqueries 代码清理
- SPARK-54054 支持 SparkConnectResultSet 的行位置
-
SPARK-54330 优化 Py4J 调用
spark.createDataFrame - SPARK-54332 在 rollup/cube/groupingSets 中无需在分组列名中附加 PlanId
- SPARK-53976 支持 Pandas/Arrow UDF 中的日志记录
- SPARK-54123 添加时区以使时间戳成为绝对时间
- SPARK-54356 修复由缺少存储根架构导致的 EndToEndAPISuite
- SPARK-54292 SPARK-54292 在 |>SELECT 管道操作符中支持聚合函数和 GROUP BY (#180106) (#180368)
- SPARK-54376 将大多数管道配置选项标记为内部
- SPARK-53975 添加基本的 Python 工作节点日志支持
- SPARK-54361 将 Spark 版本设定为 spark.sql.parser.singleCharacterPipeOperator.enabled 的目标值 4.2.0
- SPARK-51518 支持使用 | 作为 SQL 管道操作符标记的 |> 替代项
- SPARK-53535 修复始终假定为 null 的缺失结构
- SPARK-54294 规范化 Connect 服务器打印出的 IP 地址
- SPARK-52439 支持具有 null 值的 check 约束
-
SPARK-54352 引入
SQLConf.canonicalize以集中规范化字符串 - SPARK-54183 还原 还原“[SC-211824][python][CONNECT] 在 spark connect toPandas() 期间避免一个中间临时数据帧”
- SPARK-53573IDENTIFIER 到处
- SPARK-53573 允许在任何地方合并字符串文本
- SPARK-54240 将获取数组项催化剂表达式转换为连接器表达式
-
SPARK-54334 将 lambda 和更高顺序函数下的子查询表达式的验证移动到
SubqueryExpressionInLambdaOrHigherOrderFunctionValidator - SPARK-54183 还原“[SC-211824][python][CONNECT] 在 spark connect toPandas() 期间避免一个中间临时数据帧”
- SPARK-54183 在 spark connect toPandas() 期间避免一个中间临时数据帧
- SPARK-54264 DeDup 运算符可以使用 RocksDB 的 keyExists()
-
SPARK-54269 升级到
cloudpickle3.1.2 for Python 3.14 -
SPARK-54300 优化 Py4J 调用
df.toPandas - SPARK-54307 如果流式查询以有状态操作重启但状态目录为空则抛出错误
- SPARK-54117 抛出更好的错误以指示 TWS 仅受 RocksDB 状态存储提供程序支持
- SPARK-53917 支持大型本地关系 - 后续
-
SPARK-54275 清理
pipeline模块中未使用的代码 -
SPARK-54287 在
pyspark-client和pyspark-connect中添加对 Python 3.14 的支持 -
SPARK-53614 向
Iterator[pandas.DataFrame]添加applyInPandas支持 - SPARK-54191 向 Defineflow Proto 添加一次
- SPARK-54234 不需要在 df.groupBy 中将 PlanId 附加到分组列名称上
- SPARK-54231 填写 SDP 文档中的空白
- SPARK-54199 为新的 KLL 分位数草图函数添加 DataFrame API 支持(#178526)
- SPARK-52463 重新应用“[SC-211221][sdp] 在 Python Pipelines API 中添加对cluster_by的支持”
- SPARK-52463 还原“[SC-211221][sdp] 在 Python Pipelines API 中添加对 cluster_by 的支持”
- SPARK-53786 具有特殊列名的默认值不应与实际列冲突
- SPARK-54200 更新 KafkaConsumerPoolRealTimeModeSuite 以使用 groupIdPrefix 实现并发运行安全性
- SPARK-52463 在 Python Pipelines API 中添加对cluster_by的支持
-
SPARK-52509 在
RemoveShuffle事件上从回退存储清理单个洗牌 - SPARK-54187 重新应用“[SC-211150][python][CONNECT] 在 toPandas 中批量获取所有配置”
- SPARK-53942 支持流式查询重启时更改无状态洗牌分区
- SPARK-52515 还原“[SC-199815][sql] 添加 approx_top_k 函数”
- SPARK-52515 添加approx_top_k函数
-
SPARK-54078 用于
StateStoreSuite SPARK-40492: maintenance before unload的新测试并移除旧测试的基础设施 - SPARK-54178 改进 ResolveSQLOnFile 的错误
-
SPARK-53455 添加
CloneSessionRPC - SPARK-54178 还原“[SC-211111][sql] 改进 ResolveSQLOnFile 的错误”
-
SPARK-53489 在
ApplyDefaultCollationToStringType中使用v2ColumnsToStructType进行移除 - SPARK-54178 改进 ResolveSQLOnFile 的错误
- SPARK-54187 还原“[SC-211150][python][CONNECT] 在 toPandas 中批量获取所有配置”
- SPARK-53942 还原“[SC-209873][ss] 支持流式查询重启时更改无状态洗牌分区”
- SPARK-54187 在 toPandas 中获取批处理中的所有配置
- SPARK-54145 修复嵌套类型在数值聚合中的列检查问题
- SPARK-53942 支持流式查询重启时更改无状态洗牌分区
- SPARK-53991 基于 DataSketches (#178089) (#178234) 添加对 KLL 量子函数的 SQL 支持
- SPARK-53128 在执行内存 OOM 前在使用日志中包含非托管内存字节
- SPARK-53731 更新迭代器 API 的类型提示
-
SPARK-53967 在
df.toPandas中避免中间 pandas 数据帧创建 -
SPARK-53455 还原“[SC-208758][connect] 添加
CloneSessionRPC” - SPARK-54108 修改 SparkConnectStatement 的执行* 方法
- SPARK-54052 添加 bridge 对象以解决 Py4J 限制
- SPARK-54128 使用 Spark Connect 服务器中的正确错误类将 IllegalArgumentException 转换为 SparkException
- SPARK-53880 通过添加 SupportsPushDownVariants 修复 PushVariantIntoScan 中的 DSv2
- SPARK-54111 支持 SparkConnectDatabaseMetaData 的 getCatalogs
-
SPARK-53455 添加
CloneSessionRPC - SPARK-54118 改进 ListState 中存在多个值时的 put/merge 操作
- SPARK-54038 支持 SparkConnectDatabaseMetaData 的 getSQLKeywords 功能
- SPARK-54013 实现 SparkConnectDatabaseMetaData 简单方法
- SPARK-53934 初始实现 Connect JDBC 驱动程序
- SPARK-53959 在从具有索引但没有数据的 pandas 数据帧创建数据帧时,引发客户端端错误
- SPARK-53573 还原“[SC-210255][sql] 允许在任何地方聚合字符串文本”
- SPARK-54094 将常用方法提取到 KafkaOffsetReaderBase
- SPARK-53573 允许在任何地方合并字符串文本
- SPARK-54039 将 TaskContext 信息添加到 KafkaDataConsumer release()日志,以便更好地进行调试
- SPARK-54031 为分析边缘案例添加新的黄金文件测试
-
SPARK-54067 改进
SparkSubmit以使用根本原因调用exitFn而非SparkUserAppException - SPARK-54047 当 kill-on-idle-timeout 时使用不同错误
-
SPARK-54078 消除 StateStoreSuite 的不稳定性
SPARK-40492: maintenance before unload - SPARK-54061 用适当错误代码包装 IllegalArgumentException 以处理无效日期时间模式
- SPARK-54031 还原“[SC-210084][sql] 为分析边缘情况添加新黄金文件测试”
-
SPARK-54075 使
ResolvedCollation可评估 - SPARK-54001 在会话克隆中使用引用计数缓存本地关系优化内存使用
- SPARK-54031 为分析边缘案例添加新的黄金文件测试
-
SPARK-53923 重命名
spark.executor.(log -> logs).redirectConsoleOutputs -
SPARK-54007 使用 Java
Set.of而不是Collections.emptySet - SPARK-53755 在 BlockManager 中添加日志支持
- SPARK-54041 重构 ParameterizedQuery 参数验证过程
- SPARK-53696 PySpark 中 BinaryType 的默认字节数
- SPARK-53921 将 GeometryType 和 GeographyType 引入 PySpark API
-
SPARK-53788 将 VersionUtils 移动到
common模块 - SPARK-53999 BSD/MacOS 上的原生 KQueue 传输支持
- SPARK-54021 跨 Catalyst 实现 Geography 和 Geometry 访问器
- SPARK-53921 撤销“[SC-209482][geo][PYTHON] 引入 GeometryType 和 GeographyType 到 PySpark API”
- SPARK-53920 将 GeometryType 和 GeographyType 引入 Java API
- SPARK-53610 在 CoGrouped applyInPandas 和 applyInArrow 中限制 Arrow 批大小
- SPARK-53659 写入 Parquet 时推断 Variant 拆分架构
- SPARK-53922 介绍物理几何图形和地理类型
- SPARK-54059 如果使用了 ZGC 或 ShenandoahGC 和 ON_HEAP,则按 LONG_ARRAY_OFFSET 减小默认页大小
- SPARK-53921 将 GeometryType 和 GeographyType 引入 PySpark API
-
SPARK-54048更新
dev/requirements.txt以在 Python 3.14 中安装torch(vision) - SPARK-53917 支持大型本地关联
- SPARK-53760 引入几何类型和地理类型
-
SPARK-53530 清理与以下相关无用代码
TransformWithStateInPySparkStateServer - SPARK-53636 修复 SortShuffleManager.unregisterShuffle 中的线程安全问题
- SPARK-52762 添加 PipelineAnalysisContext 消息以支持 Spark Connect 查询执行期间的管道分析
- SPARK-53631 优化 SHS 启动上的内存和性能
- SPARK-53857 允许 messageTemplate 传送至 SparkThrowable
- SPARK-53891 建模 DSV2 Commit Write Summary API
- SPARK-53966 添加实用工具函数以检测 JVM GC
- SPARK-53149 修复测试 BeeLine 进程是否在后台运行
- SPARK-53738 当查询输出包含可折叠排序时修复计划写入
-
SPARK-53949 使用
Utils.getRootCause而不是Throwables.getRootCause - SPARK-53696 恢复“[SC-209330][python][CONNECT][sql] 将 BinaryType 在 PySpark 中的默认值设为字节”
- SPARK-53804 支持 TIME 基数排序
- SPARK-54004 修复按名称取消缓存表而不级联
-
SPARK-53261 使用 Java
String.join|StringJoiner而不是 GuavaJoiner - SPARK-53319 通过 try_make_timestamp_ltz() 函数支持时间类型
-
SPARK-53280 使用 Java
instanceof而不是Throwables.throwIf*方法 - SPARK-53696 PySpark 中 BinaryType 的默认字节数
-
SPARK-53258 使用
JavaUtils的check(Argument|State) -
SPARK-53773 恢复规则的字母顺序
RuleIdCollection -
SPARK-53256 提升
check(Argument|State)为JavaUtils - SPARK-54008 为 DESCRIBE QUERY 跳过 QO
- SPARK-53573 将预处理器用于通用参数标记处理
-
SPARK-53980 添加
SparkConf.getAllWithPrefix(String, String => K)API -
SPARK-54009 支持
spark.io.mode.default - SPARK-51903 验证在添加 CHECK 约束时的数据
- SPARK-53573 还原“[SC-209126][sql] 将预处理器用于通用参数标记处理”
- SPARK-53573 将预处理器用于通用参数标记处理
- SPARK-53573 还原“[SC-209126][sql] 将预处理器用于通用参数标记处理”
- SPARK-53956 支持 PySpark 中 try_make_timestamp 函数中的 TIME
- SPARK-53930 支持在 PySpark 中的 make_timestamp 函数中使用 TIME
- SPARK-53573 将预处理器用于通用参数标记处理
- SPARK-53564 避免 DAGSchedulerEventProcessLoop 中因 blockManager RPC 超时导致 DAGScheduler 退出
-
SPARK-53879 升级到
Ammonite3.0.3 - SPARK-53938 修复 LocalDataToArrowConversion 中的小数调整
- SPARK-53845 SDP 接收器
- SPARK-53908 使用计划缓存修复 Spark Connect 上的观察结果
-
SPARK-53841在列 API 中实现
transform() - SPARK-53929 在 Scala 的 make_timestamp 和 try_make_timestamp 函数中支持 TIME
-
SPARK-53902 在
ParameterizedQuery参数列表中对受支持表达式添加树节点模式位 - SPARK-53064 在 Java 中重写 MDC LogKey
- SPARK-53762 向优化器添加日期和时间转换简化规则
- SPARK-53916 删除 PythonArrowInput 中的变量
- SPARK-53690 修复 progress json 中 Kafka sources 对象的 avgOffsetsBehindLatest 和 estimatedTotalBytesBehindLatest 的指数格式
- SPARK-53789 标准化错误条件 CANNOT_MODIFY_STATIC_CONFIG
- SPARK-53720 简化从 DataSourceV2Relation 中提取表(#52460)
-
SPARK-45530 使用
java.lang.ref.Cleaner而不是finalize用于NioBufferedFileInputStream - SPARK-53789 还原“[SC-208902][sql][CONNECT] 规范化错误条件 CANNOT_MODIFY_STATIC_CONFIG”
- SPARK-53789 标准化错误条件 CANNOT_MODIFY_STATIC_CONFIG
- SPARK-53111 在 PySpark 中实现 time_diff 函数
-
SPARK-53896默认情况下启用
spark.io.compression.lzf.parallel.enabled - SPARK-53856 删除备用配置名称
- SPARK-53611 在窗口聚合 UDF 中限制 Arrow 批大小
- SPARK-53575 当重试的洗牌映射任务检测到校验和不匹配时重试整个使用者阶段
- SPARK-53867 限制SQL_GROUPED_AGG_ARROW_UDF中的箭头批大小
- SPARK-53877 介绍 BITMAP_AND_AGG 函数
- SPARK-51426 修复了“将元数据设置为空字典无效”
- SPARK-53868 在 V2ExpressionBuilder 中使用数组长度检查而不是直接引用检查
- SPARK-53609 限制SQL_GROUPED_AGG_PANDAS_UDF中的箭头批大小
-
SPARK-53892 使用
DescribeTopicsResult.allTopicNames而不是弃用的allAPI - SPARK-53878 修复与 ObservedMetrics 相关的争用条件问题
-
SPARK-53796 为几个管道 proto 添加
extension字段以支持前向兼容 - SPARK-53850 定义接收器的 proto 并将 DefineDataset 重命名为 DefineOutput
- SPARK-53812 重构 DefineDataset 和 DefineFlow protos,以分组相关属性并适应未来需求
- SPARK-53870 修复 TransformWithStateInPySparkStateServer 中大 proto 消息的部分读取 bug
- SPARK-53751 显式版本化检查点位置
- SPARK-52407 添加对 Theta Sketch 的支持(#171135)
-
SPARK-53779在Column API中实现
transform() -
SPARK-49547 将 API 迭代
RecordBatch器添加到applyInArrow - SPARK-53802 支持 SDP 表中用户指定架构的字符串值
- SPARK-53865 从 ResolveGenerate 规则中提取常见逻辑
- SPARK-53113 通过 try_make_timestamp() 支持时间类型
-
SPARK-53868 仅在 V2ExpressionSQBuilder 中对 Expression[] 使用带
visitAggregateFunction的签名 - SPARK-53792 修复当内存受限时 rocksdbPinnedBlocksMemoryUsage …
-
SPARK-53248 支持
JavaUtils中的checkedCast - SPARK-52640 传播 Python 源代码位置
- SPARK-52924 支持 ZSTD_strategy 压缩策略
- SPARK-53562 重新应用“[SC-207233][python] 限制 applyInArrow 和 applyInPandas 中的箭头批大小”
- SPARK-51272 在 ResubmitFailedStages 中中止而非继续部分完成的非确定性结果阶段
- SPARK-53795 在 LiteralValueProtoConverter 中删除未使用的参数
-
SPARK-53808 允许将可选 JVM 参数传递给
spark-connect-scala-client - SPARK-52614 支持产品编码器中的行编码器
-
SPARK-53833 更新
dev/requirements.txt以在 Python 3.14 中跳过torch/torchvision - SPARK-53715 重构 MergeIntoTable 的 getWritePrivileges
-
SPARK-53516 修复
spark.api.modeSparkPipelines 中的 arg 进程 - SPARK-53507 请勿使用 BreakingChangeInfo 的用例类
-
SPARK-53645 实现
skipna参数用于 ps.DataFrameany() -
SPARK-53717 正确修改
MapType.valueContainsNull参数注释 -
SPARK-53700 删除在
DataSourceV2RelationBase.simpleString中的冗余 - SPARK-53667 修复 EXPLAIN 用于带 IDENTIFIER 的 CALL
-
SPARK-53562 还原“[SC-207233][python] 限制 Arrow 批处理大小在
applyInArrow和applyInPandas中” - SPARK-51169 在 Spark 经典版中添加 Python 3.14 支持
-
SPARK-53562 在
applyInArrow和applyInPandas中限制 Arrow 批大小 - SPARK-53806 允许 AES 解密时对空输入进行错误分类处理
- SPARK-51756 计算 ShuffleWriters 中的 RowBasedChecksum
- SPARK-52807 支持 Declarative Pipelines 查询函数内分析的 proto 更改
- SPARK-53728 打印测试中出现错误的 PipelineEvent 消息
- SPARK-53207 以异步方式将管道事件发送到客户端
-
SPARK-53829
datetime.time列运算符支持 - SPARK-53638 限制 TWS 的 arrow 批字节大小以避免 OOM
- SPARK-53593 修复:对响应字段使用未加引号
- SPARK-53734 解析数组索引时首选表列而不是 LCA
- SPARK-53593 为 DefineDataset 和 DefineFlow RPC 添加响应字段
- SPARK-53734 还原“[SC-207697][sql] 解析数组索引时首选表列而不是 LCA”
- SPARK-53621 添加对执行 CONTINUE HANDLER 的支持
- SPARK-53734 解析数组索引时首选表列而不是 LCA
- SPARK-53507 向错误添加中断性变更信息
- SPARK-53707 改进属性元数据处理。
- SPARK-53629 为 MERGE INTO WITH SCHEMA EVOLUTION 实现类型扩展
-
SPARK-53719 增强函数中的
_to_col类型检查 - SPARK-53735 在 spark-pipelines 输出中默认隐藏服务器端 JVM 堆栈跟踪
- SPARK-53651 在管道中添加对持久视图的支持
- SPARK-53678 解决在 DataType 为 null 时创建 ColumnVector 子类的 NPE 问题
- SPARK-46679 修复使用参数化类时 SparkUnsupportedOperationException 找不到类型 T 的编码器
- SPARK-53444 重做 execute immediate 重做 execute immediate
- SPARK-53578 简化 LiteralValueProtoConverter 中的数据类型处理
- SPARK-53438 在 LiteralExpressionProtoConverter 中使用 CatalystConverter
- SPARK-53444 还原“[SC-206535][sql][CORE] 重做 execute immediate 重做 execute immediate”
- SPARK-53444 重做 execute immediate 重做 execute immediate
- SPARK-53112 支持 PySpark 中 make_timestamp_ntz 和try_make_timestamp_ntz 函数中的 TIME
- SPARK-53492 拒绝已完成操作 id 的第二个 ExecutePlan
- SPARK-52772 前向修复黄金文件
- SPARK-53591 简化 Pipeline Spec Pattern Glob 匹配
- SPARK-53553 修复了 LiteralValueProtoConverter 对 null 值的处理问题
- SPARK-52772 更新期间表属性处理不一致
- SPARK-53544 支持观测数据的复杂类型
-
SPARK-53357 更新
pandas到 2.3.2 - SPARK-53402 在 Scala 的 Spark Connect 中支持 Direct Passthrough Partitioning Dataset API
- SPARK-53372 SDP 端到端测试套件
- SPARK-53402 恢复“[SC-206163][connect] 在 Scala 中的 Spark Connect 中支持直接透传分区数据集 API”
- SPARK-53402 在 Scala 的 Spark Connect 中支持 Direct Passthrough Partitioning Dataset API
-
SPARK-53233 使与
streaming相关的代码使用正确的包名称 -
SPARK-53233 还原“[SC-203716][sql][SS][mllib][CONNECT] 使与
streaming相关的代码使用正确的包名” -
SPARK-53233 使与
streaming相关的代码使用正确的包名称 - SPARK-53561 在 outputStream.flush 期间捕获 TransformWithStateInPySparkStateServer 中的中断异常,以避免工作线程崩溃。
-
SPARK-53486 避免在 torch 模型加载中设置
weights_only=False - SPARK-53391 删除未使用的 PrimitiveKeyOpenHashMap
- SPARK-52431 Declarative Pipelines runner 收尾工作
- SPARK-52980 支持箭头 Python UDTF
- SPARK-53453 取消阻止“torch<2.6.0”
- SPARK-52582 重新合并 “[SC-199314][sc-204581][SQL] 改进 XML 分析器内存使用情况”
- SPARK-52582 还原“[SC-199314][sc-204581][SQL] 改进 XML 分析器内存使用情况”
- SPARK-52582 改进 XML 分析器内存使用情况
- 在 alter table add columns 中使用的 Dsv2 表达式 - SPARK-51906
-
SPARK-53150 改进
list(File|Path)s以处理不存在的、非目录的符号链接输入 -
SPARK-53091 禁止
org.apache.commons.lang3.Strings - SPARK-52844 将 numpy 更新为 1.22
-
SPARK-52912 改进
SparkStringUtils以支持is(Not)?(Blank|Empty) - SPARK-52877 改进 Python UDF 箭头序列化程序性能
- SPARK-52877 还原“[SC-201914][python] 改进 Python UDF Arrow 序列化器性能”
- SPARK-52238 声明性管道的 Python 客户端
- SPARK-52877 改进 Python UDF 箭头序列化程序性能
- SPARK-53287 添加 ANSI 迁移指南
- SPARK-52110 实现对管道的 SQL 语法支持
-
SPARK-52897 更新
pandas到 2.3.1 - SPARK-52451 还原“[SC-202894][connect][SQL] 在 SparkConnectPlanner 中使 WriteOperation 无副作用”
- SPARK-52976 修复 Python UDF 不接受排序字符串作为输入参数/返回类型
- SPARK-52904 默认启用 convertToArrowArraySafely
- SPARK-52821 添加 int->DecimalType pyspark udf 返回类型强制转换
- SPARK-52971 限制空闲的 Python 工作进程队列大小
- SPARK-53013 修复 Arrow 优化的 Python UDTF 在横向联接时不返回行的问题
- SPARK-51834 同步 OSS:支持端到端表约束更改添加/删除约束
- SPARK-52675 中断测试中未响应的 ML 处理程序
- SPARK-52959 在 Arrow 优化的 Python UDTF 中支持 UDT
- SPARK-52961 修复带 0 参数的 eval 在横向联接上的 Arrow 优化 Python UDTF
- SPARK-52949 在 Arrow 优化 Python UDTF 中避免 RecordBatch 和 Table 之间的往返
- SPARK-52946 修复 Arrow 优化的 Python UDTF 以支持大型变量类型
- SPARK-52934 允许使用箭头优化的 Python UDTF 生成标量值
- SPARK-52861 在 UDTF 箭头优化执行中跳过 Row 对象创建
- SPARK-51834 将 OSS 支持端到端创建/替换表与约束同步
- SPARK-44856 改进 Python UDTF 箭头序列化程序性能
- SPARK-51834 还原“[SQL] 通过添加构造函数修复 TableSpec”
- SPARK-51834 通过添加构造函数修复 TableSpec
- SPARK-51834 还原“[SQL] 同步 OSS(部分):支持创建/替换表中的端到端表约束”
- SPARK-51834 同步 OSS(部分):支持 create/replace table 中的端到端表约束
- SPARK-52885 在 Scala 中为 TIME 类型实现小时、分钟和秒函数
- SPARK-51834 同步 OSS 更新 ResolvedIdentifier 未应用调用
- SPARK-44856 还原“[SC-195808][python] 改进 Python UDTF 箭头序列化程序性能”
- SPARK-51834 还原“[SQL] 同步 OSS 更新 ResolvedIdentifier unapply 调用”
- SPARK-44856 改进 Python UDTF 箭头序列化程序性能
- SPARK-51834 同步 OSS 更新 ResolvedIdentifier 未应用调用
- SPARK-52787 围绕运行时和检查点区域重新组织流式执行目录
- SPARK-51695 通过 DSv2 为唯一约束在 OSS 中同步创建/替换/更改表格
- SPARK-51695 通过 DSv2 同步 OSS 删除约束
- SPARK-51695 引入表约束(CHECK、PK、FK)的解析器更改
- SPARK-51695 还原“[SQL] 引入表约束(CHECK、PK、FK)的解析器更改”
- SPARK-51695 引入表约束(CHECK、PK、FK)的解析器更改
- SPARK-49428 将 Scala 客户端从连接器移动到 SQL
-
SPARK-52422 更新
pandas到 2.3.0 - SPARK-52228 把状态交互微基准测试集成到 Quicksilver (TCP)
- SPARK-52300 使 SQL UDTVF 解析与视图解析使用一致的配置
- SPARK-52228 使用内存中状态 impls 和 python 中的基准代码构造基准用途的 TWS 状态服务器
-
SPARK-52174默认情况下启用
spark.checkpoint.compress - SPARK-52224 将 pyyaml 作为 Python 客户端的依赖项引入
- SPARK-52122 修复 DefaultParamsReader RCE 漏洞
- SPARK-51147 将流式处理相关类重构到专用流式处理目录
- SPARK-51789 在 Spark 提交中解析参数时正确遵循 spark.api.mode 和 spark.remote
- SPARK-51212 默认情况下,为 Spark Connect 添加单独的 PySpark 包
- SPARK-50762 添加分析器规则以解析 SQL 标量 UDF
-
SPARK-49748在
getCondition中添加getErrorClass并弃用SparkThrowable - SPARK-50605 支持 SQL API 模式,以便更轻松地迁移到 Spark Connect
- SPARK-50458 针对读取文件时不支持的文件系统进行正确的错误处理
- SPARK-49700 用于连接和经典版的统一 Scala 接口
- SPARK-51779 使用虚拟列族进行流-流联接
-
SPARK-51820 在分析之前移动
UnresolvedOrdinal构造,以避免按序号分组出现问题。 -
SPARK-51814在 PySpark 中引入新的 API
transformWithState - SPARK-51635 合并 PushProjectionThroughLimit 和 PushProjectionThroughOffset
-
SPARK-51165默认情况下启用
spark.master.rest.enabled - SPARK-51688 在 Python 和 JVM 通信之间使用 Unix 域套接字
- SPARK-51503 支持 XML 扫描中的变体类型
-
SPARK-50564 将
protobufPython 包升级到 5.29.1 - SPARK-50359 将 PyArrow 升级到 18.0
- SPARK-51340 模型大小估计
-
SPARK-50657 将最低版本
pyarrow升级到 11.0.0 - SPARK-49282 创建共享的 SparkSessionBuilder 接口。
- SPARK-51371 在 ResolveAggregateFunctions 中生成别名时,将 toString 更改为 toPrettySQL
- SPARK-50694 支持在子查询中重命名
- SPARK-50601 还原“[SC-186342][sql] 支持在子查询中使用withColumns / withColumnsRenamed”
- SPARK-50601 在子查询中支持 withColumns / withColumnsRenamed
Azure Databricks ODBC/JDBC 驱动程序支持
Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 下载最近发布的驱动程序和升级(下载 ODBC, 下载 JDBC)。
维护更新
请参阅Azure Databricks Runtime 18.0 维护更新。
系统环境
- 操作系统:Ubuntu 24.04.3 LTS
- Java:Zulu21.42+19-CA
- Scala:2.13.16
- Python:3.12.3
- R:4.5.1
- Delta Lake:4.1.0
已安装的 Python 库
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| annotated-doc | 0.0.3 | annotated-types | 0.7.0 | anyio | 4.7.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | arro3-core | 0.6.5 |
| 箭头 | 1.3.0 | asttokens | 3.0.0 | astunparse | 1.6.3 |
| async-lru | 2.0.4 | attrs | 24.3.0 | 自动命令 | 2.2.2 |
| azure-common | 1.1.28 | azure-core | 1.37.0 | Azure 身份识别 | 1.20.0 |
| azure-mgmt-core | 1.6.0 | azure-mgmt-web | 8.0.0 | azure-storage-blob | 12.28.0 |
| azure-storage-file-datalake | 12.22.0 | babel | 2.16.0 | backports.tarfile | 1.2.0 |
| beautifulsoup4 | 4.12.3 | 黑色 | 24.10.0 | 漂白剂 | 6.2.0 |
| 闪烁器 | 1.7.0 | boto3 | 1.40.45 | botocore | 1.40.45 |
| cachetools (缓存工具) | 5.5.1 | certifi | 2025.4.26 | cffi | 1.17.1 |
| chardet | 4.0.0 | charset-normalizer (字符集正常化工具) | 3.3.2 | click | 8.1.8 |
| cloudpickle | 3.0.0 | comm | 0.2.1 | contourpy | 1.3.1 |
| 加密 | 44.0.1 | 骑行者 | 0.11.0 | Cython | 3.1.5 |
| databricks-agents | 1.4.0 | databricks-connect | 17.3.1 | Databricks软件开发工具包 (databricks-sdk) | 0.67.0 |
| dataclasses-json | 0.6.7 | dbus-python | 1.3.2 | debugpy | 1.8.11 |
| 修饰器 | 5.1.1 | defusedxml | 0.7.1 | deltalake | 1.1.4 |
| Deprecated | 1.2.18 | distlib | 0.3.9 | docstring-to-markdown | 0.11 |
| executing | 1.2.0 | 各个方面概述 | 1.1.1 | fastapi | 0.128.0 |
| fastjsonschema | 2.21.1 | 文件锁 (filelock) | 3.17.0 | fonttools(字体工具) | 4.55.3 |
| fqdn | 1.5.1 | fsspec | 2023.5.0 | gitdb (Git数据库) | 4.0.11 |
| GitPython | 3.1.43 | google-api-core (谷歌 API 核心库) | 2.28.1 | google-auth (谷歌身份验证) | 2.47.0 |
| google-cloud-core (Google云核心) | 2.5.0 | 谷歌云存储 (Google Cloud Storage) | 3.7.0 | google-crc32c | 1.8.0 |
| google-resumable-media | 2.8.0 | googleapis-common-protos | 1.65.0 | grpcio | 1.67.0 |
| grpcio-status | 1.67.0 | h11 | 0.16.0 | httpcore | 1.0.9 |
| httplib2 | 0.20.4 | httpx | 0.28.1 | idna | 3.7 |
| importlib-metadata | 6.6.0 | inflect | 7.3.1 | iniconfig | 1.1.1 |
| ipyflow-core | 0.0.209 | ipykernel | 6.29.5 | ipython | 8.30.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.8.1 | isodate | 0.7.2 |
| isoduration | 20.11.0 | jaraco.collections | 5.1.0 | jaraco.context | 5.3.0 |
| jaraco.functools | 4.0.1 | jaraco.text | 3.12.1 | jedi | 0.19.2 |
| Jinja2 | 3.1.6 | jiter | 0.11.1 | jmespath | 1.0.1 |
| joblib | 1.4.2 | json5 | 0.9.25 | JSON补丁 | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.23.0 | jsonschema-specifications | 2023年7月1日 |
| jupyter-events | 0.12.0 | jupyter-lsp | 2.2.5 | jupyter_client(Jupyter 客户端) | 8.6.3 |
| jupyter_core(Jupyter核心) | 5.7.2 | Jupyter服务器 | 2.15.0 | Jupyter服务器终端 | 0.5.3 |
| jupyterlab | 4.3.4 | jupyterlab_pygments | 0.3.0 | jupyterlab_server (JupyterLab 服务器) | 2.27.3 |
| jupyterlab_widgets | 1.1.11 | kiwisolver | 1.4.8 | langchain-core | 1.0.3 |
| langchain-openai | 1.0.2 | langsmith | 0.4.41 | launchpadlib | 1.11.0 |
| lazr.restfulclient | 0.14.6 | lazr.uri | 1.0.6 | markdown-it-py | 2.2.0 |
| MarkupSafe | 3.0.2 | 棉花糖 | 3.26.1 | matplotlib | 3.10.0 |
| matplotlib-inline | 0.1.7 | 麦卡贝 | 0.7.0 | mdurl | 0.1.0 |
| mistune | 3.1.2 | mlflow-skinny | 3.8.1 | mmh3 | 5.2.0 |
| more-itertools | 10.3.0 | msal | 1.34.0 | msal-extensions | 1.3.1 |
| mypy-extensions | 1.0.0 | nbclient | 0.10.2 | nbconvert | 7.16.6 |
| nbformat | 5.10.4 | nest-asyncio | 1.6.0 | nodeenv | 1.10.0 |
| 笔记本 | 7.3.2 | notebook_shim | 0.2.4 | numpy | 2.1.3 |
| oauthlib | 3.2.2 | openai | 2.7.1 | OpenTelemetry API | 1.39.1 |
| opentelemetry-proto | 1.39.1 | opentelemetry-sdk(开源遥测软件开发工具包) | 1.38.0 | opentelemetry-semantic-conventions | 0.60b1 |
| orjson | 3.11.4 | overrides | 7.4.0 | 包装 | 24.2 |
| 熊猫 | 2.2.3 | pandocfilters | 1.5.0 | 帕尔索 | 0.8.4 |
| pathspec | 0.10.3 | 替罪羊 | 1.0.1 | pexpect | 4.8.0 |
| 枕头 | 11.1.0 | pip | 25.0.1 | platformdirs | 4.3.7 |
| plotly | 5.24.1 | pluggy | 1.5.0 | prometheus_client | 0.21.1 |
| 提示工具包 (prompt-toolkit) | 3.0.43 | proto-plus | 1.27.0 | protobuf | 5.29.4 |
| psutil | 5.9.0 | psycopg2 | 2.9.11 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py4j | 0.10.9.9 | pyarrow | 21.0.0 |
| pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 | pyccolo | 0.0.71 |
| Python代码解析器 | 2.21 | pydantic | 2.10.6 | pydantic_core | 2.27.2 |
| pyflakes | 3.2.0 | Pygments | 2.19.1 | PyGObject | 3.48.2 |
| pyiceberg | 0.10.0 | PyJWT | 2.10.1 | pyodbc | 5.2.0 |
| pyparsing | 3.2.0 | pyright | 1.1.394 | pyroaring | 1.0.3 |
| pytest | 8.3.5 | python-dateutil | 2.9.0.post0 | python-dotenv | 1.2.1 |
| python-json-logger | 3.2.1 | python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.12.2 |
| pytoolconfig | 1.2.6 | pytz | 2024.1 | PyYAML | 6.0.2 |
| pyzmq | 26.2.0 | referencing | 0.30.2 | regex | 2024.11.6 |
| requests | 2.32.3 | requests-toolbelt | 1.0.0 | rfc3339-validator | 0.1.4 |
| rfc3986验证器 | 0.1.1 | rich | 13.9.4 | 绳子 | 1.13.0 |
| rpds-py | 0.22.3 | rsa | 4.9.1 | s3transfer | 0.14.0 |
| scikit-learn | 1.6.1 | scipy | 1.15.3 | seaborn | 0.13.2 |
| Send2Trash | 1.8.2 | setuptools | 78.1.1 | 6 | 1.17.0 |
| smmap | 5.0.0 | sniffio | 1.3.0 | sortedcontainers | 2.4.0 |
| soupsieve | 2.5 | sqlparse | 0.5.5 | ssh-import-id | 5.11 |
| 堆栈数据 | 0.6.3 | starlette | 0.50.0 | strictyaml | 1.7.3 |
| 毅力 | 9.0.0 | terminado | 0.17.1 | threadpoolctl | 3.5.0 |
| tiktoken | 0.12.0 | tinycss2 | 1.4.0 | tokenize_rt | 6.1.0 |
| tomli | 2.0.1 | 龙卷风 | 6.5.1 | tqdm | 4.67.1 |
| traitlets | 5.14.3 | typeguard | 4.3.0 | types-python-dateutil | 2.9.0.20251115 |
| typing-inspect | 0.9.0 | typing_extensions | 4.12.2 | tzdata | 2024.1 |
| ujson | 5.10.0 | unattended-upgrades | 0.1 | URI 模板 | 1.3.0 |
| urllib3 | 2.3.0 | uvicorn | 0.38.0 | virtualenv | 20.29.3 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | webcolors | 25.10.0 |
| Web编码 | 0.5.1 | WebSocket客户端 | 1.8.0 | whatthepatch | 1.0.2 |
| wheel | 0.45.1 | 每当 | 0.7.3 | widgetsnbextension | 3.6.6 |
| wrapt | 1.17.0 | yapf | 0.40.2 | zipp | 3.21.0 |
| zstandard | 0.23.0 |
已安装的 R 库
R 库安装自 2025-03-20 的 Posit 程序包管理器 CRAN 快照。
| 图书馆 | 版本 | 图书馆 | 版本 | 图书馆 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 22.0.0 | askpass | 1.2.1 | 断言 | 0.2.1 |
| backports | 1.5.0 | 基础映像 | 4.5.1 | base64enc | 0.1-3 |
| bigD | 0.3.1 | bit | 4.6.0 | bit64 | 4.6.0-1 |
| bitops | 1.0-9 | blob | 1.2.4 | boot | 1.3-30 |
| brew | 1.0-10 | 活力 | 1.1.5 | 扫帚 | 1.0.10 |
| bslib | 0.9.0 | 卡齐姆 | 1.1.0 | callr | 3.7.6 |
| caret | 7.0-1 | cellranger | 1.1.0 | chron | 2.3-62 |
| 类 | 7.3-22 | 命令行界面 (CLI) | 3.6.5 | clipr | 0.8.0 |
| clock | 0.7.3 | 群集 | 2.1.6 | codetools | 0.2-20 |
| 通用标记 (commonmark) | 2.0.0 | 编译器 | 4.5.1 | config | 0.3.2 |
| conflicted | 1.2.0 | cpp11 | 0.5.2 | crayon | 1.5.3 |
| 凭据 | 2.0.3 | curl | 7.0.0 | 数据表 (data.table) | 1.17.8 |
| 数据集 | 4.5.1 | DBI | 1.2.3 | dbplyr | 2.5.1 |
| desc | 1.4.3 | devtools | 2.4.6 | 示意图 | 1.6.5 |
| diffobj | 0.3.6 | 摘要 | 0.6.39 | downlit | 0.4.5 |
| dplyr | 1.1.4 | dtplyr | 1.3.2 | e1071 | 1.7-16 |
| 省略号 | 0.3.2 | evaluate | 1.0.5 | fansi | 1.0.7 |
| farver | 2.1.2 | 快速映射 | 1.2.0 | fontawesome | 0.5.3 |
| forcats | 1.0.1 | foreach | 1.5.2 | 国外 | 0.8-86 |
| fs | 1.6.6 | 未来 | 1.68.0 | future.apply | 1.20.0 |
| gargle | 1.6.0 | 泛型 | 0.1.4 | 格尔特 | 2.2.0 |
| ggplot2 | 4.0.1 | gh | 1.5.0 | git2r | 0.36.2 |
| gitcreds | 0.1.2 | glmnet | 4.1-10 | globals | 0.18.0 |
| 胶水 | 1.8.0 | googledrive | 2.1.2 | googlesheets4 | 1.1.2 |
| gower | 1.0.2 | graphics | 4.5.1 | grDevices | 4.5.1 |
| 网格 | 4.5.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gt | 1.1.0 | gtable | 0.3.6 | hardhat | 1.4.2 |
| haven | 2.5.5 | highr | 0.11 | 赫姆斯 | 1.1.4 |
| HTML工具 | 0.5.8.1 | HTML小插件 | 1.6.4 | httpuv | 1.6.16 |
| httr | 1.4.7 | httr2 | 1.2.1 | ids | 1.0.1 |
| ini | 0.3.1 | ipred | 0.9-15 | isoband | 0.2.7 |
| 迭代器 | 1.0.14 | jquerylib | 0.1.4 | jsonlite | 2.0.0 |
| juicyjuice | 0.1.0 | KernSmooth | 2.23-22 | knitr | 1.50 |
| 标记 | 0.4.3 | 稍后 | 1.4.4 | 晶格 | 0.22-5 |
| 熔岩 | 1.8.2 | 生命周期 | 1.0.4 | listenv | 0.10.0 |
| litedown | 0.8 | lubridate | 1.9.4 | magrittr | 2.0.4 |
| markdown | 2.0 | MASS | 7.3-60.0.1 | 矩阵 | 1.6-5 |
| 记忆化 | 2.0.1 | 方法 | 4.5.1 | mgcv | 1.9-1 |
| 默剧 | 0.13 | 迷你用户界面 | 0.1.2 | mlflow | 3.6.0 |
| ModelMetrics | 1.2.2.2 | modelr | 0.1.11 | nlme | 3.1-164 |
| nnet | 7.3-19 | numDeriv | 2016年8月至1月1日 | openssl(开放SSL) | 2.3.4 |
| otel | 0.2.0 | parallel | 4.5.1 | parallelly | 1.45.1 |
| 柱子 | 1.11.1 | pkgbuild (软件包构建工具) | 1.4.8 | pkgconfig | 2.0.3 |
| pkgdown | 2.2.0 | pkgload | 1.4.1 | 普洛格 | 0.2.0 |
| 普莱尔 | 1.8.9 | 赞美 | 1.0.0 | prettyunits | 1.2.0 |
| pROC | 1.19.0.1 | processx | 3.8.6 | prodlim | 2025.04.28 |
| profvis | 0.4.0 | 进展 | 1.2.3 | progressr | 0.18.0 |
| promises | 1.5.0 | 原型 (proto) | 1.0.0 | 代理 | 0.4-27 |
| ps | 1.9.1 | purrr | 1.2.0 | R6 | 2.6.1 |
| ragg | 1.5.0 | 随机森林 (randomForest) | 4.7-1.2 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.1.0 |
| RcppEigen | 0.3.4.0.2 | reactable | 0.4.4 | reactR | 0.6.1 |
| readr | 2.1.6 | readxl | 1.4.5 | 食谱 | 1.3.1 |
| 重赛 | 2.0.0 | rematch2 | 2.1.2 | remotes | 2.5.0 |
| reprex | 2.1.1 | reshape2 | 1.4.5 | rlang | 1.1.6 |
| rmarkdown | 2.30 | RODBC | 1.3-26 | roxygen2 | 7.3.3 |
| rpart | 4.1.23 | rprojroot | 2.1.1 | Rserve | 1.8-15 |
| RSQLite | 2.4.4 | rstudioapi | 0.17.1 | rversions | 3.0.0 |
| rvest | 1.0.5 | S7 | 0.2.1 | Sass | 0.4.10 |
| 磅秤 | 1.4.0 | selectr | 0.4-2 | sessioninfo | 1.2.3 |
| 形状 | 1.4.6.1 | shiny | 1.11.1 | sourcetools | 0.1.7-1 |
| sparklyr | 1.9.3 | SparkR | 4.1.0 | sparsevctrs | 0.3.4 |
| 空间 | 7.3-17 | splines | 4.5.1 | sqldf | 0.4-11 |
| SQUAREM | 2021年1月 | 统计数据 | 4.5.1 | 统计数据4 | 4.5.1 |
| stringi | 1.8.7 | stringr | 1.6.0 | 生存 | 3.5-8 |
| swagger | 5.17.14.1 | sys | 3.4.3 | systemfonts | 1.3.1 |
| Tcl/Tk 编程语言 | 4.5.1 | testthat | 3.3.0 | 文字排版 | 1.0.4 |
| tibble | 3.3.0 | tidyr | 1.3.1 | tidyselect | 1.2.1 |
| tidyverse | 2.0.0 | 时间变化 | 0.3.0 | 时间日期 | 4051.111 |
| tinytex | 0.58 | 工具 | 4.5.1 | tzdb | 0.5.0 |
| URL检查器 | 1.0.1 | usethis | 3.2.1 | utf8 | 1.2.6 |
| utils | 4.5.1 | UUID(通用唯一识别码) | 1.2-1 | V8 | 8.0.1 |
| vctrs | 0.6.5 | viridisLite | 0.4.2 | vroom | 1.6.6 |
| 瓦尔多 | 0.6.2 | whisker | 0.4.1 | withr | 3.0.2 |
| xfun | 0.54 | xml2 | 1.5.0 | xopen | 1.0.1 |
| xtable | 1.8-4 | yaml | 2.3.10 | zeallot | 0.2.0 |
| zip | 2.3.3 |
已安装的 Java 和 Scala 库(Scala 2.13 群集版本)
| 群组标识符 | 工件编号 | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.15.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.681 |
| com.amazonaws | AWS Java SDK CloudFront | 1.12.681 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.12.681 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.681 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.681 |
| com.amazonaws | AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.681 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.681 |
| com.amazonaws | aws-java-sdk-config(AWS Java SDK 配置) | 1.12.681 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.12.681 |
| com.amazonaws | aws-java-sdk-datapipeline(AWS Java SDK 数据流水线) | 1.12.681 |
| com.amazonaws | AWS Java SDK Direct Connect(直连) | 1.12.681 |
| com.amazonaws | aws-java-sdk-directory | 1.12.681 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.681 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.681 |
| com.amazonaws | aws-java-sdk-efs | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.681 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) | 1.12.681 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.12.681 |
| com.amazonaws | aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) | 1.12.681 |
| com.amazonaws | aws-java-sdk-emr | 1.12.681 |
| com.amazonaws | AWS Java SDK Glacier | 1.12.681 |
| com.amazonaws | aws-java-sdk-glue | 1.12.681 |
| com.amazonaws | aws-java-sdk-iam | 1.12.681 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.12.681 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.681 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.12.681 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.681 |
| com.amazonaws | aws-java-sdk-logs(AWS Java开发包日志) | 1.12.681 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.12.681 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.681 |
| com.amazonaws | aws-java-sdk-rds | 1.12.681 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.681 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.681 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.681 |
| com.amazonaws | aws-java-sdk-ses | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.681 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.681 |
| com.amazonaws | aws-java-sdk-sns | 1.12.681 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.681 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.681 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.12.681 |
| com.amazonaws | aws-java-sdk-sts | 1.12.681 |
| com.amazonaws | AWS Java SDK支持 | 1.12.681 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.681 |
| com.amazonaws | jmespath-java | 1.12.681 |
| com.clearspring.analytics | 数据流 | 2.9.8 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.53.0 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | scalapb-runtime_2.13 | 0.4.15-11 |
| com.esotericsoftware | kryo-shaded | 4.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.5.1 |
| com.fasterxml.jackson.core | Jackson注解 | 2.18.2 |
| com.fasterxml.jackson.core | jackson-core | 2.18.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.18.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda(杰克逊数据类型-Joda) | 2.18.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.18.3 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.18.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.13 | 2.18.2 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.9.3 |
| com.github.blemale | scaffeine_2.13 | 4.1.0 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-原住民 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1-原住民 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-原住民 |
| com.github.fommil.netlib | netlib-本地系统-linux-x86_64 | 1.1-原住民 |
| com.github.luben | zstd-jni | 1.5.7-6 |
| com.github.virtuald | curvesapi | 1.08 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.api.grpc | proto-google-common-protos | 2.5.1 |
| com.google.auth | google-auth-library-credentials | 1.20.0 |
| com.google.auth | google-auth-library-oauth2-http | 1.20.0 |
| com.google.auto.value | auto-value-annotations | 1.10.4 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.11.0 |
| com.google.crypto.tink | 丁克 | 1.16.0 |
| com.google.errorprone | 易出错的注释 | 2.36.0 |
| com.google.flatbuffers | flatbuffers-java | 25.2.10 |
| com.google.guava | failureaccess | 1.0.3 |
| com.google.guava | guava | 33.4.8-jre |
| com.google.http-client | google-http-client | 1.43.3 |
| com.google.http-client | google-http-client-gson | 1.43.3 |
| com.google.j2objc | j2objc-annotations | 3.0.0 |
| com.google.protobuf | protobuf-java | 3.25.5 |
| com.google.protobuf | protobuf-java-util | 3.25.5 |
| com.helger | 探查器 | 1.1.1 |
| com.ibm.icu | icu4j | 75.1 |
| com.jcraft | jsch | 0.1.55 |
| com.lihaoyi | sourcecode_2.13 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.10 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre11 |
| com.microsoft.sqlserver | mssql-jdbc | 12.8.0.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.13 | 0.4.13 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.13 | 0.10.0 |
| com.twitter | util-app_2.13 | 19.8.1 |
| com.twitter | util-core_2.13 | 19.8.1 |
| com.twitter | util-function_2.13 | 19.8.1 |
| com.twitter | util-jvm_2.13 | 19.8.1 |
| com.twitter | util-lint_2.13 | 19.8.1 |
| com.twitter | util-registry_2.13 | 19.8.1 |
| com.twitter | util-stats_2.13 | 19.8.1 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.13 | 3.9.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| com.zaxxer | 稀疏比特集合 | 1.3 |
| commons-cli | commons-cli | 1.10.0 |
| commons-codec(公共编解码器) | commons-codec(公共编解码器) | 1.19.0 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.6.0 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.21.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.4 |
| dev.ludovic.netlib | blas | 3.0.4 |
| dev.ludovic.netlib | lapack(线性代数软件包) | 3.0.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 2.0.2 |
| io.delta | delta-sharing-client_2.13 | 1.3.6 |
| io.dropwizard.metrics | metrics-annotation | 4.2.37 |
| io.dropwizard.metrics | metrics-core | 4.2.37 |
| io.dropwizard.metrics | metrics-graphite | 4.2.37 |
| io.dropwizard.metrics | 指标-健康检查 | 4.2.37 |
| io.dropwizard.metrics | metrics-jetty10 | 4.2.37 |
| io.dropwizard.metrics | metrics-jmx | 4.2.37 |
| io.dropwizard.metrics | metrics-json | 4.2.37 |
| io.dropwizard.metrics | metrics-jvm | 4.2.37 |
| io.dropwizard.metrics | 指标-Servlets | 4.2.37 |
| io.github.java-diff-utils | java-diff-utils | 4.15 |
| io.netty | netty-all | 4.2.7.Final |
| io.netty | netty-buffer(Netty缓存) | 4.2.7.Final |
| io.netty | netty-codec | 4.2.7.Final |
| io.netty | netty-codec-base | 4.2.7.Final |
| io.netty | netty-codec-classes-quic | 4.2.7.Final |
| io.netty | Netty编解码压缩 | 4.2.7.Final |
| io.netty | netty-codec-http | 4.2.7.Final |
| io.netty | netty-codec-http2 | 4.2.7.Final |
| io.netty | netty-codec-http3 | 4.2.7.Final |
| io.netty | netty-codec-marshalling | 4.2.7.Final |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-codec-native-quic | 4.2.7.Final-windows-x86_64 |
| io.netty | netty-codec-protobuf | 4.2.7.Final |
| io.netty | netty-codec-socks | 4.2.7.Final |
| io.netty | netty-common | 4.2.7.Final |
| io.netty | netty-handler | 4.2.7.Final |
| io.netty | netty-handler-proxy | 4.2.7.Final |
| io.netty | netty-resolver (Netty 解析器) | 4.2.7.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.74.Final-db-r0-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.74.Final |
| io.netty | netty-transport | 4.2.7.Final |
| io.netty | netty-transport-classes-epoll | 4.2.7.Final |
| io.netty | netty-transport-classes-io_uring | 4.2.7.Final |
| io.netty | netty-transport-classes-kqueue | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-epoll | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-aarch_64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-riscv64 |
| io.netty | netty-transport-native-io_uring | 4.2.7.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.2.7.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.2.7.Final |
| io.opencensus | opencensus-api | 0.31.1 |
| io.opencensus | opencensus-contrib-http-util | 0.31.1 |
| io.prometheus | simpleclient | 0.16.1-databricks |
| io.prometheus | simpleclient_common | 0.16.1-databricks |
| io.prometheus | simpleclient_dropwizard | 0.16.1-databricks |
| io.prometheus | simpleclient_pushgateway (简单客户端推送网关) | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet | 0.16.1-databricks |
| io.prometheus | simpleclient_servlet_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_common | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel | 0.16.1-databricks |
| io.prometheus | simpleclient_tracer_otel_agent | 0.16.1-databricks |
| io.prometheus.jmx | 收集器 | 0.18.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.media | jai_core | jai_core_dummy |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.14.0 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.5 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.13.1 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | 箭头压缩 | 18.3.0 |
| org.apache.arrow | 箭头格式 | 18.3.0 |
| org.apache.arrow | arrow-memory-core | 18.3.0 |
| org.apache.arrow | arrow-memory-netty | 18.3.0 |
| org.apache.arrow | arrow-memory-netty-buffer-patch | 18.3.0 |
| org.apache.arrow | 箭头向量 | 18.3.0 |
| org.apache.avro | avro | 1.12.1 |
| org.apache.avro | avro-ipc | 1.12.1 |
| org.apache.avro | avro-mapred | 1.12.1 |
| org.apache.commons | commons-collections4(通用集合库) | 4.5.0 |
| org.apache.commons | commons-compress | 1.28.0 |
| org.apache.commons | commons-configuration2 | 2.11.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.19.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text (通用文本库) | 1.14.0 |
| org.apache.curator | curator-client | 5.9.0 |
| org.apache.curator | curator-framework | 5.9.0 |
| org.apache.curator | curator-recipes | 5.9.0 |
| org.apache.datasketches | datasketches-java | 6.2.0 |
| org.apache.datasketches | datasketches-memory | 3.0.2 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | Hadoop 客户端运行时 | 3.4.2 |
| org.apache.hive | hive-beeline | 2.3.10 |
| org.apache.hive | hive-cli | 2.3.10 |
| org.apache.hive | hive-jdbc | 2.3.10 |
| org.apache.hive | hive-llap-client | 2.3.10 |
| org.apache.hive | hive-llap-common | 2.3.10 |
| org.apache.hive | hive-serde | 2.3.10 |
| org.apache.hive | hive-shims | 2.3.10 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.10 |
| org.apache.hive.shims | hive-shims-common | 2.3.10 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.10 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.3 |
| org.apache.logging.log4j | log4j-1.2-api | 2.24.3 |
| org.apache.logging.log4j | log4j-api | 2.24.3 |
| org.apache.logging.log4j | log4j-core | 2.24.3 |
| org.apache.logging.log4j | log4j-layout-template-json(日志4j布局模板JSON) | 2.24.3 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.24.3 |
| org.apache.orc | orc-core | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-format | 1.1.1-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 2.2.0-shaded-protobuf |
| org.apache.orc | orc-shims | 2.2.0 |
| org.apache.poi | poi | 5.4.1 |
| org.apache.poi | poi-ooxml | 5.4.1 |
| org.apache.poi | poi-ooxml-full | 5.4.1 |
| org.apache.poi | poi-ooxml-lite | 5.4.1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.16.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.1 |
| org.apache.xbean | xbean-asm9-shaded | 4.28 |
| org.apache.xmlbeans | xmlbeans | 5.3.0 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | 动物园管理员 | 3.9.4 |
| org.apache.zookeeper | zookeeper-jute | 3.9.4 |
| org.checkerframework | checker-qual | 3.43.0 |
| org.codehaus.janino | commons-compiler(通用编译器) | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-alpn-client | 10.0.26 |
| org.eclipse.jetty | jetty-client | 10.0.26 |
| org.eclipse.jetty | Jetty-HTTP | 10.0.26 |
| org.eclipse.jetty | jetty-io | 10.0.26 |
| org.eclipse.jetty | jetty-jndi | 10.0.26 |
| org.eclipse.jetty | jetty-plus | 10.0.26 |
| org.eclipse.jetty | jetty-proxy | 10.0.26 |
| org.eclipse.jetty | 码头安全 | 10.0.26 |
| org.eclipse.jetty | jetty-server(Jetty服务器) | 10.0.26 |
| org.eclipse.jetty | jetty-servlet | 10.0.26 |
| org.eclipse.jetty | jetty-servlets | 10.0.26 |
| org.eclipse.jetty | jetty-util | 10.0.26 |
| org.eclipse.jetty | Jetty 网页应用 | 10.0.26 |
| org.eclipse.jetty | jetty-xml | 10.0.26 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.41 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.41 |
| org.glassfish.jersey.core | jersey-client | 2.41 |
| org.glassfish.jersey.core | jersey-common | 2.41 |
| org.glassfish.jersey.core | jersey-server | 2.41 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.41 |
| org.hibernate.validator | hibernate-validator | 6.2.5.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.4.1.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jline | jline | 3.27.1-jdk8 |
| org.joda | joda-convert | 1.7 |
| org.json4s | json4s-ast_2.13 | 4.0.7 |
| org.json4s | json4s-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson-core_2.13 | 4.0.7 |
| org.json4s | json4s-jackson_2.13 | 4.0.7 |
| org.json4s | json4s-scalap_2.13 | 4.0.7 |
| org.locationtech.jts | jts-core | 1.20.0 |
| org.lz4 | lz4-java | 1.8.0-databricks-1 |
| org.mlflow | mlflow-spark_2.13 | 2.22.1 |
| org.objenesis | objenesis | 3.4 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 1.2.1 |
| .rocksdb | rocksdbjni | 9.8.4 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.13 | 2.13.16 |
| org.scala-lang | scala-library_2.13 | 2.13.16 |
| org.scala-lang | scala-reflect_2.13 | 2.13.16 |
| org.scala-lang.modules | scala-collection-compat_2.13 | 2.11.0 |
| org.scala-lang.modules | scala-java8-compat_2.13 | 0.9.1 |
| org.scala-lang.modules | scala-parallel-collections_2.13 | 1.2.0 |
| org.scala-lang.modules | scala-parser-combinators_2.13 | 2.4.0 |
| org.scala-lang.modules | scala-xml_2.13 | 2.4.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.13 | 1.18.0 |
| org.scalactic | scalactic_2.13 | 3.2.19 |
| org.scalanlp | breeze-macros_2.13 | 2.1.0 |
| org.scalanlp | breeze_2.13 | 2.1.0 |
| org.scalatest | 与Scalatest兼容 | 3.2.19 |
| org.scalatest | scalatest-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-diagrams_2.13 | 3.2.19 |
| org.scalatest | scalatest-featurespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-flatspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-freespec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-funsuite_2.13 | 3.2.19 |
| org.scalatest | scalatest-matchers-core_2.13 | 3.2.19 |
| org.scalatest | scalatest-mustmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-propspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-refspec_2.13 | 3.2.19 |
| org.scalatest | scalatest-shouldmatchers_2.13 | 3.2.19 |
| org.scalatest | scalatest-wordspec_2.13 | 3.2.19 |
| org.scalatest | scalatest_2.13 | 3.2.19 |
| org.slf4j | jcl-over-slf4j | 2.0.16 |
| org.slf4j | jul-to-slf4j | 2.0.16 |
| org.slf4j | slf4j-api | 2.0.16 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.8.0 |
| org.tukaani | xz | 1.10 |
| org.typelevel | algebra_2.13 | 2.8.0 |
| org.typelevel | cats-kernel_2.13 | 2.8.0 |
| org.typelevel | spire-macros_2.13 | 0.18.0 |
| org.typelevel | spire-platform_2.13 | 0.18.0 |
| org.typelevel | spire-util_2.13 | 0.18.0 |
| org.typelevel | 尖塔_2.13 | 0.18.0 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.5.0-linux-x86_64 |
| 斯塔克斯 | stax-api | 1.0.1 |
小窍门
若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。