Databricks Runtime 16.0 (EoS)

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 16.0 的相关信息。

Databricks 于 2024 年 11 月发布了此版本。

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。

行为更改

重大变更:JDK 17 现在是默认版本

在 Databricks Runtime 16.0 及更高版本中,默认 JDK 版本从 JDK 8 切换到 JDK 17。 做出这一更改是因为计划弃用和终止对 JDK 8 的支持。 这会影响以下内容:

  • 在Azure Databricks计算上运行的Java代码必须与 Java 17 兼容。
  • 笔记本或Azure Databricks计算中运行的 Scala 代码必须与 Java 17 兼容。
  • 在计算上安装的 Java 和 Scala 库必须与 Java 17 兼容。
  • 2.x 以下版本的 Apache Hive 元存储客户端。 将 Spark 配置spark.sql.hive.metastore.version设置为低于 2.x 的版本会导致与 Java 17 不兼容以及无法连接至 Hive 元数据存储的问题。 Databricks 建议将 Hive 升级到 2.0.0 以上的版本。

如果需要还原为 Java 8,请在配置Azure Databricks计算时将以下内容添加到 Spark 环境变量:

JNAME=zulu8-ca-amd64

如果使用 ARM 实例,请使用以下命令:

JNAME=zulu8-ca-arm64

若要详细了解如何使用 Azure Databricks 计算指定 JDK 版本,请参阅创建具有特定 JDK 版本的群集。

有关从 Java 8 迁移代码的帮助,请参阅以下指南:

重大变更:托管 RStudio 已结束生命周期

在此版本中,Databricks 托管的 RStudio Server 到达寿命终止状态,在运行 Databricks Runtime 16.0 及更高版本的任何 Azure Databricks 工作区上都不可用。 若要了解详细信息并查看 RStudio 的替代项列表,请参阅 连接到 Databricks 托管的 RStudio Server。

重大更改:删除对将、byte、short和int类型更改为更宽类型的支持

在 Databricks Runtime 15.4.3 及更高版本中,以下数据类型更改不能再应用于启用了类型扩大功能的表:

  • byte short、int和long至decimal.
  • byte、short和 int到 double.

进行此更改可确保 Delta 表和 Apache Iceberg 表的行为一致。 若要了解有关类型扩大的详细信息,请参阅 类型扩大。

正确解析正则表达式模式,并在嵌套字符分组中使用求反

此版本包括一项更改,以支持对正则表达式模式的正确分析,并在嵌套字符分组中使用求反。 例如, [^[abc]] 将分析为“不是”abc“之一的任何字符。

另外,Photon 行为与嵌套字符类的 Spark 不一致。 包含嵌套字符类的正则表达式模式将停止使用 Photon,转而使用 Spark。 嵌套字符类是包含方括号内方括号的任何模式,例如 [[a-c][1-3]]。

改进 Delta Lake 中的重复匹配识别 MERGE

在 Databricks Runtime 15.4 LTS 及更低版本中, MERGE 如果源表中的多个行与目标表中的同一行匹配,则操作将失败,具体取决于 MERGE 子句中指定的 ON 条件。 在 Databricks Runtime 16.0 及更高版本中, MERGE 还考虑子句中指定的 WHEN MATCHED 条件。 请参阅使用合并以更新插入的方式插入到 Delta Lake 表中。

群集库安装方法不能再被重写

Spark 配置 spark.databricks.libraries.enableSparkPyPI、spark.databricks.libraries.enableMavenResolution 和 spark.databricks.libraries.enableCRANResolutionnow 现在默认为 true,且不能被重写。

集群范围内的库安装的默认超时时间为两小时

在 Databricks Runtime 16.0 及更高版本中,群集范围的库安装默认超时为两小时。 超过此超时时间的库安装将失败,安装将终止。 配置群集时,可以使用 Spark 配置 spark.databricks.driver.clusterLibraryInstallationTimeoutSec更改超时期限。

禁用从 DBFS 安装库和设置 spark conf spark.databricks.driver.dbfsLibraryInstallationAllowed

在 Databricks Runtime 16.0 及更高版本中,已完全禁用从 DBFS 安装库。 此更改旨在提高 Databricks 工作区中库的安全性。 此外,在 Databricks Runtime 16.0 及更高版本中,不能再使用 Spark 配置 spark.databricks.driver.dbfsLibraryInstallationAllowed。

现在,此功能在不同计算类型之间保持一致

使用此版本时,使用 addArtifact(archive = True) 将依赖项添加到共享或无服务器Azure Databricks计算时,会自动解压缩存档。 此更改使 addArtifact(archive = True) 这些计算类型的行为与专用计算(以前是单用户计算)保持一致,该计算类型已支持自动解压缩存档。

为具有特殊字符的主体标识符正确强制实施反引号规则

在此版本中,主体标识符如果在GRANT、DENY和REVOKE语句中包含特殊字符且没有用反引号括起,那么将引发错误。

新增功能和改进

借助对autoreload的改进,实现了对已修改的Python模块更可靠的重新加载。

在 Databricks Runtime 16.0 及更高版本中,对 autoreload 扩展的更新提高了从工作区文件导入的已修改Python模块的重新加载的安全性和可靠性。 通过这些更改, autoreload尽可能只重新加载已更改的模块部分,而不是整个模块。 此外,如果模块自上次导入以来发生了更改,Azure Databricks现在会自动建议使用 autoreload 扩展。 请参阅 Autoreload for Python modules。

对递归架构的 Avro 支持

现在可以将recursiveFieldMaxDepth选项与from_avro函数和avro数据源一起使用。 此选项设置 Avro 数据源上架构递归的最大深度。 请参阅读取和写入 Avro 数据流。

to_avro 和 from_avro 函数

to_avro 和 from_avro 函数允许将 SQL 类型转换为 Avro 二进制数据以及反向转换。

扩展了对 Avro 的 Confluent 架构注册表的支持

Azure Databricks 现在支持使用 Confluent 架构注册表引用 Avro 架构。 请参阅向外部 Confluent 架构注册表进行身份验证。

在具有液体聚类的表上强制进行重新聚类

在 Databricks Runtime 16.0 及更高版本中,可以使用 OPTIMIZE FULL 语法强制重新聚集表中启用了液体聚类分析的所有记录。 请参阅 强制重组。

Python和 Scala 的 Delta API 现在支持标识列

现在,可以使用用于 Python 和 Scala 的 Delta API 创建具有标识列的表。 请参阅标识列。

专用计算(以前称为单用户计算)的细粒度访问权限控制已全面开放

在 Databricks Runtime 16.0 及更高版本中,专用计算上的精细访问控制已普遍可用。 在为无服务器计算启用的工作区中,如果查询在受支持的计算(如专用计算)上运行,并且查询访问以下任何对象,则计算资源会将查询传递给无服务器计算以运行数据筛选:

  • 针对用户没有 SELECT 特权的表定义的视图。
  • 动态视图。
  • 应用了行筛选器或列掩码的表。
  • 具体化视图和流式处理表

在流式写入期间创建液态聚集表

现在,在使用结构化流写入创建新表时,可以使用 clusterBy 启用群集功能。 请参阅启用液体聚类分析。

对 OPTIMIZE FULL 子句的支持

Databricks Runtime 16.0 支持 OPTIMIZE FULL 子句。 此子句优化使用液体聚类分析的表中的所有记录,包括以前可能已聚集的数据。

对 INSERT 和表引用中的 WITH 选项规范的支持

Databricks Runtime 16.0 支持在语句中为表引用和表名称指定选项规范,用于控制数据源的行为。

新的 SQL 函数

Databricks Runtime 16.0 中添加了以下 SQL 函数:

  • try_url_decode

    此函数是url_decode的容错版本。 如果输入不是有效的 URL 编码字符串,则此函数返回 NULL 。

  • zeroifnull

    如果函数的输入表达式 zeroifnull() 为 NULL,则该函数返回 0。 否则,将返回输入表达式的值。

  • nullifzero

    如果输入为 0,则返回 NULL;如果输入不是 0,则返回其输入。 如果函数的输入表达式 nullifzero() 为 0,则函数返回 NULL。 如果输入表达式不是 0,则返回输入表达式的值

将数据合并到 Delta 表时启用自动架构演变

此版本添加了对 withSchemaEvolution() 类成员 DeltaMergeBuilder 的支持。 使用withSchemaEvolution()在MERGE操作期间启用自动架构演变。 例如,mergeBuilder.whenMatched(...).withSchemaEvolution().execute()}}。

其他更改

SparkR 现已弃用

在 Databricks Runtime 16.0 及更高版本中,Databricks 中的 SparkR 已 弃用 ,准备在即将发布的 Spark 4 版本中弃用。 请参阅 Apache Spark 弃用 SparkR 线程。

Databricks 建议改用 sparklyr 。

PVC 不支持 Databricks Runtime 16.0

Databricks 私有云(PVC)不支持 Databricks Runtime 16.0。 所有 PVC 版本都必须使用 Databricks Runtime 15.4 或以下版本。

Bug 修复

自动加载程序现在对于空架构的 Avro 记录类型进行恢复

使用自动加载程序将 Avro 文件加载到 Delta 表中时,文件中具有空架构的 record 类型现在被添加到已保存的数据列中。 由于无法将空的复杂数据类型引入 Delta 表,因此解决了加载某些 Avro 文件时出现的问题。 若要了解有关已获救数据的详细信息,请参阅什么是已获救数据列?

修正了在使用包含第二个偏移量的时区写入时间戳时出现的错误。

此版本修正了影响某些包含第二个偏移量的时区时间戳的 bug。 此 bug 导致写入 JSON、XML 或 CSV 时省略秒,导致时间戳值不正确。

若要返回到上一行为,在写入受影响的格式之一时,请使用以下选项: .option("yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]")

软件库升级

  • 升级Python库:
    • azure-core(从 1.30.2 升级到 1.31.0)
    • azure-storage-blob 已从 12.19.1 升级到 12.23.0
    • azure-storage-file-datalake 已从 12.14.0 升级到 12.17.0
    • black 从 23.3.0 升级到 24.4.2
    • blinker 已从 1.4 升级到 1.7.0
    • boto3 已从 1.34.39 升级到 1.34.69
    • botocore 已从 1.34.39 升级到 1.34.69
    • certifi 已从 2023.7.22 升级到 2024.6.2
    • cffi 已从 1.15.1 升级到 1.16.0
    • click 从 8.0.4 升级到 8.1.7
    • comm 从 0.1.2 到 0.2.1
    • contourpy 从 1.0.5 到 1.2.0
    • 加密技术版本已从 41.0.3 升级到 42.0.5
    • Cython 已从 0.29.32 升级到 3.0.11
    • databricks-sdk 从 0.20.0 到 0.30.0
    • dbus-python 已从 1.2.18 升级到 1.3.2
    • filelock 从 3.13.4 到 3.15.4
    • fonttools 版本从 4.25.0 更新到 4.51.0
    • GitPython 已从 3.1.43 升级到 3.1.37
    • google-api-core 已从 2.18.0 升级到 2.20.0
    • google-auth 已从 2.31.0 升级到 2.35.0
    • google-cloud-storage 已从 2.17.0 升级到 2.18.2
    • google-crc32c 已从 1.5.0 升级到 1.6.0
    • google-resumable-media(从 2.7.1 升级到 2.7.2)
    • googleapis-common-protos 已从 1.63.2 升级到 1.65.0
    • httplib2 从 0.20.2 到 0.20.4
    • idna 已从 3.4 升级到 3.7
    • ipykernel 已从 6.25.1 升级到 6.28.0
    • ipython 已从 8.15.0 升级到 8.25.0
    • jedi 已从 0.18.1 升级到 0.19.1
    • jmespath 从 0.10.0 到 1.0.1
    • joblib 已从 1.2.0 升级到 1.4.2
    • jupyter_client 已从 7.4.9 升级到 8.6.0
    • jupyter_core 已从 5.3.0 升级到 5.7.2
    • launchpadlib 从 1.10.16 到 1.11.0
    • lazr.restfulclient 从 0.14.4 到 0.14.6
    • matplotlib 已从 3.7.2 升级到 3.8.4
    • mlflow-skinny 已从 2.11.4 升级到 2.15.1
    • more-itertools 从 8.10.0 到 10.3.0
    • mypy-extensions 已从 0.4.3 升级到 1.0.0
    • nest-asyncio 已从 1.5.6 升级到 1.6.0
    • numpy 已从 1.23.5 升级到 1.26.4
    • oauthlib 从 3.2.0 到 3.2.2
    • packaging 从 23.2 升级到 24.1
    • patsy 已从 0.5.3 升级到 0.5.6
    • pip 已从 23.2.1 升级到 24.2
    • plotly 已从 5.9.0 升级到 5.22.0
    • prompt-toolkit 已从 3.0.36 升级到 3.0.43
    • pyarrow 由 14.0.1 升级为 15.0.2
    • pydantic 版本从 1.10.6 更新到 2.8.2
    • PyGObject 已从 3.42.1 升级到 3.48.2
    • PyJWT 从 2.3.0 到 2.7.0
    • pyodbc 已从 4.0.38 升级到 5.0.1
    • python-dateutil 已从 2.8.2 升级到 2.9.0.post0
    • python-lsp-jsonrpc 从 1.1.1 到 1.1.2
    • pytz 已从 2022.7 升级到 2024.1
    • PyYAML 已从 6.0 升级到 6.0.1
    • pyzmq 已从 23.2.0 升级到 25.1.2
    • requests 从 2.31.0 升级到 2.32.2
    • scikit-learn 已从 1.3.0 升级到 1.4.2
    • scipy 已从 1.11.1 升级到 1.13.1
    • seaborn 由 0.12.2 升级为 0.13.2
    • setuptools 已从 68.0.0 升级到 74.0.0
    • smmap 已从 5.0.1 升级到 5.0.0
    • sqlparse 已从 0.5.0 升级到 0.5.1
    • statsmodels 已从 0.14.0 升级到 0.14.2
    • tornado 由 6.3.2 升级为 6.4.1
    • traitlets 已从 5.7.1 升级到 5.14.3
    • typing_extensions 从 4.10.0 升级到 4.11.0
    • ujson 已从 5.4.0 升级到 5.10.0
    • virtualenv 已从 20.24.2 升级到 20.26.2
    • wheel 从 0.38.4 升级到 0.43.0
    • zipp 从 3.11.0 到 3.17.0
  • 升级了 R 库:
    • 箭头从 14.0.0.2 指向 16.1.0
    • backports 从 1.4.1 升级到 1.5.0
    • base版本已从4.3.2升级到4.4.0
    • bitops 已从 1.0-7 升级到 1.0-8
    • boot 从 1.3-28 升级到 1.3-30
    • brio 已从 1.1.4 升级到 1.1.5
    • broom 从 1.0.5 升级到 1.0.6
    • bslib 从 0.6.1 到 0.8.0
    • cachem 已从 1.0.8 升级到 1.1.0
    • callr 从 3.7.3 到 3.7.6
    • cli 已从 3.6.2 升级到 3.6.3
    • clock 已从 0.7.0 升级到 0.7.1
    • cluster 从 2.1.4 升级到 2.1.6
    • codetools 已从 0.2-19 升级到 0.2-20
    • colorspace 已从 2.1-0 升级到 2.1-1
    • compiler 已从 4.3.2 升级到 4.4.0
    • crayon 已从 1.5.2 升级到 1.5.3
    • curl 已从 5.2.0 升级到 5.2.1
    • data.table 从 1.15.0 到 1.15.4
    • 数据集从 4.3.2 到 4.4.0
    • DBI 已从 1.2.1 升级到 1.2.3
    • dbplyr 已从 2.4.0 升级到 2.5.0
    • digest 从 0.6.34 升级到 0.6.36
    • downlit 从 0.4.3 升级到 0.4.4
    • evaluate 从 0.23 升级到 0.24.0
    • farver 已从 2.1.1 升级到 2.1.2
    • fastmap 已从 1.1.1 升级到 1.2.0
    • foreign 从 0.8-85 升级到 0.8-86
    • fs 已从 1.6.3 升级到 1.6.4
    • future 从 1.33.1 升级到 1.34.0
    • future.apply 已从 1.11.1 升级到 1.11.2
    • gert 已从 2.0.1 升级到 2.1.0
    • ggplot2 已从 3.4.4 升级到 3.5.1
    • gh 已从 1.4.0 升级到 1.4.1
    • globals 已从版本 0.16.2 升级到版本 0.16.3
    • 图形从 4.3.2 已升级至 4.4.0。
    • grDevices 已从 4.3.2 升级到 4.4.0
    • grid 已从 4.3.2 升级到 4.4.0
    • gt 已从 0.10.1 升级到 0.11.0
    • gtable 已从 0.3.4 升级到 0.3.5
    • hardhat 已从 1.3.1 升级到 1.4.0
    • highr 已从 0.10 升级到 0.11
    • htmltools 已从 0.5.7 升级到 0.5.8.1
    • httpuv 已从 1.6.14 升级到 1.6.15
    • httr2 从 1.0.0 到 1.0.2
    • ipred 已从 0.9-14 升级到 0.9-15
    • KernSmooth 已从 2.23-21 升级到 2.23-22
    • knitr 从 1.45 到 1.48
    • lattice 从 0.21-8 升级到 0.22-5
    • lava 从 1.7.3 升级到 1.8.0
    • markdown 从 1.12 升级到 1.13
    • MASS 已从 7.3-60 升级到 7.3-60.0.1
    • Matrix 已从 1.5-4.1 升级为 1.6-5
    • 方法从 4.3.2 到 4.4.0
    • mgcv 从 1.8-42 到 1.9-1
    • mlflow 已从 2.10.0 升级到 2.14.1
    • munsell 已从 0.5.0 升级到 0.5.1
    • nlme 已从 3.1-163 升级到了 3.1-165
    • openssl 已从 2.1.1 升级到 2.2.0
    • parallel 已从 4.3.2 升级到 4.4.0
    • parallelly 从 1.36.0 升级到 1.38.0
    • pkgbuild 已从 1.4.3 升级到 1.4.4
    • pkgdown 已从 2.0.7 升级到 2.1.0
    • pkgload 从 1.3.4 到 1.4.0
    • processx 已从 3.8.3 升级到 3.8.4
    • prodlim 从 2023.08.28 到 2024.06.25
    • promises 从 1.2.1 到 1.3.0
    • ps 已从 1.7.6 升级到 1.7.7
    • ragg 已从 1.2.7 升级到 1.3.2
    • Rcpp 已从 1.0.12 升级到 1.0.13
    • RcppEigen 已从 0.3.3.9.4 升级到 0.3.4.0.0
    • reactR 已从 0.5.0 升级到 0.6.0
    • recipes 从 1.0.9 到 1.1.0
    • remotes 从 2.4.2.1 升级到 2.5.0
    • reprex 已从 2.1.0 升级到 2.1.1
    • rlang 从 1.1.3 到 1.1.4
    • rmarkdown 从 2.25 升级到 2.27
    • roxygen2 已从 7.3.1 升级到 7.3.2
    • rpart 已从 4.1.21 升级到 4.1.23
    • RSQLite 已从 2.3.5 升级到 2.3.7
    • rstudioapi 已从 0.15.0 升级到到 0.16.0
    • rvest 从 1.0.3 到 1.0.4
    • sass 已从 0.4.8 升级到 0.4.9
    • shape 从 1.4.6 升级到 1.4.6.1
    • shiny 从 1.8.0 到 1.9.1
    • sparklyr 已从 1.8.4 升级到 1.8.6
    • spatial 从 7.3-15 升级到 7.3-17
    • splines 已从 4.3.2 升级到 4.4.0
    • stats 从 4.3.2 升级到 4.4.0
    • stats4 的版本已从 4.3.2 升级到 4.4.0
    • stringi 从 1.8.3 到 1.8.4
    • survival 从 3.5-5 升级到 3.6-4
    • swagger 版本已从 3.33.1 升级到 5.17.14.1
    • systemfonts 从 1.0.5 升级到 1.1.0
    • tcltk 已从 4.3.2 升级到 4.4.0
    • testthat 从 3.2.1 到 3.2.1.1
    • textshaping 从版本 0.3.7 更新到 0.4.0
    • tidyselect 已从 1.2.0 升级到 1.2.1
    • tinytex 从 0.49 到 0.52
    • tools 已从 4.3.2 升级到 4.4.0
    • usethis 版本从 2.2.2 到 3.0.0
    • utils 已从 4.3.2 升级到 4.4.0
    • uuid 已从 1.2-0 升级到 1.2-1
    • V8 已从 4.4.1 升级到 4.4.2
    • withr 已从 3.0.0 升级到 3.0.1
    • xfun 从 0.41 到 0.46
    • Xopen 已从 1.0.0 升级到 1.0.1
    • yaml 已从 2.3.8 升级到 2.3.10
  • 升级Java库:
    • com.amazonaws.aws-java-sdk-autoscaling 从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudformation 从 1.12.610 升级到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudfront 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudhsm 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudsearch 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudtrail 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatch 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-codedeploy 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-cognitoidentity 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-cognitosync 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-config 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-core 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-datapipeline 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-directconnect 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-directory 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-dynamodb 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-ec2 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-ecs 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-efs 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-elasticache 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-elastictranscoder,从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-emr 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-glacier 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-glue 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-iam 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-importexport 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-kinesis 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-kms 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-lambda 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-logs 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-machinelearning 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-opsworks 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-rds 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-redshift 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-route53 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-s3 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-ses 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-simpledb 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-simpleworkflow 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-sns 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-sqs 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-ssm 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-storagegateway 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-sts 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-support 从 1.12.610 到 1.12.638
    • com.amazonaws.aws-java-sdk-workspaces 从 1.12.610 到 1.12.638
    • com.amazonaws.jmespath-java 从 1.12.610 到 1.12.638
    • com.google.protobuf.protobuf-java 已从 2.6.1 升级到 3.25.1
    • io.airlift.aircompressor 从 0.25 升级到 0.27
    • io.delta.delta-sharing-client_2.12 从 1.1.3 到 1.2.0
    • io.netty.netty-all 从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-buffer 从 4.1.96.Final 到 4.1.108.Final
    • io.netty.netty-codec 从 4.1.96.Final 到 4.1.108.Final
    • io.netty.netty-codec-http,从 4.1.96.Final 到 4.1.108.Final
    • io.netty.netty-codec-http2 从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-codec-socks 从 4.1.96.Final 到 4.1.108.Final
    • 将 io.netty.netty-common 从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-handler 从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-handler-proxy 从 4.1.96.Final 到 4.1.108.Final
    • io.netty.netty-resolver 从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-transport 从 4.1.96.Final 到 4.1.108.Final
    • io.netty.netty-transport-classes-epoll 从 4.1.96.Final 升级到 4.1.108.Final
    • io.netty.netty-transport-classes-kqueue 从 4.1.96.Final 到 4.1.108.Final
    • io.netty.netty-transport-native-epoll 从 4.1.96.Final-linux-x86_64 到 4.1.108.Final-linux-x86_64
    • io.netty.netty-transport-native-kqueue 从 4.1.96.Final-osx-x86_64 升级到 4.1.108.Final-osx-x86_64
    • io.netty.netty-transport-native-unix-common 从 4.1.96.Final 升级到 4.1.108.Final
    • org.apache.ivy.ivy.ivy,从 2.5.1 到 2.5.2
    • org.apache.zookeeper.zookeeper,从 3.6.3 到 3.9.2
    • org.apache.zookeeper.zookeeper-jute 从 3.6.3 升级到 3.9.2
    • org.rocksdb.rocksdbjni 已从 8.11.4 升级到 9.2.1
    • org.scalactic.scalactic_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-compatible 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-core_2.12 已从版本 3.2.15 升级至 3.2.16
    • org.scalatest.scalatest-diagrams_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-featurespec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-flatspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-freespec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-funspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-funsuite_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-matchers-core_2.12 从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-mustmatchers_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-propspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-refspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-shouldmatchers_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest-wordspec_2.12 已从 3.2.15 升级到 3.2.16
    • org.scalatest.scalatest_2.12 从 3.2.15 升级到 3.2.16

Apache Spark

Databricks Runtime 16.0 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.4 LTS 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他 bug 修复和改进:

  • [SPARK-49093] [DBRRM-1371] 撤销了“[SC-172958][sql] 复杂类型内嵌套有 MapType 的 GROUP BY”
  • [SPARK-49898] [DBRRM-1282][sc-178410] 修复 SPARK-42204 中事件日志任务指标累积器日志记录标志的文档和默认值
  • [SPARK-49743] [ ES-1260022][behave-157][SC-177475][sql] OptimizeCsvJsonExpr 不应在修剪 GetArrayStructFields 时更改架构字段
  • [SPARK-49816] [SC-177896][sql] 应仅更新引用的外部 CTE 关系的 out-going-ref-count
  • [SPARK-48939] [ SC-177022][sc-172766][AVRO] 支持使用递归架构引用读取 Avro
  • [SPARK-49688] [SC-177468][es-1242349][CONNECT] 修复中断和执行计划之间的数据争用
  • [SPARK-49771] [SC-177466][python] 改进输出行超过输入行时 Pandas 标量迭代器 UDF 错误
  • [SPARK-48866] [SC-170772][sql] 修复 INVALID_PARAMETER_VALUE.CHARSET 的错误消息中有效字符集的提示
  • [SPARK-48195] [ FIXFORWARD][sc-177267][CORE] 保存并重用由 SparkPlan 创建的 RDD/Broadcast
  • [SPARK-49585] [CONNECT] 将 SessionHolder 中的执行表替换为 operationID 集合
  • [SPARK-49211] [ SC-174257][sql] V2 目录还可以支持内置数据源
  • [SPARK-49684] 最小化会话还原锁的生存期
  • [SPARK-48059] [SPARK-48145 ][spark-48134][SPARK-48182][spark-48209][SPARK-48291] Java 端的结构化日志框架
  • [SPARK-48857] [SC-170661][sql] 限制 CSVOptions 中的字符集
  • [SPARK-49152] [ SC-173690][sql] V2SessionCatalog 应使用 V2Command
  • [SPARK-42846] [SC-176588][sql] 移除错误条件 _LEGACY_ERROR_TEMP_2011
  • [SPARK-48195] [SC-177267][core] 保存并重复使用 SparkPlan 创建的 RDD/广播
  • [SPARK-49630] [SC-177379][ss] 添加平展选项,使用状态数据源读取器处理收集类型
  • [SPARK-49699] [SC-177154][ss] 为流式处理工作负荷禁用 PruneFilters
  • [SPARK-48781] [ SC-175282][sql] 添加用于加载存储过程的目录 API
  • [SPARK-49667] [SC-177068][sql] 禁止使用 StringSearch 的表达式 CS_AI 排序规则器
  • [SPARK-49737] [SC-177207][sql] 禁用复杂类型中已排序列上的存储桶
  • [SPARK-48712] [ SC-169794][sql] 对使用空值或 UTF-8 字符集编码的性能进行改进
  • [SPARK-49038] [ SC-173933][sql] SQLMetric 应报告累加器更新事件中的原始值
  • [SPARK-48541] [ SC-169066][core] 为 TaskReaper 终止的执行程序添加新退出代码
  • [SPARK-48774] [SC-170138][sql] 在 SQLImplicits 中使用 SparkSession
  • [SPARK-49719] [SC-177139][sql] 使 UUID 和 SHUFFLE 接受整数 seed
  • [SPARK-49713] [ SC-177135][python][CONNECT] 使函数 count_min_sketch 接受数字参数
  • [SPARK-47601] [ SC-162499][graphx] Graphx:将带变量的日志迁移到结构化日志记录框架
  • [SPARK-49738] [SC-177219][sql] Endswith 错误修复
  • [SPARK-48623] [ SC-170822][core] 结构化日志记录迁移 [第 3 部分]
  • [SPARK-49677] [ SC-177148][ss] 确保在提交时写入更改日志文件,同时重置 forceSnapshot 标志
  • [SPARK-49684] [ SC-177040][connect] 从会话和执行管理器中删除全局锁
  • [SPARK-48302] [SC-168814][python] 在 PyArrow 表的映射列中保留 null 值
  • [SPARK-48601] [ SC-169025][sql] 为 JDBC 选项设置 null 值时,提供更用户友好的错误消息
  • [SPARK-48635] [SC-169263][sql] 为联接类型错误和时间点连接错误指定类
  • [SPARK-49673] [SC-177032][connect] 将 CONNECT_GRPC_ARROW_MAX_BATCH_SIZE 增加到 0.7 * CONNECT_GRPC_MAX_MESSAGE_SIZE
  • [SPARK-49693] [ SC-177071][python][CONNECT] 优化字符串表示形式 timedelta
  • [SPARK-49687] [SC-176901][sql] 延迟 validateAndMaybeEvolveStateSchema 中的排序
  • [SPARK-49718] [SC-177112][ps] 将 Scatter 绘图切换到采样数据
  • [SPARK-48472] [SC-169044][sql] 启用包含排序字符串的反射表达式
  • [SPARK-48484] [SC-167484][sql] 修复:V2Write 对不同的任务尝试使用相同的 TaskAttemptId
  • [SPARK-48341] [ SC-166560][connect] 允许插件在其测试中使用 QueryTest
  • [SPARK-42252] [SC-168723][core] 添加 spark.shuffle.localDisk.file.output.buffer 和弃用 spark.shuffle.unsafe.file.output.buffer
  • [SPARK-48314] [ SC-166565][ss] 不要使用 Trigger.AvailableNow 为 FileStreamSource 双重缓存文件
  • [SPARK-49567] [SC-176241][python] 在 PySpark 代码库中使用 classic 而不是 vanilla
  • [SPARK-48374] [ SC-167596][python] 支持其他 PyArrow 表列类型
  • [SPARK-48300] [SC-166481][sql] 为 from_xml 提供代码生成支持
  • [SPARK-49412] [SC-177059][ps] 计算单个作业中的所有框绘图指标
  • [SPARK-49692] [ SC-177031][python][CONNECT] 优化文本日期和时间的字符串表示形式
  • [SPARK-49392] [ES-1130351][sc-176705][SQL] 在未能写入外部数据源时捕获错误
  • [SPARK-48306] [SC-166241][sql] 改进错误消息中的 UDT
  • [SPARK-44924] [SC-166379][ss] 添加 FileStreamSource 缓存文件的配置文件
  • [SPARK-48176] [ SC-165644][sql] 调整FIELD_ALREADY_EXISTS错误条件的名称
  • [SPARK-49691] [ SC-176988][python][CONNECT] 函数 substring 应接受列名
  • [SPARK-49502] [SC-176077][core] 在 SparkEnv.get.shuffleManager.unregisterShuffle 中避免 NPE
  • [SPARK-49244] [SC-176703][sql] 分析器/解释器的进一步异常改进
  • [SPARK-48355] [SC-176684][sql] 支持 CASE 语句
  • [SPARK-49355] [ SC-175121][sql] levenshtein 应检查所有参数类型的值是否 collation 相同
  • [SPARK-49640] [SC-176953][ps] 在 SampledPlotBase 中应用储层取样
  • [SPARK-49678] [SC-176857][core] 支持 SparkSubmitArguments 的 spark.test.master
  • [SPARK-49680] [ SC-176856][python] 默认限制构建并行度为 4
  • [SPARK-49396] 还原“[SC-176030][sql] 修改 CaseWhen 表达式的空值性检查”
  • [SPARK-48419] [SC-167443][sql] 可折叠传播取代可折叠列应该……
  • [SPARK-49556] [ SC-176757][sql] 为 SELECT 运算符添加 SQL 管道语法
  • [SPARK-49438] [SC-175237][sql] 修复 FromAvro 和 ToAvro 表达式的友好名称
  • [SPARK-49659] [SC-1229924][sql] 为 VALUES 子句中的标量子查询添加友好的用户错误提示
  • [SPARK-49646] [SC-176778][sql] 修复当 parentOuterReferences 具有未在 collectedChildOuterReferences 中收集到的引用时,并集/集合操作的子查询去相关化问题
  • [SPARK-49354] [ SC-175034][sql] split_part 应检查所有参数类型的值是否 collation 相同
  • [SPARK-49478] [SC-175914][connect] 处理 ConnectProgressExecutionListener 中的 null 指标
  • [SPARK-48358] [SC-176374][sql] 支持 REPEAT 语句
  • [SPARK-49183] [SC-173680][sql] V2SessionCatalog.createTable 应遵循 PROP_IS_MANAGED_LOCATION
  • [SPARK-49611] [ SC-176791][sql] 介绍 TVF collations() 并删除 SHOW COLLATIONS 命令
  • [SPARK-49261] [SC-176589][sql] 不要将聚合表达式中的文本替换为分组表达式
  • [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace 应遵循自定义会话目录
  • [SPARK-49594] [SC-176569][ss] 添加检查是否添加或删除了 columnFamilies 以写入 StateSchemaV3 文件
  • [SPARK-49578] [ SC-176385][sql] 删除 CAST_INVALID_INPUT 和 CAST_OVERFLOW 中的 ANSI 配置建议
  • [SPARK-48882] [ SC-174256][ss] 为流式处理输出模式相关的错误类命名
  • [SPARK-49155] [ SC-176506][sql][SS] 使用更适当的参数类型构造 GenericArrayData
  • [SPARK-49519] [SC-176388][sql] 在构造 FileScanBuilder 时合并表和关系的选项
  • [SPARK-49591] [SC-176587][sql] 将逻辑类型列添加到变体自述文件
  • [SPARK-49596] [ SC-176423][sql] 提高FormatString的性能
  • [SPARK-49525] [SC-176044][ss][CONNECT] 对服务器端流式查询 ListenerBus 侦听器的日志进行小幅改进
  • [SPARK-49583] [SC-176272][sql] 为无效的秒分数模式定义错误子条件 SECONDS_FRACTION
  • [SPARK-49536] [SC-176242] 处理 Python 流式处理数据源记录预提取中的错误
  • [SPARK-49443] [SC-176273][sql][PYTHON] 实现 to_variant_object 表达式,并使 schema_of_variant 表达式为变体对象打印 OBJECT
  • [SPARK-49544] [SASP-3990][sc-176557][CONNECT] 用 ConcurrentMap 替换 SparkConnectExecutionManager 中的粗锁
  • [SPARK-49548] [SASP-3990][sc-176556][CONNECT] 用 ConcurrentMap 替换 SparkConnectSessionManager 中的粗锁
  • [SPARK-49551] [ SC-176218][ss] 改进用于 replayChangelog 的 RocksDB 日志
  • [SPARK-49595] [SC-176396][connect][SQL] 修复 Spark Connect Scala 客户端中的 DataFrame.unpivot/melt
  • [SPARK-49006] [SC-176162] 实现对 OperatorStateMetadataV2 和 StateSchemaV3 文件的清除
  • [SPARK-49600] [SC-176426][python] 从 Python 3.6 and older 中删除与 try_simplify_traceback 相关的逻辑
  • [SPARK-49303] [ SC-176013][ss] 在 transformWithStateInPandas API 中实现 ValueState 的 TTL
  • [SPARK-49191] [SC-176243][ss] 添加对使用状态数据源读取器读取 transformWithState 映射状态变量的支持
  • [SPARK-49593] [SC-176371][ss] 如果在关闭 DB 时看到错误,则会向调用方抛出 RocksDB 异常
  • [SPARK-49334] [ SC-174803][sql] str_to_map 应检查所有参数类型的值是否 collation 相同
  • [SPARK-42204] [SC-176126][core] 添加选项以禁用在事件日志中冗余记录 TaskMetrics 内部累积器
  • [SPARK-49575] [SC-176256][ss] 仅当 acquiredThreadInfo 不为 null 时,才添加锁定释放的日志记录
  • [SPARK-49539] [SC-176250][ss] 将内部 col 系列的起始标识符更新为其他标识符
  • [SPARK-49205] [ SC-173853][sql] KeyGroupedPartitioning 应继承 HashPartitioningLike
  • [SPARK-49396] [SC-176030][sql] 修改 CaseWhen 表达式的可为空性检查
  • [SPARK-49476] [ SC-175700][sql] 修复 base64 函数的可为 null 性
  • [SPARK-47262] [SC-174829][sql] 为 parquet 转换中的错误条件分配名称
  • [SPARK-47247] [SC-158349][sql] 在使用爆炸式联接合并分区时,使用较小的目标大小
  • [SPARK-49501] [SC-176166][sql] 修复表位置的字符双重转义
  • [SPARK-49083] [SC-173214][connect] 允许 from_xml 和 from_json 本地支持 JSON 模式。
  • [SPARK-49043] [SC-174673][sql] 修复包含排序规则字符串的映射上的解释性代码路径组
  • [SPARK-48986] [SC-172265][connect][SQL] 添加 ColumnNode 中间表示
  • [SPARK-49326] [SC-176016][ss] 为 Foreach 接收器用户函数错误的错误类分类
  • [SPARK-48348] [ SC-175950][spark-48376][SQL] 简介 LEAVE 和 ITERATE 语句
  • [SPARK-49523] [SC-175949][connect] 增加连接服务器启动测试的最大等待时间
  • [SPARK-49000] [BEHAVE-105][es-1194747][SQL] RewriteDistinctAggregates - Databricks Runtime 版本 16.x “从 t 中选择 count(distinct 1)”,其中 t 为空表
  • [SPARK-49311] [ SC-175038][sql] 使大型“间隔秒”值能够转换为十进制值
  • [SPARK-49200] [SC-173699][sql] 修复 null 类型非代码生成排序异常
  • [SPARK-49467] [SC-176051][ss] 添加对状态数据源读取器和列表状态的支持
  • [SPARK-47307] [ SC-170891][sql] 添加一个配置以选择性地对 base64 字符串进行分块
  • [SPARK-49391] [SC-176032][ps] 盒须图根据与围栏的距离选择异常值
  • [SPARK-49445] [ SC-175845][ui] 支持在 UI 进度栏中显示工具提示
  • [SPARK-49451] [SC-175702] 允许 parse_json 中存在重复键。
  • [SPARK-49275] [ SC-175701][sql] 修复 xpath 表达式的返回类型 null 性
  • [SPARK-49021] [SC-175578][ss] 添加对使用状态数据源读取器读取 transformWithState 值状态变量的支持
  • [SPARK-49474] [BEHAVE-143][sc-169253][SC-175933][ss] 对 FlatMapGroupsWithState 用户函数错误的错误类别进行分类
  • [SPARK-49408] [SC-175932][sql] 在 ProjectingInternalRow 中使用 IndexedSeq
  • [SPARK-49509] [ SC-175853][core] 使用 Platform.allocateDirectBuffer 而不是 ByteBuffer.allocateDirect
  • [SPARK-49382] [SC-175013][ps] 使框架盒须图正确渲染传单/离群值
  • [SPARK-49002] [SC-172846][sql] 以一致的方式处理 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中的无效位置
  • [SPARK-49480] [SC-175699][core] 修复因SparkThrowableHelper.isInternalError引起的 NullPointerException
  • [SPARK-49477] [SC-175828][python] 改进 pandas udf 无效返回类型错误消息
  • [SPARK-48693] [SC-169492][sql] 简化和统一 Invoke 和 StaticInvoke 的 toString
  • [SPARK-49441] [SC-175716][ml] StringIndexer 对执行程序中的数组进行排序
  • [SPARK-49347] [SC-175004][r] 弃用 SparkR
  • [SPARK-49357] [SC-175227][connect][PYTHON] 垂直截断深度嵌套的 protobuf 消息
  • [SPARK-41982] [ SC-120604][sql] 类型字符串的分区不应被视为数值类型
  • [SPARK-48776] [ SC-170452][behave-72] 修复 json、xml 和 csv 的时间戳格式
  • [SPARK-49223] [ SC-174800][ml] 使用内置函数简化 StringIndexer.countByValue
  • [SPARK-49016] 还原“[SC-174663][sql] 还原仅包含损坏的记录列并为 _LEGACY_ERROR_TEMP_1285 指定名称时不允许从原始 CSV 文件进行查询的行为”
  • [SPARK-49041] [SC-172392][python][CONNECT] 当给出错误的 subset 时,为 dropDuplicates 提出正确的错误
  • [SPARK-49050] [SC-175235] 在包含虚拟列系列的 TWS 中启用 deleteIfExists 运算符
  • [SPARK-49216] [SC-173919][core] 修复问题,在结构化日志记录关闭时不会记录 LogEntry 显式结构化的消息上下文
  • [SPARK-49252] [SC-175596][core] 使TaskSetExcludeList 和 HeathTracker 独立
  • [SPARK-49352] [ SC-174971][sql] 避免相同表达式的冗余数组转换
  • [SPARK-42307] [SC-173863][sql] 为错误代码_LEGACY_ERROR_TEMP_2232分配名称
  • [SPARK-49197] [SC-173732][core] 在 Spark Command 模块中对 launcher 输出进行编辑
  • [SPARK-48913] [SC-173934][sql] 实现 IndentingXMLStreamWriter
  • [SPARK-49306] [ SC-175363][python][SQL] 为“zeroifnull”和“nullifzero”创建 SQL 函数别名
  • [SPARK-48344] [SQL] SQL 脚本执行(包括 Spark Connect)
  • [SPARK-49402] [SC-175122][python] 修复 PySpark 文档中的 Binder 集成
  • [SPARK-49017] [ SC-174664][sql] 在使用多个参数时插入语句失败
  • [SPARK-49318] [SC-174733][sql] 在 LCA 时延迟处理低优先级错误直到检查分析结束,以改进错误体验
  • [SPARK-49016] [SC-174663][sql] 还原仅包含损坏的记录列并为 _LEGACY_ERROR_TEMP_1285 指定名称时不允许从原始 CSV 文件进行查询的行为
  • [SPARK-49387] [ SC-175124][python] 修正 accuracy 和 percentile_approx 中的 approx_percentile 的类型提示
  • [SPARK-49131] [ SC-174666][ss] TransformWithState 应正确设置隐式分组键,包括在使用延迟迭代器的情况下。
  • [SPARK-49301] [SC-174795][ss] 传递给Python工作进程的分块箭头数据
  • [SPARK-49039] [ SC-174651][ui] 在“阶段”选项卡中加载执行程序指标时重置复选框
  • [SPARK-48428] [ SC-169806][sql]: 修复 NestedColumnAliasing 中的 IllegalStateException
  • [SPARK-49353] [ SC-174830][sql] 更新与 UTF-32 编码/解码相关的文档
  • [SPARK-48613] [SC-170966][sql] SPJ:支持一侧随机排序 + 少于分区键的联接键
  • [SPARK-47473] [SC-160450][Behave-127][SQL] 修复转换 postgres INFINITY 时间戳的正确性问题
  • [SPARK-49142] [SC-173658][connect][PYTHON] 跟进将 proto 还原为字符串性能成本
  • [SPARK-49300] [SC-175008][core] 修复未设置 tokenRenewalInterval 时的 Hadoop 委派令牌泄漏问题。
  • [SPARK-49367] [SC-175012][ps] 并行化多个列的 KDE 计算(plotly 后端)
  • [SPARK-49365] [SC-175011][ps] 简化直方图中的桶聚合
  • [SPARK-49372] [SC-175003][ss] 确保在关闭时将 latestSnapshot 设置为 none,以避免后续使用
  • [SPARK-49341] [SC-174785] 删除 connector/docker,改为 Apache Spark Operator
  • [SPARK-49344] [SC-174894][ps] 对 Spark 上的 Pandas API 的支持json_normalize
  • [SPARK-49306] [ SC-174794][sql] 创建新的 SQL 函数“zeroifnull”和“nullifzero”
  • [SPARK-48796] [SC-174668][ss] 重启时从 RocksDBCheckpointMetadata 加载 VCF 的列系列 ID
  • [SPARK-49342] [ SC-174899][sql] 使 TO_AVRO SQL 函数“jsonFormatSchema”参数可选
  • [SPARK-48628] [SC-174695][core] 添加任务峰值开/关堆内存指标
  • [SPARK-47407] [SC-159379][behave-126][SQL] 支持将 java.sql.Types.NULL 映射到 NullType
  • [SPARK-48628] [SC-173407][core] 添加任务峰值开/关堆内存指标
  • [SPARK-49166] [SC-173987][sql] 在相关子查询中支持OFFSET
  • [SPARK-49269] [SC-174676][sql] 尽早在 AstBuilder 中评估 VALUES() 列表
  • [SPARK-49281] [SC-174782][sql] 使用 getBytesUnsafe 优化 parquet 二进制 getBytes 以避免复制成本
  • [SPARK-49113] [SC-174734] 不断言转换 bug,无提示地接受异常
  • [SPARK-49098] [SC-173253][sql] 为 INSERT 添加写入选项
  • [SPARK-48638] [SC-174694][follow][CONNECT] 修复 ExecutionInfo 的文档
  • [SPARK-49250] [ES-1222826][sql] 改进 CheckAnalysis 中嵌套的 UnresolvedWindowExpression 的错误消息
  • [SPARK-48755] [SC-174258][ss][PYTHON] transformWithState pyspark 基本实现和 ValueState 支持
  • [SPARK-48966] [SC-174329][sql] 改进 UDTF 调用中包含无效未解析列引用的错误消息
  • [SPARK-46590] [SC-154115][sql] 修复因意外分区索引导致的合并失败问题
  • [SPARK-49235] [ SC-174159][sql] 重构 ResolveInlineTables 规则,使其不会遍历整个树
  • [SPARK-49060] [SC-173107][connect] 清理 SQL Connect 二进制兼容性检查的 Mima 规则
  • [SPARK-48762] [SC-172525][sql] 为 Python 引入 clusterBy DataFrameWriter API
  • [SPARK-49207] [ SC-173852][sql] 修复 SplitPart 和 StringSplitSQL 中的一对多事例映射
  • [SPARK-49204] [SC-173850][sql] 修复 StringInstr 和 StringLocate 中的代理项对处理
  • [SPARK-36680] [ SC-170640][sql] 支持 Spark SQL 的动态表选项
  • [SPARK-49204] [ SC-173849][sql] 修复 SubstringIndex 中的代理对处理
  • [SPARK-49204] [ SC-173848][sql] 修复 StringTrim 中的代理项对处理
  • [SPARK-48967] [SC-173993] 修复 OPTIMIZE_INSERT_INTO_VALUES_PARSER 的向前 SparkConfigOwnershipSuite 测试
  • [SPARK-49204] [ SC-173851][sql] 修复 StringReplace 中的代理项对处理
  • [SPARK-48967] [SC-173993][sql][16.x] 提高“INSERT INTO...”的性能和内存占用情况... VALUES” 语句
  • [SPARK-49099] 还原“[SC-173229][sql] CatalogManager.setCurrent…
  • [SPARK-48347] [SC-173812][sql] 对 WHILE 语句的支持
  • [SPARK-49128] [SC-173344][core] 支持自定义历史服务器用户界面标题
  • [SPARK-49146] [SC-173825][ss] 将追加模式流式查询中与水印丢失相关的断言错误移动到错误框架
  • [SPARK-45787] [SC-172197][sql] 支持 Catalog.listColumns 方法用于聚类列
  • [SPARK-49099] [ SC-173229][sql] CatalogManager.setCurrentNamespace 应遵循自定义会话目录
  • [SPARK-49138] [SC-173483][sql] 修复多个表达式的 CollationTypeCasts
  • [SPARK-49163] [SC-173666][sql] 尝试基于损坏的 parquet 分区数据创建表时,应返回面向用户的错误信息
  • [SPARK-49201] [ SC-173793][ps][PYTHON][connect] 使用 Spark SQL 重新实现 hist 绘图
  • [SPARK-49188] [SC-173682][sql] 对字符串数组数组调用 concat_ws 时的内部错误
  • [SPARK-49137] [ SC-173677][sql] 当布尔条件 if statement 无效时,应引发异常
  • [SPARK-49193] [ SC-173672][sql] 提高 RowSetUtils.toColumnBasedSet 的性能
  • [SPARK-49078] [ SC-173078][sql] 支持在 v2 表中显示列语法
  • [SPARK-49141] [SC-173388][sql] 将变种标记为hive不兼容数据类型
  • [SPARK-49059] [Cherry-Pick][15.x][SC-172528][connect] 将 SessionHolder.forTesting(...) 移动到测试包
  • [SPARK-49111] [ SC-173661][sql] 将withProjectAndFilter移到DataSourceV2Strategy的伴生对象中
  • [SPARK-49185] [ SC-173688][ps][PYTHON][connect] 使用 Spark SQL 重新实现 kde 绘图
  • [SPARK-49178] [ SC-173673][sql] 优化 Row#getSeq 的性能,以匹配使用 Spark 3.5 和 Scala 2.12 时的性能水平。
  • [SPARK-49093] [SC-172958][sql] 将 MapType 嵌套在复杂类型中的 GROUP BY
  • [SPARK-49142] [ SC-173469][connect][PYTHON] 将 Spark Connect 客户端日志级别降低到调试级别
  • [SPARK-48761] [SC-172048][sql] 引入用于 Scala 的 clusterBy DataFrameWriter API
  • [SPARK-48346] [ SC-173083][sql] 支持 SQL 脚本中的 IF ELSE 语句
  • [SPARK-48338] [ SC-173112][sql] 改进分析器/解释器引发的异常
  • [SPARK-48658] [SC-169474][sql] 编码/解码函数对不可映射字符报告编码错误,而不是 mojibake
  • [SPARK-49071] [SC-172954][sql] 删除 ArraySortLike 特征
  • [SPARK-49107] 还原“还原”[SC-173103][sql] ROUTINE_ALREADY_EXISTS 支持 RoutineType””
  • [SPARK-49070] [ SC-172907][ss][SQL] TransformWithStateExec.initialState 被错误地重写,导致生成无效的查询计划
  • [SPARK-49114] [SC-173217] 子分类无法加载状态存储错误
  • [SPARK-49107] 还原“[SC-173103][sql] ROUTINE_ALREADY_EXISTS 支持 RoutineType”
  • [SPARK-49048] [ SC-173223][ss] 添加对在给定批 ID 处读取相关运算符元数据的支持
  • [SPARK-49094] [ SC-173049][sql] 修复了当 mergeSchema 关闭时,hive orc 实现中的 ignoreCorruptFiles 功能失效的问题。
  • [SPARK-49108] [ SC-173102][示例] 添加 submit_pi.sh REST API 示例
  • [SPARK-49107] [ SC-173103][sql] ROUTINE_ALREADY_EXISTS 支持 RoutineType
  • [SPARK-48997] [SC-172484][ss] 为维护线程池线程故障实现单个卸载
  • [SPARK-49063] [SC-173094][sql] 修复在使用 ScalarSubqueries 时的 Between 问题
  • [SPARK-45891] [SC-172305][sql][PYTHON][variant] 在 Variant 规范中添加对间隔类型的支持
  • [SPARK-49074] [BEHAVE-110][sc-172815][SQL] 修复 df.cache() 的变体
  • [SPARK-49003] [SC-172613][sql] 修复已解释代码路径的哈希处理,使其能够感知排序规则
  • [SPARK-48740] [SC-172430][sql] 提前捕获缺少的窗口规范错误
  • [SPARK-48999] [SC-172245][ss] 分割 PythonStreamingDataSourceSimpleSuite
  • [SPARK-49031] [SC-172602] 使用 OperatorStateMetadataV2 实现 TransformWithStateExec 运算符的验证
  • [SPARK-49053] [ SC-172494][python][ML] 使模型保存/加载帮助程序函数接受 spark 会话
  • [SPARK-49032] [Backport][15.x][SS] 在元数据表条目中添加架构路径,验证预期版本,并为运算符元数据格式 v2 添加与运算符元数据相关的测试
  • [SPARK-49034] [SC-172306][core] 支持 REST 提交 API 中的服务器端 sparkProperties 替换
  • [SPARK-48931] [ SC-171895][ss] 减少状态存储维护任务的云存储列表 API 成本
  • [SPARK-48849] [ SC-172068][ss]为 TransformWithStateExec 运算符创建 OperatorStateMetadataV2
  • [SPARK-49013] [SC-172322] 更改 scala 中映射和数组类型的 collationsMap 中的键
  • [SPARK-48414] [SC-171884][python] 修复 python 中的破坏性变更 fromJson
  • [SPARK-48910] [ SC-171001][sql] 使用 HashSet/HashMap 避免在 PreprocessTableCreation 中使用线性搜索
  • [SPARK-49007] [ SC-172204][core] 改进 MasterPage 以支持自定义标题
  • [SPARK-49009] [SC-172263][sql][PYTHON] 使列 API 和函数接受枚举
  • [SPARK-49033] [SC-172303][core] 支持 REST 提交 API 中的服务器端 environmentVariables 替换
  • [SPARK-48363] [ SC-166470][sql] 清理一些冗余代码 from_xml
  • [SPARK-46743] [SC-170867][sql][BEHAVE-84] 如果 ScalarSubqery 具有空关系,并在此条件下进行折叠操作后,出现计数错误
  • [SPARK-49040] [SC-172351][sql] 修复文档 sql-ref-syntax-aux-exec-imm.md
  • [SPARK-48998] [SC-172212][ml] 元算法使用 SparkSession 保存/加载模型
  • [SPARK-48959] [ SC-171708][sql] 使NoSuchNamespaceException扩展NoSuchDatabaseException以恢复异常处理
  • [SPARK-48996] [SC-172130][sql][PYTHON] 允许列的“与”和“或”使用裸字面值
  • [SPARK-48990] [SC-171936] 后续处理 #101759 - 测试修复
  • [SPARK-48338] [SC-171912][sql] 检查变量声明
  • [SPARK-48990] [ SC-171936][sql] 统一变量相关的 SQL 语法关键字
  • [SPARK-48988] [ SC-171915][ml] 让 DefaultParamsReader/Writer 在 Spark 会话中处理元数据
  • [SPARK-48974] [ SC-171978][sql][SS][ml][MLLIB] 使用 SparkSession.implicits 而不是 SQLContext.implicits
  • [SPARK-48760] [SC-170870][sql] 修复 CatalogV2Util.applyClusterByChanges
  • [SPARK-48928] [SC-171956] 本地检查点 RDD 上调用 .unpersist() 的日志警告
  • [SPARK-48760] [SC-170139][sql] 简介 ALTER TABLE ... CLUSTER BY SQL 语法来更改聚簇列
  • [SPARK-48844] 还原“[SC-170669][sql] 在路径为空时,使用 INVALID_EMPTY_LOCATION,而不是 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY”
  • [SPARK-48833] [SC-171914][sql][VARIANT] 在 InMemoryTableScan 中支持变体
  • [SPARK-48975] [SC-171894][protobuf] 从 protobuf 中删除不必要的 ScalaReflectionLock 定义
  • [SPARK-48970] [ SC-171800][python][ML] 避免在 Spark ML 读取器/编写器中使用 SparkSession.getActiveSession
  • [SPARK-48844] [SC-170669][sql] 在路径为空时,使用 INVALID_EMPTY_LOCATION,而不是 UNSUPPORTED_DATASOURCE_FOR_DIRECT_QUERY
  • [SPARK-48714] [SC-170136] 修复 PySpark 和 UC 中的 df.mergeInto 测试失败的问题
  • [SPARK-48957] [SC-171797][ss] 返回 hdfs 和 rocksdb 提供程序的状态存储负荷上的子分类错误类
  • [SPARK-48891] [Backport][15x][SC-171677][ss] 重构 StateSchemaCompatibilityChecker 以统一所有状态架构格式
  • [SPARK-48972] [ SC-171795][python] 在函数中统一文本字符串处理
  • [SPARK-48388] [ SC-171337][sql] 修复 SET SQL 脚本的语句行为
  • [SPARK-48743] [SC-170552][sql][SS] MergingSessionIterator 应更好地处理 getStruct 返回 null 的情况
  • [SPARK-48623] [15.x][sc-171322][CORE] 将 FileAppender 日志迁移到结构化日志记录
  • [SPARK-36680] [DBRRM-1123] 还原“[SC-170640][sql] 支持 Spark SQL 的动态表选项”
  • [SPARK-48841] [SC-170868][behave-83][SQL] 包括 Collate 的 collationName 至 sql()
  • [SPARK-48941] [ SC-171703][python][ML] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-48938] [SC-171577][python] 注册 Python UDTF 时改进错误消息
  • [SPARK-48350] [ SC-171040][sql] SQL 脚本自定义异常的引入
  • [SPARK-48907] [SC-171158][sql] 修复 COLLATION_MISMATCH.EXPLICIT 中的值 explicitTypes
  • [SPARK-48945] [ SC-171658][Python] 使用lit简化正则函数lit
  • [SPARK-48944] [ SC-171576][connect] 在 Connect Server 中统一 JSON 格式架构处理
  • [SPARK-48836] [SC-171569] 将 SQL 架构与状态架构/元数据集成
  • [SPARK-48946] [SC-171504][sql] 会话为 null 时的 redact 方法中的 NPE
  • [SPARK-48921] [SC-171412][sql] 子查询中的 ScalaUDF 编码器应在 MergeInto 中得到解析
  • [SPARK-45155] [SC-171048][connect] 为 Spark Connect JVM/Scala 客户端添加 API文档
  • [SPARK-48900] [SC-171319] 为 reason 和 cancelJobGroup 添加 cancelJobsWithTag 字段
  • [SPARK-48865] [SC-171154][sql] 添加try_url_decode函数
  • [SPARK-48851] [SC-170767][sql] 将SCHEMA_NOT_FOUND的值从namespace更改为catalog.namespace
  • [SPARK-48510] [SC-170893][2/2] 在 Spark Connect 中支持 UDAF toColumn API
  • [SPARK-45190] [SC-171055][spark-48897][PYTHON][connect] 使 from_xml 支持 StructType 架构
  • [SPARK-48930] [SC-171304][core] 通过包括awsAccessKeyId模式来对accesskey进行编辑
  • [SPARK-48909] [ SC-171080][ml][MLLIB] 在编写元数据时使用 SparkSession over SparkContext
  • [SPARK-48883] [ SC-171133][ml][R] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-48924] [SC-171313][ps] 添加类似 pandas 的 make_interval 帮助程序函数
  • [SPARK-48884] [ SC-171051][python] 删除未使用的帮助程序函数 PythonSQLUtils.makeInterval
  • [SPARK-48817] [SC-170636][sql] 积极一起执行联合多命令
  • [SPARK-48896] [SC-171079][ml][MLLIB] 避免在写出元数据时重新分区
  • [SPARK-48892] [SC-171127][ml] 避免在 Tokenizer 中读取每行参数
  • [SPARK-48927] [SC-171227][core] 显示 StoragePage 中缓存的 RDD 数目
  • [SPARK-48886] [15.x][backport][SC-171039][ss] 将版本信息添加到 changelog v2,以简化演变
  • [SPARK-48903] [SC-171136][ss] 在远程加载时正确设置 RocksDB 上最后一个快照版本
  • [SPARK-48742] [SC-170538][ss] RocksDB 的虚拟列系列
  • [SPARK-48726] [15.x][sc-170753][SS] 创建 StateSchemaV3 文件格式,并为 TransformWithStateExec 运算符写出此格式
  • [SPARK-48794] [SC-170882][connect][15.x] df.mergeInto 对 Spark Connect 的支持(Scala 和 Python)
  • [SPARK-48714] [SC-170136][python] 在 PySpark 中实现DataFrame.mergeInto
  • [SPARK-48772] [SC-170642][ss][SQL] 状态数据源更改源读取器模式
  • [SPARK-48666] [ SC-170887][sql] 如果包含 PythonUDF,请不要向下推送筛选器
  • [SPARK-48845] [SC-170889][sql] GenericUDF 捕获子级的异常
  • [SPARK-48880] [ SC-170974][core] 如果驱动程序插件无法初始化,请避免引发 NullPointerException
  • [SPARK-48888] [Backport][15x][SC-170973][ss] 根据 changelog 操作大小删除快照创建
  • [SPARK-48871] [SC-170876] 修复 INVALID_NON_DETERMINISTIC_EXPRESSIONS 验证…
  • [SPARK-48883] [ SC-170894][ml][R] 将 RDD 读取/写入 API 调用替换为数据帧读取/写入 API
  • [SPARK-36680] [ SC-170640][sql] 支持 Spark SQL 的动态表选项
  • [SPARK-48804] [SC-170558][sql] 添加 classIsLoadable 和 OutputCommitter.isAssignableFrom 的检查,以配置输出提交器类
  • [SPARK-46738] [SC-170791][python] 重新启用一组文档测试
  • [SPARK-48858] [SC-170756][python] 删除 log_communication.py 中 Thread 的已弃用的 setDaemon 方法调用
  • [SPARK-48639] [ SC-169801][connect][PYTHON] 将 Origin 添加到 RelationCommon
  • [SPARK-48863] [SC-170770][es-1133940][SQL] 修复在启用了 "spark.sql.json.enablePartialResults" 的情况下解析 JSON 时的 ClassCastException问题
  • [SPARK-48343] [ SC-170450][sql] SQL 脚本解释器简介
  • [SPARK-48529] [ SC-170755][sql] SQL 脚本中的标签简介
  • [SPARK-45292] 恢复“[SC-151609][sql][HIVE] 从 IsolatedClientLoader 的共享类中移除 Guava”
  • [SPARK-48037] [SC-165330][core][3.5] 修复 SortShuffleWriter 缺少随机写入相关指标,导致数据可能不准确的问题
  • [SPARK-48720] [SC-170551][sql] 在 v1 和 v2 中对齐命令 ALTER TABLE ... UNSET TBLPROPERTIES ...
  • [SPARK-48485] [SC-167825][connect][SS] 支持流式处理查询中的 interruptTag 和 interruptAll
  • [SPARK-45292] [SC-151609][sql][HIVE] 从 IsolatedClientLoader 的共享类中移除 Guava
  • [SPARK-48668] [SC-169815][sql] 支持 ALTER NAMESPACE... v2 中的 UNSET 属性
  • [SPARK-47914] [SC-165313][sql] 不要在 Range 中显示拆分参数
  • [SPARK-48807] [SC-170643][sql] CSV 数据源的二进制支持
  • [SPARK-48220] [ SC-167592][python][15.X] 允许传递 PyArrow 表来创建DataFrame()
  • [SPARK-48545] [SC-169543][sql] 创建 to_avro 和 from_avro SQL 函数以匹配 DataFrame 等效项
  • [SPARK-47577] [SC-168875][spark-47579] 纠正对日志密钥TASK_ID的误导性使用

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级(下载 ODBC,下载 JDBC)。

系统环境

  • 操作系统:Ubuntu 24.04.1 LTS
  • Java:Zulu17.50+19-CA
  • Scala:2.12.15
  • Python:3.12.3
  • R:4.4.0
  • Delta Lake: 3.2.1

已安装Python库

库 版本 库 版本 库 版本
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 黑色 24.4.2
闪烁器 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools (缓存工具) 5.3.3 certifi 2024年6月2日 cffi 1.16.0
chardet 4.0.0 charset-normalizer (字符集正常化工具) 2.0.4 click 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
加密 42.0.5 骑行者 0.11.0 Cython 3.0.11
Databricks软件开发工具包 (databricks-sdk) 0.30.0 dbu-python 1.3.2 debugpy 1.6.7
修饰器 5.1.1 已弃用 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 入口点 0.4 执行 0.8.3
各个方面概述 1.1.1 文件锁 (filelock) 3.15.4 fonttools(字体工具) 4.51.0
gitdb (Git数据库) 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth (谷歌身份验证) 2.35.0 google-cloud-core (Google云核心) 2.4.1 谷歌云存储 (Google Cloud Storage) 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.198 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client(Jupyter 客户端) 8.6.0 jupyter_core(Jupyter核心) 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
麦卡贝 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
OpenTelemetry API 1.27.0 opentelemetry-sdk(开源遥测软件开发工具包) 1.27.0 opentelemetry-semantic-conventions 0.48b0
包装 24.1 熊猫 1.5.3 帕尔索 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
枕头 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.52 Python代码解析器 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
请求 2.32.2 绳子 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy(科学计算工具库) 1.13.1
seaborn 0.13.2 setuptools 74.0.0 6 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id(用于根据提供的标识符导入SSH密钥的命令行工具) 5.11
堆栈数据 0.2.0 statsmodels 0.14.2 毅力 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
龙卷风 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

已安装的 R 库

R 库是从 2024-08-04 的 Posit 程序包管理器 CRAN 快照中安装的:https://packagemanager.posit.co/cran/2024-08-04/。

库 版本 库 版本 库 版本
箭头 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 基础映像 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 blob 1.2.4 启动 1.3-30
brew 1.0-10 brio 1.1.5 扫帚 1.0.6
bslib 0.8.0 卡齐姆 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
类 7.3-22 命令行界面 (CLI) 3.6.3 clipr 0.8.0
clock 0.7.1 群集 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 编译器 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 凭据 2.0.1 curl 5.2.1
数据表 (data.table) 1.15.4 datasets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 摘要 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略号 0.3.2 评估 0.24.0
凡思 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
未来 1.34.0 future.apply 1.11.2 gargle 1.5.2
泛型 0.1.3 格尔特 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 胶水 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.4.0 grDevices 4.4.0 网格 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 赫姆斯 1.1.3 HTML工具 0.5.8.1
HTML小插件 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 迭代器 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 标记 0.4.3
later 1.3.2 lattice 0.22-5 熔岩 1.8.0
生命周期 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 MASS 7.3-60.0.1
矩阵 1.6-5 memoise 2.0.1 方法 4.4.0
mgcv 1.9-1 默剧 0.12 迷你用户界面 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
蒙塞尔 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016年8月至1月1日 openssl(开放SSL) 2.2.0 parallel 4.4.0
parallelly 1.38.0 柱子 1.9.0 pkgbuild (软件包构建工具) 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
普洛格 0.2.0 普莱尔 1.8.9 赞美 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 promises 1.3.0 原型 (proto) 1.0.0
代理 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 随机森林 (randomForest) 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
食谱 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
磅秤 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
形状 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 SparkR 3.5.0 空间 7.3-17
splines 4.4.0 sqldf 0.4-1 SQUAREM 2021年1月
统计数据 4.4.0 统计数据4 4.4.0 stringi 1.8.4
stringr 1.5.1 生存 3.6-4 swagger 5.17.14.1
sys 3.4.2 systemfonts 1.1.0 tcltk 4.4.0
testthat 3.2.1.1 textshaping 0.4.0 tibble 3.2.1
tidyr 1.3.1 tidyselect 1.2.1 tidyverse 2.0.0
timechange 0.3.0 timeDate 4032.109 tinytex 0.52
工具 4.4.0 tzdb 0.4.0 URL检查器 1.0.1
usethis 3.0.0 utf8 1.2.4 utils 4.4.0
UUID(通用唯一识别码) 1.2-1 V8 4.4.2 vctrs 0.6.5
viridisLite 0.4.2 vroom 1.6.5 瓦尔多 0.5.2
whisker 0.4.1 withr 3.0.1 xfun 0.46
xml2 1.3.6 xopen 1.0.1 xtable 1.8-4
yaml 2.3.10 zeallot 0.1.0 zip 2.3.1

已安装Java和 Scala 库(Scala 2.12 群集版本)

组标识 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws AWS Java SDK CloudFront 1.12.638
com.amazonaws AWS-Java-SDK-云HSM 1.12.638
com.amazonaws AWS Java SDK 云搜索 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config(AWS Java SDK 配置) 1.12.638
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws AWS Java SDK Direct Connect(直连) 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs (AWS Java 软件开发工具包 - EFS) 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) 1.12.638
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws AWS Java SDK Glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs(AWS Java开发包日志) 1.12.638
com.amazonaws AWS-Java-SDK-机器学习 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws AWS Java SDK 存储网关 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws AWS Java SDK支持 1.12.638
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core Jackson注解 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda(杰克逊数据类型-Joda) 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine 咖啡因 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-原住民
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib 原生系统-Java 1.1-原住民
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-原住民
com.github.fommil.netlib netlib-本地系统-linux-x86_64 1.1-原住民
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink 丁克 1.9.0
com.google.errorprone 易出错的注释 2.10.0
com.google.flatbuffers flatbuffers-java 23年5月26日
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger 探查器 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec(公共编解码器) commons-codec(公共编解码器) 1.16.0
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack (线性代数程序库) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.27
io.delta delta-sharing-client_2.12 1.2.0
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics 核心指标 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics 指标-健康检查 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics 指标-Servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer(Netty缓存) 4.1.108.Final
io.netty Netty 编解码器 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver (Netty 解析器) 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk(雪花数据导入软件开发工具包) 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow 箭头向量 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4(通用集合库) 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop 客户端运行时 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper 动物园管理员 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler(通用编译器) 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api(Eclipse 集合 API) 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty Jetty-HTTP 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty 码头安全 9.4.52.v20230823
org.eclipse.jetty jetty-server(Jetty服务器) 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty Jetty 网页应用 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket API 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket客户端 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket服务器 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 与Scalatest兼容 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl WildFly-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
斯塔克斯 stax-api 1.0.1