Databricks Runtime 15.2 (EoS)

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.2 的相关信息。

Databricks 于 2024 年 5 月发布此版本。

行为更改

清理会清理 COPY INTO 元数据文件

现在,在由 VACUUM 写入的表上运行 COPY INTO 会清理与跟踪导入文件相关的未引用元数据。 对 COPY INTO 的操作语义没有影响。

Lakehouse Federation 已正式发布 (GA)

在 Databricks Runtime 15.2 及更高版本中,Lakehouse Federation 连接器已正式发布 (GA),支持以下数据库类型:

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

此版本还引入了以下改进:

  • 支持更多下推(字符串、数学和杂项函数)。
  • 改进了不同查询形状的下推成功率。
  • 其他下推调试功能:
    • 下推查询文本显示在 EXPLAIN FORMATTED 输出中。
    • 查询配置文件界面显示下推查询文本、联合节点标识符和 JDBC 查询执行时间(在详细模式下)。 请参阅查看系统生成的联合查询。

BY POSITION 用于使用 COPY INTO 对无标题 CSV 文件进行列映射

在 Databricks Runtime 15.2 及更高版本中,可以将 BY POSITION 关键字(或替代语法 ( col_name [ , <col_name> ... ] ))与 COPY INTO 用于无标头 CSV 文件,以简化源列到目标表列的映射。 请参阅参数。

当 Spark 任务失败并出现 Resubmitted 错误时减少内存消耗

在 Databricks Runtime 15.2 及更高版本中,当任务失败并出现 TaskInfo.accumulables() 错误时,Spark Resubmitted 方法的返回值为空。 以前,该方法会返回先前成功任务尝试的值。 此行为更改会影响以下使用者:

  • 使用 EventLoggingListener 类的 Spark 任务。
  • 自定义 Spark 侦听器。

若要还原以前的行为,请将 spark.scheduler.dropTaskInfoAccumulablesOnTaskCompletion.enabled 设置为 false。

禁用查看自适应查询执行计划版本的功能

为了减少内存消耗,现在在 Spark UI 中默认禁用自适应查询执行 (AQE) 计划版本。 若要在 Spark UI 中启用查看 AQE 计划版本,请将 spark.databricks.sql.aqe.showPlanChangesInUI.enabled 设置为 true。

降低了对保留查询的限制以减少 Spark UI 内存使用量

在 Databricks Runtime 15.2 及更高版本中,为了减少 Spark UI 在Azure Databricks计算中消耗的内存,UI 中可见的查询数限制从 1000 降低到 100。 若要更改限制,请使用 spark.sql.ui.retainedExecutions Spark 配置设置新值。

DESCRIBE HISTORY 现在会显示使用 liquid 聚类分析的表的聚类分析列

运行 DESCRIBE HISTORY 查询时,operationParameters 列默认显示 clusterBy 和 CREATE OR REPLACE 操作的 OPTIMIZE 字段。 对于使用液体聚类的 Delta 表,clusterBy 字段将填充表的聚类列。 如果表不使用液态聚类,则字段为空。

笔记本控件语法已弃用

从 Databricks Runtime 15.2 开始,SQL 单元格中用于访问笔记本小组件值的 ${param} 语法已被弃用。 请改用参数标记语法(:param)。 参数标记语法提供更好的 SQL 注入保护和改进的查询性能。

了解迁移指南和示例,请参阅 旧版笔记本控件。 有关当前推荐方法的更多信息,请参阅 Databricks 小组件。

新增功能和改进

对主键和外键的支持已正式发布

Databricks Runtime 中对主键和外键的支持已正式发布。 GA 版本对使用主键和外键所需的权限进行了以下更改:

  • 要定义外键,必须对外键引用的主键所属的表具有 SELECT 权限。 无需拥有包含主键的表,而这在以前是必需的。
  • 使用 CASCADE 子句删除主键时,不需要对那些定义引用此主键的外键的表具有权限。 以前,需要拥有引用表。
  • 现在,删除包含约束的表所需的权限与删除不包含约束的表所需的权限相同。

若要了解如何对表或视图使用主键和外键,请参阅 CONSTRAINT 子句、 ADD CONSTRAINT 子句和 DROP CONSTRAINT 子句。

Liquid 聚类分析现已正式发布

现在,使用 Databricks Runtime 15.2 及更高版本,通常可以获得对流动聚类分析的支持。 请参阅对表使用 liquid 聚类分析。

类型拓宽为公共预览版

现在,可以在由 Delta Lake 支持的表上启用类型拓宽。 启用了类型扩展的表允许将列的类型更改为更宽的数据类型,而无需重写基础数据文件。 请参阅类型扩展。

架构演变子句已添加到 SQL 合并语法中

现在可以将 WITH SCHEMA EVOLUTION 子句添加到 SQL 合并语句,以便为操作启用架构演变。 请参阅MERGE使用 SQL、Python 和 Scala 的架构演变。

PySpark 自定义数据源以公共预览版提供

可以使用 Python (PySpark) DataSource API 创建 PySpark DataSource,该 API 允许从自定义数据源读取,并使用 Python 写入 Apache Spark 中的自定义数据接收器。 请参阅 PySpark 自定义数据源

applyInPandas 和 mapInPandas 现在在使用共享访问模式下的 Unity Catalog 计算上现已可用

作为 Databricks Runtime 14.3 LTS 维护版本的一部分,applyInPandas 和 mapInPandas UDF 类型现在在运行 Databricks Runtime 14.3 及更高版本的共享访问模式计算上受支持。

使用 dbutils.widgets.getAll() 获取笔记本中的所有控件

使用 dbutils.widgets.getAll()获取笔记本中的所有小组件。 当将多个小组件值传递给 Spark SQL 查询时,这尤其有用。

清空清单支持

现在可以指定在 Delta 表上运行 VACUUM 命令时要考虑的文件清单。 请参阅 OSS Delta 文档。

支持 Zstandard 压缩函数

现在可以使用 zst_compress、zstd_decompress 和 try_zstd_decompress 函数来压缩和解压缩 BINARY 数据。

缺陷修复

SQL UI 中的查询计划现在会正确显示 PhotonWriteStage

在 SQL UI 中显示时,查询计划中的 write 命令会错误地将 PhotonWriteStage 显示为运算符。 在此版本中,UI 已更新为将 PhotonWriteStage 显示为一个阶段。 这只是一项 UI 更改,不会影响查询的运行方式。

Ray 已更新以修复启动 Ray 群集的问题

此版本包含 Ray 的修补版本,修复了阻止 Ray 群集启动 Databricks Runtime 进行机器学习的中断性变更。 此更改可确保 Ray 功能与 15.2 之前的 Databricks Runtime 版本相同。

更正了 DataFrame.sort() 和 DataFrame.sortWithinPartitions() 函数的错误类

此版本加入了对 PySpark DataFrame.sort() 和 DataFrame.sortWithinPartitions() 函数的更新,以确保当 ZERO_INDEX 作为索引参数传递时会引发 0 错误类。 以前会引发错误类别 INDEX_NOT_POSITIVE。

ipywidgets 已从 8.0.4 降级到 7.7.2

为了修复 Databricks Runtime 15.0 中由 ipywidgets 升级到 8.0.4 引入的错误,ipywidgets 已在 Databricks Runtime 15.2 中降级到 7.7.2。 这与以前 Databricks Runtime 版本中包含的版本相同。

软件库升级

  • 升级Python库:
    • GitPython 已从 3.1.42 升级到 3.1.43
    • google-api-core 已从 2.17.1 升级到 2.18.0
    • google-auth 已从 2.28.1 升级到 2.29.0
    • google-cloud-storage 已从 2.15.0 升级到 2.16.0
    • googleapis-common-protos 从版本 1.62.0 升级到版本 1.63.0
    • ipywidgets 已从 8.0.4 升级到 7.7.2
    • mlflow-skinny 已从 2.11.1 升级到 2.11.3
    • s3transfer 已从 0.10.0 升级到 0.10.1
    • sqlparse 已从 0.4.4 升级到 0.5.0
    • typing_extensions 已从 4.7.1 升级到 4.10.0
  • 升级了 R 库:
  • 升级Java库:
    • com.amazonaws.aws-java-sdk-autoscaling 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cloudformation 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cloudfront 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cloudhsm 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cloudsearch 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cloudtrail 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatch 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cloudwatchmetrics 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-codedeploy 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cognitoidentity 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-cognitosync 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-config 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-core 版本已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-datapipeline 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-directconnect 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-directory 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-dynamodb 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-ec2 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-ecs 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-efs 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-elasticache 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-elasticbeanstalk 版本已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-elasticloadbalancing 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-elastictranscoder 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-emr 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-glacier 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-glue 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-iam 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-importexport 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-kinesis 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-kms 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-lambda 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-logs 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-machinelearning 已从版本 1.12.390 升级到版本 1.12.610
    • com.amazonaws.aws-java-sdk-opsworks 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-rds 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-redshift 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-route53 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-s3 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-ses 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-simpledb 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-simpleworkflow 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-sns 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-sqs 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-ssm 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-storagegateway 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-sts 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-support 版本已从 1.12.390 升级到 1.12.610
    • com.amazonaws.aws-java-sdk-workspaces 已从 1.12.390 升级到 1.12.610
    • com.amazonaws.jmespath-java 已从 1.12.390 升级到 1.12.610

Apache Spark

Databricks Runtime 15.2 包含 Apache Spark 3.5.0。 此版本包括所有在 Databricks Runtime 15.1 (EoS)中包含的 Spark 修复和改进,以及以下对 Spark 的其他问题修复和改进:

  • [SPARK-47941] [SC-163568] [SS] [Connect] 将 ForeachBatch 工作线程初始化错误传播给 PySpark 用户
  • [SPARK-47412] [SC-163455][sql] 添加对 LPad/RPad 排序规则的支持。
  • [SPARK-47907] [ SC-163408][sql] 将 bang 设置为配置项
  • [SPARK-46820] [SC-157093][python] 通过恢复 new_msg 修复错误消息的回归问题
  • [SPARK-47602] [SPARK-47577][spark-47598][SPARK-47577]Core/MLLib/资源管理器:结构化日志记录迁移
  • [SPARK-47890] [SC-163324][connect][PYTHON] 向 Scala 和Python添加变体函数。
  • [SPARK-47894] [SC-163086][core][WEBUI] 向主控制界面 UI 添加 Environment 页面
  • [SPARK-47805] [SC-163459][ss] 实现 MapState 的 TTL
  • [SPARK-47900] [SC-163326] 修复对隐式 (UTF8_BINARY) 排序规则的检验问题
  • [SPARK-47902] [SC-163316][sql]使计算当前时间* 表达式可折叠
  • [SPARK-47845] [ SC-163315][sql][PYTHON][connect] 支持 scala 和 python 拆分函数中的列类型
  • [SPARK-47754] [ SC-162144][sql] Postgres:支持读取多维数组
  • [SPARK-47416] [ SC-163001][sql] 向 CollationBenchmark 添加新函数 #90339
  • [SPARK-47839] [ SC-163075][sql] 修复 RewriteWithExpression 中的聚合 bug
  • [SPARK-47821] [SC-162967][sql] 实现is_variant_null表达式
  • [SPARK-47883] [SC-163184][sql] 使 CollectTailExec.doExecute 配合 RowQueue 实现延迟加载
  • [SPARK-47390] [SC-163306][sql] PostgresDialect 区分 TIMESTAMP 和 TIMESTAMP_TZ
  • [SPARK-47924] [ SC-163282][core] 将 DEBUG 日志添加到 DiskStore.moveFileToBlock
  • [SPARK-47897] [ SC-163183][sql][3.5] 修复 scala 2.12 中的 ExpressionSet 性能回归
  • [SPARK-47565] [SC-161786][python] PySpark 工作池崩溃恢复能力
  • [SPARK-47885] [ SC-162989][python][CONNECT] 使 pyspark.resource 与 pyspark-connect 兼容
  • [SPARK-47887] [SC-163122][connect] 从 spark/connect/common.proto 中移除未使用的导入 spark/connect/relations.proto
  • [SPARK-47751] [ SC-161991][python][CONNECT] 使pyspark.worker_utils与 pyspark-connect 兼容
  • [SPARK-47691] [ SC-161760][sql] Postgres:支持写入端的多维数组
  • [SPARK-47617] [SC-162513][sql] 为排序规则添加 TPC-DS 测试基础设施
  • [SPARK-47356] [SC-162858][sql] 添加对 ConcatWs & Elt(所有排序规则)的支持
  • [SPARK-47543] [SC-161234][connect][PYTHON] 从 Pandas 数据帧中推断dict为MapType,以允许创建数据帧
  • [SPARK-47863] [SC-162974][sql] 修复 ICU 中 startsWith & endsWith 的排序规则感知实现
  • [SPARK-47867] [ SC-162966][sql] 支持 JSON 扫描中的变体。
  • [SPARK-47366] [ SC-162475][sql][PYTHON] 为PySpark添加VariantVal
  • [SPARK-47803] [SC-162726][sql] 支持转换为 variant 类型。
  • [SPARK-47769] [ SC-162841][sql] 添加schema_of_variant_agg表达式。
  • [SPARK-47420] [SC-162842][sql] 修复测试输出
  • [SPARK-47430] [SC-161178][sql] 对 MapType 的支持GROUP BY
  • [SPARK-47357] [SC-162751][sql] 添加对 Upper、Lower、InitCap(所有排序规则)的支持
  • [SPARK-47788] [SC-162729][ss] 确保流式有状态操作具有相同的哈希分区
  • [SPARK-47776] [SC-162291][ss] 禁止在带状态操作符的键模式中使用二进制不等式排序规则
  • [SPARK-47673] [SC-162824][ss] 为 ListState 实现 TTL
  • [SPARK-47818] [ SC-162845][connect] 引入 SparkConnectPlanner 中的计划缓存以提高分析请求的性能
  • [SPARK-47694] [SC-162783][connect] 将最大消息大小设置为客户端可配置
  • [SPARK-47274] 撤销“[SC-162479][python][SQL] 提供更多有用的…
  • [SPARK-47616] [ SC-161193][sql] 添加用于映射 MySQL 中的 Spark SQL 数据类型的用户文档
  • [SPARK-47862] [SC-162837][python][CONNECT]修复 proto 文件的生成
  • [SPARK-47849] [ SC-162724][python][CONNECT] 更改发布脚本以发布 pyspark-connect
  • [SPARK-47410] [SC-162518][sql] 重构 UTF8String 和 CollationFactory
  • [SPARK-47807] [ SC-162505][python][ML] 使 pyspark.ml 与 pyspark-connect 兼容
  • [SPARK-47707] [SC-161768][sql] 对 MySQL Connector/J 5.x 的 JSON 类型进行特殊处理
  • [SPARK-47765] 撤销“[SC-162636][sql] 在解析中添加 SET COLLATION…
  • [SPARK-47081] [SC-162151][connect][FOLLOW] 改进进度处理程序的易用性
  • [SPARK-47289] [SC-161877][sql] 允许扩展模块在执行计划中记录扩展信息
  • [SPARK-47274] [ SC-162479][python][SQL] 为 PySpark 数据帧 API 错误提供更有用的上下文
  • [SPARK-47765] [SC-162636][sql] 将 SET COLLATION 添加到解析器规则中
  • [SPARK-47828] [SC-162722][connect][PYTHON] DataFrameWriterV2.overwrite 因计划无效而失败
  • [SPARK-47812] [SC-162696][connect] 支持 ForEachBatch 工作线程的 SparkSession 序列化
  • [SPARK-47253] [ SC-162698][core] 允许 LiveEventBus 停止而不完全清空事件队列
  • [SPARK-47827] [ SC-162625][python] 缺少对已弃用功能的警告
  • [SPARK-47733] [ SC-162628][ss] 为查询进度的 transformWithState 运算符部分添加自定义指标
  • [SPARK-47784] [ SC-162623][ss] 将 TTLMode 和 TimeoutMode 合并为单个 TimeMode。
  • [SPARK-47775] [ SC-162319][sql] 支持变体规格中的剩余标量类型。
  • [SPARK-47736] [SC-162503][sql] 添加对 AbstractArrayType 的支持
  • [SPARK-47081] [SC-161758][connect] 支持查询执行进度
  • [SPARK-47682] [SC-162138][sql] 支持从 variant 类型进行类型转换。
  • [SPARK-47802] [SC-162478][sql] 将 () 的含义从 struct() 恢复为 *
  • [SPARK-47680] [ SC-162318][sql] 添加variant_explode表达式。
  • [SPARK-47809] [SC-162511][sql] checkExceptionInExpression 应针对每种代码生成模式检查错误
  • [SPARK-41811] [ SC-162470][python][CONNECT] 实现 SQLStringFormatter 和 WithRelations
  • [SPARK-47693] [SC-162326][sql] 为在 UTF8_BINARY_LCASE 排序规则中使用的 UTF8String 添加小写比较优化
  • [SPARK-47541] [SC-162006][sql] 支持 reverse、array_join、concat、map 操作的复杂类型中,对按排序规则处理的字符串进行处理
  • [SPARK-46812] [SC-161535][connect][PYTHON] 使 mapInPandas / mapInArrow 支持 ResourceProfile
  • [SPARK-47727] [SC-161982][python] 将 SparkConf 移至根级别,同时适用于 SparkSession 和 SparkContext
  • [SPARK-47406] [ SC-159376][sql] 在 MYSQLDialect 中处理 TIMESTAMP 和 DATETIME
  • [SPARK-47081] 撤销 “[SC-161758][connect] 支持查询执行…
  • [SPARK-47681] [ SC-162043][sql] 添加schema_of_variant表达式。
  • [SPARK-47783] [SC-162222] 添加一些缺失的 SQLSTATE,并清理 YY000 以便使用...
  • [SPARK-47634] [SC-161558][sql] 添加禁用映射键规范化的向后兼容支持
  • [SPARK-47746] [SC-162022] 在 RocksDBStateEncoder 中实现基于序数的范围编码
  • [SPARK-47285] [ SC-158340][sql] AdaptiveSparkPlanExec 应始终使用 context.session
  • [SPARK-47643] [ SC-161534][ss][PYTHON] 为 python 流源添加 pyspark 测试
  • [SPARK-47582] [ SC-161943][sql] 将具有变量的 Catalyst logInfo 迁移到结构化日志记录框架
  • [SPARK-47558] [SC-162007][ss] 支持 ValueState 的状态 TTL
  • [SPARK-47358] [ SC-160912][sql][COLLATION] 改进重复表达式支持以返回正确的数据类型
  • [SPARK-47504] [SC-162044][sql] 解决 StringTypeCollated 的 AbstractDataType simpleStrings 问题
  • [SPARK-47719] 撤销“[SC-161909][sql] 更改 spark.sql.legacy.t…
  • [SPARK-47657] [SC-162010][sql] 针对每个文件源实现排序规则过滤器下推支持
  • [SPARK-47081] [SC-161758][connect] 支持查询执行进度
  • [SPARK-47744] [SC-161999] 添加对范围编码器中负值字节的支持
  • [SPARK-47713] [ SC-162009][sql][CONNECT] 修复自联接失败
  • [SPARK-47310] [SC-161930][ss] 为状态存储中值部分的多值合并操作添加微基准测试
  • [SPARK-47700] [SC-161774][sql] 修复 treeNode 相关错误消息的格式
  • [SPARK-47752] [ SC-161993][ps][CONNECT] 使 pyspark.pandas 与 pyspark-connect 兼容
  • [SPARK-47575] [ SC-161402][spark-47576][SPARK-47654] 在结构化日志记录框架中实现 logWarning/logInfo API
  • [SPARK-47107] [ SC-161201][ss][PYTHON] 为 Python 流数据源实现分区读取器
  • [SPARK-47553] [SC-161772][ss] 添加对 transformWithState 运算符 API 的Java支持
  • [SPARK-47719] [ SC-161909][sql] 更改 spark.sql.legacy.timeParserPolicy 默认值为 CORRECTED
  • [SPARK-47655] [ SC-161761][ss] 将计时器与 State-v2 的初始状态处理进行集成
  • [SPARK-47665] [ SC-161550][sql] 使用 SMALLINT 将 ShortType 写入 MYSQL
  • [SPARK-47210] [SC-161777][sql] 添加不支持不确定结果的隐式类型转换
  • [SPARK-47653] [ SC-161767][ss] 添加对负数值类型和范围扫描密钥编码器的支持
  • [SPARK-46743] [SC-160777][sql] 常量折叠后的计数错误
  • [SPARK-47525] [SC-154568][sql] 支持基于映射属性的子查询相关联连接
  • [SPARK-46366] [ SC-151277][sql] 在 BETWEEN 中使用 WITH 表达式以避免重复表达式
  • [SPARK-47563] [ SC-161183][sql] 在创建时添加映射规范化
  • [SPARK-42040] [ SC-161171][sql] SPJ:为 V2 输入分区引入新的 API 来报告分区统计信息
  • [SPARK-47679] [SC-161549][sql] 直接使用 HiveConf.getConfVars 或 Hive 配置名称
  • [SPARK-47685] [SC-161566][sql] 在 Stream 中恢复对 Dataset#groupBy 类型的支持
  • [SPARK-47646] [SC-161352][sql] 对于格式错误的输入,使 try_to_number 返回 NULL
  • [SPARK-47366] [SC-161324][python] 添加 pyspark 和 dataframe 的 parse_json 别名
  • [SPARK-47491] [SC-161176][core] 将 slf4j-api 的 jar 文件优先添加到类路径中,使其位于 jars 目录中的其他文件之前
  • [SPARK-47270] [SC-158741][sql] Dataset.isEmpty 将 CommandResults 投影到本地
  • [SPARK-47364] [SC-158927][core] 在插件回复单向消息时发出PluginEndpoint警告
  • [SPARK-47280] [ SC-158350][sql] 删除 ORACLE TIMESTAMP WITH 的时区限制 TIMEZONE
  • [SPARK-47551] [SC-161542][sql] 添加variant_get表达式。
  • [SPARK-47559] [SC-161255][sql] 变体 parse_json 的代码生成支持
  • [SPARK-47572] [SC-161351][sql] 强制要求窗口分区规范 (partitionSpec) 具有可排序性。
  • [SPARK-47546] [SC-161241][sql] 改进从 Parquet 读取变体时的验证机制
  • [SPARK-47543] [SC-161234][connect][PYTHON] 从 Pandas 数据帧中推断dict为MapType,以允许创建数据帧
  • [SPARK-47485] [SC-161194][sql][PYTHON][connect] 在 DataFrame API 中创建带排序规则的列
  • [SPARK-47641] [SC-161376][sql] 提高UnaryMinus 和 Abs 的性能
  • [SPARK-47631] [SC-161325][sql] 删除未使用的SQLConf.parquetOutputCommitterClass方法
  • [SPARK-47674] [SC-161504][core] 默认启用spark.metrics.appStatusSource.enabled
  • [SPARK-47273] [SC-161162][ss][PYTHON] 实现Python数据流编写器接口。
  • [SPARK-47637] [SC-161408][sql] 在更多场景中使用 errorCapturingIdentifier
  • [SPARK-47497] 撤销“撤销”[SC-160724][sql] 使 to_csv 支持将数组/结构体/映射/二进制数据输出为格式化字符串””
  • [SPARK-47492] [SC-161316][sql] 放宽词法分析器的空格规则
  • [SPARK-47664] [ SC-161475][python][CONNECT] 使用缓存架构验证列名
  • [SPARK-47638] [SC-161339][ps][CONNECT] 在 PS 中跳过列名验证
  • [SPARK-47363] [SC-161247][ss] State API v2 的初始状态未实现状态读取器。
  • [SPARK-47447] [SC-160448][sql] 允许将 Parquet 格式的 TimestampLTZ 作为 TimestampNTZ 读取
  • [SPARK-47497] 撤销“[SC-160724][sql] 使 to_csv 支持将 array/struct/map/binary 输出为格式化字符串”
  • [SPARK-47434] [SC-160122][webui] 修复 statistics 中的链接 StreamingQueryPage
  • [SPARK-46761] [SC-159045][sql] JSON 路径中的带引号字符串应支持 ? 字符
  • [SPARK-46915] [ SC-155729][sql] 简化 UnaryMinusAbs 并使错误类别统一
  • [SPARK-47431] [SC-160919][sql] 添加会话级默认排序规则
  • [SPARK-47620] [ SC-161242][python][CONNECT] 添加帮助程序函数以对列进行排序
  • [SPARK-47570] [ SC-161165][ss] 将范围扫描编码器的更改与计时器实现进行集成
  • [SPARK-47497] [ SC-160724][sql] 使 to_csv 支持 array/struct/map/binary 作为美观字符串输出
  • [SPARK-47562] [SC-161166][connect] 将因子字面量的处理从 plan.py 中分离出来
  • [SPARK-47509] [SC-160902][sql] 在 lambda 和高阶函数中阻止子查询表达式
  • [SPARK-47539] [ SC-160750][sql] 使方法 castToString 的返回值成为 Any => UTF8String
  • [SPARK-47372] [SC-160905][ss] 添加对基于范围扫描的键状态编码器的支持,以便与状态存储提供程序配合使用
  • [SPARK-47517] [SC-160642][core][SQL] 在显示大小时优先使用 Utils.bytesToString
  • [SPARK-47243] [ SC-158059][ss] 更正包名称 StateMetadataSource.scala
  • [SPARK-47367] [SC-160913][python][CONNECT] 支持使用 Spark Connect 的 Python 数据源
  • [SPARK-47521] [SC-160666][core] 在从外部存储读取洗牌数据时使用 Utils.tryWithResource
  • [SPARK-47474] [ SC-160522][core] 还原 SPARK-47461 并添加一些注释
  • [SPARK-47560] [ SC-160914][python][CONNECT] 避免 RPC 使用缓存架构验证列名
  • [SPARK-47451] [SC-160749][sql] 支持 to_json(variant)。
  • [SPARK-47528] [ SC-160727][sql] 向 DataTypeUtils.canWrite 添加 UserDefinedType 支持
  • [SPARK-44708] 撤销“[SC-160734][python] 将 test_reset_index 中的 assert_eq 迁移为使用 assertDataFrameEqual”
  • [SPARK-47506] [SC-160740][sql] 为所有文件源格式添加对排序数据类型的支持
  • [SPARK-47256] [SC-160784][sql] 给错误类 _LEGACY_ERROR_TEMP_102[4-7] 分配名称
  • [SPARK-47495] [SC-160720][core] 修复在 k8s 集群模式下主资源 jar 被重复添加到 spark.jars 中的问题
  • [SPARK-47398] [ SC-160572][sql] 提取 InMemoryTableScanExec 的特征以允许扩展功能
  • [SPARK-47479] [SC-160623][sql] 优化“无法将数据写入具有多个路径的关系”错误日志
  • [SPARK-47483] [ SC-160629][sql] 添加对排序字符串数组的聚合和联接作的支持
  • [SPARK-47458] [ SC-160237][core] 修复了在屏障阶段计算最大并发任务时出现的问题
  • [SPARK-47534] [SC-160737][sql] 将o.a.s.variant移动到o.a.s.types.variant
  • [SPARK-47396] [ SC-159312][sql] 将 TIME WITHOUT TIME ZONE 的常规映射添加到 TimestampNTZType
  • [SPARK-44708] [SC-160734][python] 将 test_reset_index 中的 assert_eq 迁移为使用 assertDataFrameEqual
  • [SPARK-47309] [ SC-157733][sc-160398][SQL] XML: 为值标记添加架构推理测试
  • [SPARK-47007] [SC-160630][sql] 添加 MapSort 表达式
  • [SPARK-47523] [SC-160645][sql] 将弃用 JsonParser#getCurrentName 替换为 JsonParser#currentName
  • [SPARK-47440] [SC-160635][sql] 修复向 MsSqlServer 推送不受支持的语法的问题
  • [SPARK-47512] [SC-160617][ss] 用于 RocksDB 状态存储实例锁定获取/释放的标签操作类型
  • [SPARK-47346] [SC-159425][python] 使在创建 Python 规划器工作线程时可配置守护进程模式
  • [SPARK-47446] [SC-160163][core] 使 BlockManager 在 removeBlockInternal 之前发出警告
  • [SPARK-46526] [SC-156099][sql] 支持 LIMIT 仅当谓词引用外层表时,对相关子查询使用 over 子句
  • [SPARK-47461] [SC-160297][core] 移除totalRunningTasksPerResourceProfileExecutorAllocationManager中的私有函数
  • [SPARK-47422] [ SC-160219][sql] 支持数组操作中的按规则排列的字符串
  • [SPARK-47500] [SC-160627][python][CONNECT] 将列名处理从 plan.py 中分离出来
  • [SPARK-47383] [SC-160144][core] 支持 spark.shutdown.timeout 配置
  • [SPARK-47342] [SC-159049] 撤销“[SQL] 支持 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ”
  • [SPARK-47486] [SC-160491][connect] 删除未使用的专用 ArrowDeserializers.getString 方法
  • [SPARK-47233] [SC-154486][connect][SS][2/2] 客户端和服务器端逻辑,用于客户端流式查询监听器
  • [SPARK-47487] [SC-160534][sql] 简化 AnsiTypeCoercion 中的代码
  • [SPARK-47443] [SC-160459][sql] 支持按排序规则进行窗口聚合
  • [SPARK-47296] [SC-160457][sql][COLLATION] 对于非二进制排序规则,使不支持的函数报错
  • [SPARK-47380] [SC-160164][connect] 确保服务器端 SparkSession 保持一致
  • [SPARK-47327] [ SC-160069][sql] 将排序键并发测试移动到 CollationFactorySuite
  • [SPARK-47494] [SC-160495][doc] 添加迁移文档以处理自 Spark 3.3 以来 Parquet 时间戳推理行为的更改。
  • [SPARK-47449] [SC-160372][ss] 重构和拆分列表/计时器单元测试
  • [SPARK-46473] [SC-155663][sql] 重用 getPartitionedFile 方法
  • [SPARK-47423] [SC-160068][sql] 排序规则 — 支持带排序规则的字符串的集合运算
  • [SPARK-47439] [SC-160115][python] 在API参考页中记录Python数据源API
  • [SPARK-47457] [SC-160234][sql] 修复 IsolatedClientLoader.supportsHadoopShadedClient 以支持 Hadoop 3.4 及以上版本
  • [SPARK-47366] [ SC-159348][sql] 实现parse_json。
  • [SPARK-46331] [SC-152982][sql] 从部分 DateTime 表达式和 version() 表达式中移除 CodegenFallback
  • [SPARK-47395] [SC-159404] 将整理和排序规则添加到其他 API
  • [SPARK-47437] [SC-160117][python][CONNECT] 修正 DataFrame.sort* 的错误类
  • [SPARK-47174] [SC-154483][connect][SS][1/2] 用于客户端流式查询监听器的服务器端 SparkConnectListenerBusListener
  • [SPARK-47324] [ SC-158720][sql] 为 JDBC 嵌套类型添加缺少的时间戳转换
  • [SPARK-46962] [ SC-158834][ss][PYTHON] 为 python 流数据源 API 添加接口并实现 python 辅助角色以运行 python 流数据源
  • [SPARK-45827] [SC-158498][sql] 将数据类型检查移动到 CreatableRelationProvider
  • [SPARK-47342] [SC-158874][sql] 支持 DB2 TIMESTAMP WITH TIME ZONE 的 TimestampNTZ
  • [SPARK-47399] [SC-159378][sql] 禁用带排序规则表达式中生成的列
  • [SPARK-47146] [SC-158247][core] 执行排序合并连接时可能发生线程泄漏
  • [SPARK-46913] [ SC-159149][ss] 添加对使用 transformWithState 运算符的基于处理/事件时间的计时器的支持
  • [SPARK-47375] [SC-159063][sql] 在 JdbcDialect#getCatalystType 中添加时间戳映射指南
  • [SPARK-47394] [SC-159282][sql] 支持 H2Dialect 中的 TIMESTAMP WITH TIME ZONE
  • [SPARK-45827] 撤销 “[SC-158498][sql] 将数据类型检查移至 …
  • [SPARK-47208] [SC-159279][core] 允许覆盖基础开销内存
  • [SPARK-42627] [SC-158021][spark-26494][SQL] 支持 Oracle 的 TIMESTAMP WITH LOCAL TIME ZONE
  • [SPARK-47055] [ SC-156916][python] 升级 MyPy 1.8.0
  • [SPARK-46906] [SC-157205][ss] 为流处理添加对有状态运算符更改的检查
  • [SPARK-47391] [ SC-159283][sql] 删除 JDK 8 的测试用例解决方法
  • [SPARK-47272] [ SC-158960][ss] 为 State API v2 添加 MapState 实现。
  • [SPARK-47375] [SC-159278][doc][FollowUp] 修正 JDBC 的 preferTimestampNTZ 选项文档中的错误
  • [SPARK-42328] [ SC-157363][sql] 从错误类中删除_LEGACY_ERROR_TEMP_1175
  • [SPARK-47375] [SC-159261][doc][FollowUp] 更正 JDBC 文档中 preferTimestampNTZ 选项说明
  • [SPARK-47344] [SC-159146] 将 INVALID_IDENTIFIER 错误的检测范围扩展至未加引号的标识符中的 ‘-’ 之外,并修复“IS ! NULL”等错误。
  • [SPARK-47340] [ SC-159039][sql] 将 StringType typename 中的“collate”更改为小写
  • [SPARK-47087] [SC-157077][sql] 在配置值检查中抛出带有错误类的 Spark 异常
  • [SPARK-47327] [ SC-158824][sql] 修复 ICU 排序器中的线程安全问题
  • [SPARK-47082] [SC-157058][sql] 修复越界错误情况
  • [SPARK-47331] [SC-158719][ss] 基于 SQL 编码器,使用案例类/基本类型/POJO 对 Arbitrary State API v2 进行序列化。
  • [SPARK-47250] [SC-158840] 为 RocksDB 状态提供程序及列族的使用添加额外验证和 NERF 变更
  • [SPARK-47328] [ SC-158745][sql] 将UCS_BASIC排序规则重命名为UTF8_BINARY
  • [SPARK-47207] [SC-157845][core] 支持 spark.driver.timeout 和 DriverTimeoutPlugin
  • [SPARK-47370] [SC-158956][doc] 添加迁移文档:对 Parquet 文件进行 TimestampNTZ 类型推断
  • [SPARK-47309] [ SC-158827][sql][XML] 添加架构推理单元测试
  • [SPARK-47295] [ SC-158850][sql] 为 startsWith 和 endsWith 函数添加了 ICU StringSearch
  • [SPARK-47343] [SC-158851][sql] 修复在 execute immediate 中 sqlString 变量值为空字符串时发生的 NPE
  • [SPARK-46293] [SC-150117][connect][PYTHON] 使用 protobuf 传递依赖
  • [SPARK-46795] [SC-154143][sql] 将UnsupportedOperationException替换为SparkUnsupportedOperationException在sql/core中
  • [SPARK-46087] [ SC-149023][python] 在文档和开发要求中同步 PySpark 依赖项
  • [SPARK-47169] [SC-158848][sql] 禁用对排序列的分桶
  • [SPARK-42332] [ SC-153996][sql] 将要求更改为 ComplexTypeMergingExpression 中的 SparkException
  • [SPARK-45827] [SC-158498][sql] 将数据类型检查移动到 CreatableRelationProvider
  • [SPARK-47341] [ SC-158825][connect] 在 SparkConnectClientSuite 中的几个测试中将命令替换为关系
  • [SPARK-43255] [SC-158026][sql] 将错误类 _LEGACY_ERROR_TEMP_2020 替换为内部错误
  • [SPARK-47248] [SC-158494][sql][COLLATION] 改进字符串函数支持:contains
  • [SPARK-47334] [ SC-158716][sql] 使 withColumnRenamed 重用 withColumnsRenamed 的实现
  • [SPARK-46442] [SC-153168][sql] DS V2 支持将 PERCENTILE_CONT 和 PERCENTILE_DISC 向下推
  • [SPARK-47313] [SC-158747][sql] 在 QueryExecution.toInternalError 中添加了对 scala.MatchError 的处理
  • [SPARK-45827] [SC-158732][sql] 为 Java 添加变体单例类型
  • [SPARK-47337] [ SC-158743][sql][DOCKER] 将 DB2 docker 映像版本升级到 11.5.8.0
  • [SPARK-47302] [SC-158609][sql] 将“collate”关键字视为标识符
  • [SPARK-46817] [SC-154196][core] 通过添加spark-daemon.sh命令修复decommission使用情况
  • [SPARK-46739] [SC-153553][sql] 添加错误类 UNSUPPORTED_CALL
  • [SPARK-47102] [SC-158253][sql] 添加 COLLATION_ENABLED 配置标志
  • [SPARK-46774] [SC-153925][sql][AVRO] 在 Avro 写入任务中使用 mapreduce.output.fileoutputformat.compress 代替已弃用的 mapred.output.compress
  • [SPARK-45245] [SC-146961][python][CONNECT] PythonWorkerFactory:若工作节点未建立回连,则超时。
  • [SPARK-46835] [SC-158355][sql][Collations] 支持非二进制排序规则的连接
  • [SPARK-47131] [SC-158154][sql][COLLATION] 支持字符串函数:contains、startswith、endswith
  • [SPARK-46077] [ SC-157839][sql] 考虑 JdbcDialect.compileValue 中 TimestampNTZConverter 生成的类型。
  • [SPARK-47311] [SC-158465][sql][PYTHON] 当 PySpark 不在 Python 路径中时抑制 Python 异常
  • [SPARK-47319] [SC-158599][sql] 改进 missingInput 的计算
  • [SPARK-47316] [SC-158606][sql] 修复 Postgres 数组中的 TimestampNTZ
  • [SPARK-47268] [SC-158158][sql][排序规则] 支持基于排序规则的重新分区
  • [SPARK-47191] [ SC-157831][sql] 在取消缓存表/视图时避免不必要的关系查找
  • [SPARK-47168] [SC-158257][sql] 在处理非默认排序规则的字符串时禁用 Parquet 过滤器下推
  • [SPARK-47236] [SC-158015][core] 修复 deleteRecursivelyUsingJavaIO 以跳过不存在的文件输入
  • [SPARK-47238] [ SC-158466][sql] 通过将 WSCG 中生成的代码转换为广播变量来减少执行器内存使用量
  • [SPARK-47249] [SC-158133][connect] 修复了无论实际状态如何,所有 connect 执行都会被视为已放弃的错误
  • [SPARK-47202] [SC-157828][python] 修复了导致使用 tzinfo 时日期时间格式出错的拼写错误
  • [SPARK-46834] [SC-158139][sql][Collations] 支持聚合函数
  • [SPARK-47277] [SC-158351][3.5] PySpark 实用函数 assertDataFrameEqual 不应支持流式数据框
  • [SPARK-47155] [ SC-158473][python] 修复错误类问题
  • [SPARK-47245] [SC-158163][sql] 改进 INVALID_PARTITION_COLUMN_DATA_TYPE 的错误代码
  • [SPARK-39771] [SC-158425][core] 当需要创建过多的洗牌块时,在 Dependency 中添加警告消息。
  • [SPARK-47277] [SC-158329] PySpark 实用函数 assertDataFrameEqual 不应支持流式数据框
  • [SPARK-47293] [ SC-158356][core] 使用 sparkSchema 生成 batchSchema,而不是逐个追加
  • [SPARK-46732] [SC-153517][connect] 使子查询/广播线程与 Connect 的工件管理兼容
  • [SPARK-44746] [SC-158332][python] 为接受输入表的函数添加更多Python UDTF 文档
  • [SPARK-47120] [SC-157517][sql] 子查询中的空值比较下推数据过滤器会在 Parquet 过滤器中引发 NPE
  • [SPARK-47251] [SC-158291][python] 阻止args命令中sql参数的无效类型
  • [SPARK-47251] 撤销“[SC-158121][python] 阻止 args 命令的 sql 参数使用无效类型”
  • [SPARK-47015] [SC-157900][sql] 禁用对排序列的分区
  • [SPARK-46846] [SC-154308][core] 要求 WorkerResourceInfo 显式扩展 Serializable
  • [SPARK-46641] [SC-156314][ss] 添加 maxBytesPerTrigger 阈值
  • [SPARK-47244] [SC-158122][connect] SparkConnectPlanner 使内部函数专用
  • [SPARK-47266] [ SC-158146][connect] 使 ProtoUtils.abbreviate 返回与输入相同的类型
  • [SPARK-46961] [SC-158183][ss] 使用 ProcessorContext 存储和检索句柄
  • [SPARK-46862] [ SC-154548][sql] 在多行模式下禁用 CSV 列修剪
  • [SPARK-46950] [SC-155803][core][SQL] 调整 not available codec 错误类
  • [SPARK-46368] [SC-153236][core] 在 REST 提交 API 中支持 readyz
  • [SPARK-46806] [ SC-154108][python] 在参数类型错误时改进 spark.table 的错误消息
  • [SPARK-47211] [ SC-158008][connect][PYTHON] 修复 PySpark Connect 中被忽略的字符串排序规则问题
  • [SPARK-46552] [SC-151366][sql] 在UnsupportedOperationException中用SparkUnsupportedOperationException替换catalyst
  • [SPARK-47147] [SC-157842][python][SQL] 修复 PySpark 排序字符串转换错误
  • [SPARK-47144] [ SC-157826][connect][SQL][python] 通过添加 collateId protobuf 字段修复 Spark Connect 排序规则错误
  • [SPARK-46575] [SC-153200][sql][HIVE] 使 HiveThriftServer2.startWithContext 的 DevelopApi 方法可重试,并修复 ThriftServerWithSparkContextInHttpSuite 的不稳定性
  • [SPARK-46696] [ SC-153832][core] 在 ResourceProfileManager 中,函数调用应在变量声明后发生
  • [SPARK-47214] [ SC-157862][python] 为“analyze”方法创建 UDTF API 以区分常量 NULL 参数和其他类型的参数
  • [SPARK-46766] [ SC-153909][sql][AVRO] ZSTD 缓冲池对 AVRO 数据源的支持
  • [SPARK-47192] [SC-157819] 转换一些 _LEGACY_ERROR_TEMP_0035 错误
  • [SPARK-46928] [ SC-157341][ss] 添加对任意状态 API v2 中的 ListState 的支持。
  • [SPARK-46881] [SC-154612][core] 支持 spark.deploy.workerSelectionPolicy
  • [SPARK-46800] [SC-154107][core] 支持 spark.deploy.spreadOutDrivers
  • [SPARK-45484] [SC-146014][sql] 修复了使用错误的 Parquet 压缩编解码器 lz4raw 的缺陷
  • [SPARK-46791] [SC-154018][sql] 支持在 JavaTypeInference 中使用 Java 集合
  • [SPARK-46332] [SC-150224][sql] 将 CatalogNotFoundException 迁移到错误类 CATALOG_NOT_FOUND
  • [SPARK-47164] [SC-157616][sql] 使 v2 中“从宽类型窄字面量获取默认值”的行为与 v1 保持一致
  • [SPARK-46664] [SC-153181][core] 改进 Master,以便在工作节点和应用程序数量为零时快速恢复
  • [SPARK-46759] [SC-153839][sql][AVRO] xz 和 zstandard 编解码器支持 AVRO 文件的压缩级别

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级(下载 ODBC,下载 JDBC)。

请参阅 Databricks Runtime 15.2 维护更新。

系统环境

  • 操作系统:Ubuntu 22.04.4 LTS
  • Java:Zulu 8.74.0.17-CA-linux64
  • Scala:2.12.15
  • Python:3.11.0
  • R:4.3.2
  • Delta Lake:3.2.0

已安装Python库

库 版本 库 版本 库 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
黑色 23.3.0 转向灯 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
click 8.0.4 cloudpickle 2.2.1 通信 0.1.2
contourpy 1.0.5 加密 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbu-python 1.2.18
debugpy 1.6.7 修饰器 5.1.1 distlib 0.3.8
入口点 0.4 执行 0.8.3 facets-overview 1.1.1
文件锁 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth (谷歌认证) 2.29.0
google-cloud-core 2.4.1 谷歌云存储 2.16.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.3
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 包装 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
替罪羊 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.23.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
请求 2.31.0 rsa 4.9 s3transfer 0.10.1
scikit-learn 1.3.0 scipy(科学计算工具库) 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 6 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id(用于根据提供的标识符导入SSH密钥的命令行工具) 5.11
栈数据 (stack-data) 0.2.0 statsmodels 0.14.0 韧性 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

已安装的 R 库

R 库安装自 Posit 包管理器 CRAN 快照。

库 版本 库 版本 库 版本
箭头 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 基础映像 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 启动 1.3-28
brew 1.0-10 brio 1.1.4 扫帚 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
类 7.3-22 命令行界面 (CLI) 3.6.2 clipr 0.8.0
时钟 0.7.0 群集 2.1.4 codetools 0.2-19
颜色空间 2.1-0 commonmark 1.9.1 编译器 4.3.2
配置 0.3.2 矛盾 1.2.0 cpp11 0.4.7
蜡笔 1.5.2 凭据 2.0.1 curl 5.2.0
data.table 1.15.0 数据集 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 摘要 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 省略号 0.3.2 评估 0.23
凡思 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 锻造 0.2.0 fs 1.6.3
未来 1.33.1 future.apply 1.11.1 漱口 1.5.2
泛型 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 粘合剂 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
图形 4.3.2 grDevices 4.3.2 网格 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 避难所 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 迭代器 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 标记 0.4.3
稍后 1.3.2 lattice 0.21-8 熔岩 1.7.3
生命周期 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 记忆化 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 并行 4.3.2
parallelly 1.36.0 支柱 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 表扬 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 承诺 1.2.1 原型 1.0.0
代理 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 可反应的 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
菜谱 1.0.9 重赛 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
形状 1.4.6 闪亮的 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 空间 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 统计 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
生存 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
文本排版 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 时间变更 0.3.0
时间日期 4032.109 tinytex 0.49 工具 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid(通用唯一识别码) 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip (压缩文件) 2.3.1

已安装Java和 Scala 库(Scala 2.12 群集版本)

组标识 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (亚马逊 Kinesis 客户端) 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs (AWS Java 软件开发工具包 - EFS) 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws AWS-Java-SDK支持 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 探查器 1.1.1
com.ibm.icu icu4j 72.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk(Azure 数据湖存储 SDK) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack (线性代数程序库) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.25
io.delta delta-sharing-client_2.12 1.0.5
io.dropwizard.metrics 指标注解 4.2.19
io.dropwizard.metrics 核心指标 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty Netty 编解码器 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api(交易应用程序接口) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk(雪花数据导入软件开发工具包) 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 蚂蚁 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow 箭头向量 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 受众注释 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api(Eclipse 集合 API) 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty服务器 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket 服务器 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap 垫片 0.9.45-databricks
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 与ScalaTest兼容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1