注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。
以下发行说明提供了由 Apache Spark 3.3.0 提供支持的 Databricks Runtime 11.3 LTS 的相关信息。 Databricks 于 2022 年 10 月发布了此版本。
注意
LTS 表示此版本受长期支持。 请参阅 Databricks Runtime 支持生命周期。
行为更改
[重大变更] 新版Python需要更新Databricks Connect V1 Python客户端
注意
后续更新将 Databricks Runtime 11.3 LTS 中的 Python 版本移动到 3.9.21。 3.9.21 版本不会引入任何行为更改。
若要应用所需的安全修补程序,Databricks Runtime 11.3 LTS 中的Python版本从 3.9.5 更新到 3.9.19。 由于这些更改可能会导致使用特定 PySpark 函数的客户端出现错误,因此使用 Databricks Connect V1 与 Databricks Runtime 11.3 LTS Python的任何客户端都必须更新为 Python 3.9.7 或更高版本。
新增功能和改进
- Python从 3.9.19 升级到 3.9.21
- 弃用结构化流式处理 Trigger.Once
- 更改自动加载程序的源路径
- Databricks Kinesis 连接器现在支持在 EFO 模式下从 Kinesis 数据流读取
- 新增了 H3 地理空间函数并为所有 H3 函数添加了 Photon 支持
- 预测性 I/O 的新功能
- 为选择性查询增加了可扫描的初始分区数
- 新的 AQE 计划版本可视化
- 新的异步进程跟踪和日志清除模式
-
Unity Catalog 上的 Structured Streaming 现支持
display() - 管道事件现以 JSON 格式记录
- 在结构化流处理中使用 Python 进行任意有状态处理
- CSV 文件中的日期推理
- 对 Apache Parquet 和 Apache Iceberg 表的克隆支持(公共预览版)
- 使用 SQL 为 Unity Catalog 托管表指定架构级和目录级存储位置
Python从 3.9.19 升级到 3.9.21
Databricks Runtime 11.3 LTS 中的Python版本从 3.9.19 更新为 3.9.21。
弃用结构化流式处理 Trigger.Once
Trigger.Once 设置已弃用。 Databricks 建议你使用 Trigger.AvailableNow。 请参阅配置结构化流式处理触发器间隔。
更改自动加载程序的源路径
现在可以更改配置为目录列表模式的自动加载程序的目录输入路径,而无需选择新的检查点目录。 请参阅更改自动加载程序的源路径。
Databricks Kinesis 连接器现在支持在 EFO 模式下从 Kinesis 数据流读取
现在可以在 Databricks Runtime 11.3 LTS 中使用 Databricks Kinesis 结构化流式传输源,以运行查询在增强的扇出模式下从 Kinesis 数据流读取。 这样就可以在推送模式下为每个分片、每个使用者和记录传送提供专用吞吐量。
新增了 H3 地理空间函数并为所有 H3 函数添加了 Photon 支持
引入了 4 个新的 H3 函数:h3_maxchild、h3_minchild、h3_pointash3 和 h3_pointash3string。 这些函数在 SQL、Scala 和 Python 中可用。 Photon 现在支持所有 H3 表达式。 请参阅 H3 地理空间函数。
预测性 I/O 的新功能
Photon 支持在运行帧时使用范围模式(使用 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW)。 Photon 还支持在增大帧时使用范围模式(使用 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING })。
为选择性查询增加了可扫描的初始分区数
要扫描的初始分区的值已增加到 10,以便在启用了 Photon 的群集中使用 take/tail/limit,在 Databricks SQL 中使用 LIMIT 进行选择性查询。 使用 10 个分区可以避免启动多个小型作业产生的开销和纵向扩展速度变慢。 还可以通过 spark.sql.limit.selectiveInitialNumPartitions 配置此值。
新的 AQE 方案版本可视化
引入 AQE 计划版本,可用于可视化自适应查询执行 (AQE) 中的运行时计划更新。
新的异步进程跟踪和日志清除模式
引入称为异步进程跟踪和异步日志清除的结构化流模式。 异步日志清除模式通过在后台删除用于进程跟踪的日志来降低流式处理查询的延迟。
Unity Catalog 上的结构化流现在支持 display()
现在,使用 Structured Streaming 处理 Unity Catalog 中注册的表时,可以使用 display()。
管道事件现以 JSON 格式记录
Azure Databricks现在以 JSON 格式将管道事件写入驱动程序日志。 虽然每个事件都是 JSON 可分析的,但大型事件可能不包含所有字段,或者字段可能会被截断。 每个事件都记录在带有前缀 Event received: 的单行中。 以下是一个示例事件。
Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}
使用 Python 在结构化流中进行任意有状态处理
引入可用于在 PySpark 中执行任意有状态处理的 applyInPandasWithState 函数。 这等效于 Java API 中的 flatMapGroupsWithState 函数。
CSV 文件中的日期推理
在 CSV 文件中引入改进的日期类型列的推理。 当列的记录中的日期格式一致时,可以将这些列推断为 DateType。 你可以在不同的列中组合日期格式。 Azure Databricks可以自动推断每个列的日期格式。 Databricks Runtime 11.3 LTS 之前的 CSV 文件中的日期列保留为 StringType。
对 Apache Parquet 和 Apache Iceberg 表的克隆支持(公共预览版)
克隆现在可用于创建和增量更新 Delta 表,该表反映了 Apache Parquet 表和 Apache Iceberg 表。 可以更新源 Parquet 表,并使用 clone 命令将更改增量应用到其克隆的 Delta 表。 请参阅将 Parquet 表和 Apache Iceberg 表增量克隆到 Delta Lake。
使用 SQL 为 Unity Catalog 托管表指定架构级和目录级存储位置
现在,可以使用 MANAGED LOCATION SQL 命令为托管表指定目录级和架构级的云存储位置。 请参阅 CREATE CATALOG 和 CREATE SCHEMA。
行为更改
Databricks Connect 11.3.2
现在支持 Databricks Connect 客户端更新 11.3.2。 请参阅 Databricks Connect 和 Databricks Connect 发行说明。
更新了 Azure Databricks Snowflake 连接器
Azure Databricks Snowflake 连接器已更新到开源存储库中最新版本的代码,Snowflake Data Source for Apache Spark。 它现在与 Databricks Runtime 11.3 LTS 完全兼容,包括谓词下推和内部查询计划下推,同时保持开源版本的所有功能。
S3A 的 Hadoop 缓存现已禁用
S3A 的 Hadoop 缓存 (FileSystem Apache Hadoop Main 3.3.4 API) 现已禁用。 这是为了与其他云存储连接器保持一致。 对于依赖文件系统缓存的工作负载,请确保为新创建的文件系统提供正确的 Hadoop 配置,包括凭据提供程序。
Delta Lake 统计信息集合架构现在与表架构定义中的列顺序匹配
此更改解决了 Delta Lake 协议中的一个问题,即由于 DataFrame 和表列的顺序不匹配,无法收集列的统计数据。 在某些情况下,可能会因为以前未跟踪的字段上的统计信息集合而遇到写入性能降低。 请参阅跳过数据。
如果查询在执行运算符之后随机执行,applyInPandasWithState 就会引发错误
如果查询在运算符 applyInPandasWithState 之后有 shuffle,就会引发错误。 当用户在操作后添加 shuffle,或者优化器或接收器隐式添加 shuffle 时,就会发生这种情况。
软件库升级
- 升级Python库:
- distlib 已从 0.3.5 升级到 0.3.6
- 升级了 R 库:
- broom 已从 1.0.0 升级到 1.0.1
- callr 已从 3.7.1 升级到 3.7.2
- dplyr 已从 1.0.9 升级到 1.0.10
- dtplyr 已从 1.2.1 升级到 1.2.2
- forcats 已从 0.5.1 升级到 0.5.2
- future 已从 1.27.0 升级到 1.28.0
- future.apply 已从 1.9.0 升级到 1.9.1
- gert 已从 1.7.0 升级到 1.8.0
- globals 已从 0.16.0 升级到 0.16.1
- gtable 已从 0.3.0 升级到 0.3.1
- haven 已从 2.5.0 升级到 2.5.1
- hms 已从 1.1.1 升级到 1.1.2
- httr 已从 1.4.3 升级到 1.4.4
- knitr 已从版本 1.39 升级到 1.40
- modelr 已从 0.1.8 升级到 0.1.9
- pillar 已从版本 1.8.0 升级到版本 1.8.1
- progressr 已从 0.10.1 升级到 0.11.0
- readxl 已从 1.4.0 升级到 1.4.1
- reprex 已从 2.0.1 升级到 2.0.2
- rlang 已从 1.0.4 升级到 1.0.5
- rmarkdown 已从 2.14 升级到 2.16
- RSQLite 已从 2.2.15 升级到 2.2.16
- rstudioapi 已从 0.13 升级到到 0.14
- rversions 已从 2.1.1 升级到 2.1.2
- rvest 已从 1.0.2 升级到 1.0.3
- scales 已从 1.2.0 升级到 1.2.1
- sparklyr 已从 1.7.7 升级到 1.7.8
- stringr 已从 1.4.0 升级到 1.4.1
- survival 已从 3.2-13 升级到 3.4-0
- tinytex 已从 0.40 升级到 0.41
- viridisLite 已从 0.4.0 升级到 0.4.1
- 升级Java库:
- com.fasterxml.jackson.core.jackson-annotations 已从 2.13.3 升级到 2.13.4
- com.fasterxml.jackson.core.jackson-core 已从 2.13.3 升级到 2.13.4
- com.fasterxml.jackson.core.jackson-databind 已从 2.13.3 升级到 2.13.4
- com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 已从 2.13.3 升级到 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-joda 已从 2.13.3 升级到 2.13.4
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 已从 2.13.3 升级到 2.13.4
- com.fasterxml.jackson.module.jackson-module-paranamer 已从 2.13.3 升级到 2.13.4
- com.fasterxml.jackson.module.jackson-module-scala_2.12 已从 2.13.3 升级到 2.13.4
- org.apache.hadoop.hadoop-client-api 已从 3.3.2-databricks 升级到 3.3.4-databricks
- org.apache.hadoop.hadoop-client-runtime 已从 3.3.2 升级到 3.3.4
- org.apache.orc.orc-core 已从 1.7.5 升级到 1.7.6
- org.apache.orc.orc-mapreduce 已从 1.7.5 升级到 1.7.6
- org.apache.orc.orc-shims 已从 1.7.5 升级到 1.7.6
- org.apache.parquet.parquet-column 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
- org.apache.parquet.parquet-common 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
- org.apache.parquet.parquet-encoding 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
- org.apache.parquet.parquet-format-structures 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
- org.apache.parquet.parquet-hadoop 已从版本 1.12.0-databricks-0004 升级到版本 1.12.0-databricks-0007
- org.apache.parquet.parquet-jackson 已从 1.12.0-databricks-0004 升级到 1.12.0-databricks-0007
- org.glassfish.jersey.containers.jersey-container-servlet 已从 2.34 升级到 2.36
- org.glassfish.jersey.containers.jersey-container-servlet-core 已从 2.34 升级到 2.36
- org.glassfish.jersey.core.jersey-client 已从 2.34 升级到 2.36
- org.glassfish.jersey.core.jersey-common 已从 2.34 升级到 2.36
- org.glassfish.jersey.core.jersey-server 已从 2.34 升级到 2.36
- org.glassfish.jersey.inject.jersey-hk2 已从 2.34 升级到 2.36
Apache Spark
Databricks Runtime 11.3 LTS 包括 Apache Spark 3.3.0。 此版本包括 Databricks Runtime 11.2 (EoS) 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下缺陷修复和改进:
- [SPARK-39957] [WARMFIX][sc-111425][CORE] 延迟调用 onDisconnected 以使驱动程序接收 ExecutorExitCode
- [SPARK-39955] [ WARMFIX][sc-111424][CORE] 改进 LaunchTask 进程,以避免因发送 LaunchTask 消息失败而导致的阶段性故障
- [SPARK-40474] [ SC-106248][cherry-pick] 更正日期时间列的 CSV 架构推理行为,并为日期字段引入自动检测
- [SPARK-40535] [SC-111243][sql] 修复了当输入行为空时 AggregatingAccumulator 的缓冲区不会被创建的错误
- [SPARK-40434] [ SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] 在 PySpark 中实现 applyInPandasWithState
-
[SPARK-40460] [SC-110832][ss] 修复了在选择
_metadata时的流式指标问题 -
[SPARK-40324] [ SC-109943][sql] 提供查询上下文
ParseException - [SPARK-40466] [ SC-110899][ss] 在 DSv2 被禁用且 DSv1 不可用时改进错误消息
- [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext 方法应支持低开销的重复调用
- [SPARK-40169] [SC-110772][sql] 不要将未引用数据架构的 Parquet 过滤器下推
- [SPARK-40467] [ SC-110759][ss] 将 FlatMapGroupsWithState 拆分为多个测试套件
- [SPARK-40468] [ SC-110813][sql] 修复在选择_corrupt_record时 CSV 中的列修剪问题
- [SPARK-40291] [SC-110085][sql] 改进“列未出现在 GROUP BY 子句中”错误的消息
- [SPARK-40398] [ SC-110762][core][SQL] 使用循环代替 Arrays.stream API
- [SPARK-40433] [SC-110684][ss][PYTHON] 在 PythonSQLUtils 中添加 toJVMRow,用于将 pickled 格式的 PySpark 行转换为 JVM 行
- [SPARK-40414] [ SC-110568][sql][PYTHON] PythonArrowInput 和 PythonArrowOutput 上的更多泛型类型
- [SPARK-40352] [ SC-109945][sql] 添加函数别名:len、datepart、dateadd、date_diff 和 curdate
- [SPARK-40470] [ SC-110761][sql] 在“arrays_zip”函数中处理 GetArrayStructFields 和 GetMapValue
- [SPARK-40387] [ SC-110685][sql] 改进 Spark Decimal 的实现
- [SPARK-40429] [SC-110675][sql] 仅当引用的列位于输出中时才设置 KeyGroupedPartitioning
- [SPARK-40432] [ SC-110716][ss][PYTHON] 在 PySpark 中引入 GroupStateImpl 和 GroupStateTimeout
- [SPARK-39915] [ SC-110496][sql] 确保在 AQE 中输出分区是用户指定的
-
[SPARK-29260] [SQL] 支持
ALTER DATABASE SET LOCATION(如果 HMS 支持) - [SPARK-40185] [ SC-110056][sql] 当候选列表为空时删除列建议
- [SPARK-40362] [SC-110401][sql] 修复 BinaryComparison 的规范化处理
- [SPARK-40411] [SC-110381][ss] 重构 FlatMapGroupsWithStateExec,使其拥有父类特征
- [SPARK-40293] [ SC-110084][sql] 使 V2 表错误消息更有意义
-
[SPARK-38734] [SC-110383][sql] 删除错误类
INDEX_OUT_OF_BOUNDS - [SPARK-40292] [SC-110300][sql] 修复从嵌套结构体引用数组时“arrays_zip”函数中的列名
- [SPARK-40276] [SC-109674][core] 缩小 RDD.takeOrdered 的结果大小
- [SPARK-40197] [SC-109176][sql] 针对 MULTI_VALUE_SUBQUERY_ERROR 错误,用上下文替换查询计划
-
[SPARK-40300] [ SC-109942][sql] 迁移到
DATATYPE_MISMATCH错误类 - [SPARK-40149] [SC-110055][sql] 通过 Project 传播元数据列
- [SPARK-40280] [SC-110146][sql] 添加对带注解的 int 和 long 类型 Parquet 下推的支持
- [SPARK-40220] [ SC-110143][sc-109175][SQL] 不要输出错误消息参数的空映射
- [SPARK-40295] [SC-110070][sql] 允许在写分布/排序中使用字面参数的 v2 函数
-
[SPARK-40156] [SC-109264][sql]
url_decode()是否应返回错误类 - [SPARK-39195] [SQL] 当提交的文件与任务状态不一致时,Spark OutputCommitCoordinator 应中止阶段
- [SPARK-40260] [SC-109424][sql] 在 GROUP BY 位置的编译错误中使用错误类
- [SPARK-40205] [SC-110144][sc-109082][SQL] 提供ELEMENT_AT_BY_INDEX_ZERO的查询上下文
- [SPARK-40112] [ SC-109676][sql] 改进 TO_BINARY() 函数
-
[SPARK-40209] [SC-109081][sql] 发生错误时,不要更改
changePrecision()中 Decimal 的间隔值 - [SPARK-40319] [SC-109873][sql] 移除 PARSE_DATETIME_BY_NEW_PARSER 中重复的查询执行错误处理方法
- [SPARK-40222] [SC-109209][sql] 数值类型的 try_add/try_divide/try_subtract/try_multiply 方法应抛出其子方法的错误
- [SPARK-40183] [SC-108907][sql] 十进制转换溢出时应使用错误类 NUMERIC_VALUE_OUT_OF_RANGE
-
[SPARK-40180] [SC-109069][sql] 按
spark-sql格式化错误消息 - [SPARK-40153] [ SC-109165][sql] 统一解析函数和表值函数
-
[SPARK-40308] [ SC-109880][sql] 允许函数接受不可折叠的分隔符参数
str_to_map - [SPARK-40219] [SC-110052][sc-109663][SQL] 解析后的视图逻辑计划应包含架构,以避免冗余查找
- [SPARK-40098] [ SC-109939][sc-108693][SQL] 设置 Thrift 服务器中的错误消息的格式
- [SPARK-39917] [ SC-109038][sql] 使用不同的错误类来处理数值/间隔算术溢出
- [SPARK-40033] [SC-109875][sql] 通过 element_at 支持嵌套架构剪枝
- [SPARK-40194] [ SC-109660][sql] 空正则表达式上的 SPLIT 函数应截断尾随空字符串。
- [SPARK-40228] [SC-109835][sql] 如果子表达式不是低开销表达式,则不简化 multiLike
- [SPARK-40039] [ SC-109896][sc-109260][SS] 引入基于 Hadoop 的 Abortable 接口的流式检查点文件管理器
-
[SPARK-40285] [SC-109679][sql] 为 Spark 简化
roundTo[Numeric]Decimal - [SPARK-39896] [SC-109658][sql] 当 In/InSet 向下转换的字面量失败时,UnwrapCastInBinaryComparison 应能正常工作
- [SPARK-40040] [ SC-109662][sql] 如果联接条件为空,请将本地限制推送到双方
- [SPARK-40055] [SC-109075][sql] 即使 spark_catalog 的实现为 defaultSessionCatalog,listCatalogs 也应返回 spark_catalog。
- [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) 可能不会创建 N 个分区(非 AQE 部分)
- [SPARK-40207] [ SC-109401][sql] 在数据源不支持数据类型时指定列名
- [SPARK-40245] [SC-109295][sql] 修复在未读取分区或数据过滤列时 FileScan 的相等性检查
- [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2 接口的实现
- [SPARK-40211] [ SC-109226][core][SQL] 允许在 take() 行为中自定义初始分区编号
-
[SPARK-40252] [SC-109379][sql] 替换为
Stream.collect(Collectors.joining)StringJoinerApi - [SPARK-40247] [SC-109272][sql] 修复 BitSet 的相等性检查
- [SPARK-40067] [SQL] 使用 Table#name() 而不是 Scan#name() 在 SparkUI 的 BatchScan 节点中填充表名
- [SPARK-39966] [SQL] 在 SupportsDelete 中使用 V2 筛选器
- [SPARK-39607] [SC-109268][sql][DSV2] 写入时支持 V2 函数的分布和排序
- [SPARK-40224] [SC-109271][sql] 使 ObjectHashAggregateExec 在回退到基于排序的算法时立即释放内存
-
[SPARK-40013] [SQL] DS V2 表达式应具有默认的
toString - [SPARK-40214] [SC-109079][python][SQL] 将“get”添加到函数
- [SPARK-40192] [SC-109089][sql][ML] 移除冗余的 groupby
- [SPARK-40146] [SC-108694][sql] 简化获取映射值的代码生成
- [SPARK-40109] [SQL] 新 SQL 函数:get()
- [SPARK-39929] [SQL] DS V2 支持下推字符串函数(非 ANSI)
- [SPARK-39819] [SQL] DS V2 聚合下推应支持 Top N 或分页(带表达式的排序)
- [SPARK-40213] [ SC-109077][sql] 支持对 Latin-1 字符进行 ASCII 值转换
- [SPARK-39887][SQL] RemoveRedundantAliases 应保留那些使投影节点的输出独一无二的别名
- [SPARK-39764] [SQL] 使 PhysicalOperation 与 ScanOperation 相同
- [SPARK-39964] [SQL] DS V2 聚合下推应统一转换路径
- [SPARK-39528] [SQL] 在 SupportsRuntimeFiltering 中使用 V2 筛选器
- [SPARK-40066] [SQL] ANSI 模式:对映射列访问无效时始终返回 null
- [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
- [SPARK-39833] [SC-108736][sql] 禁用 DSv1 中的 Parquet 列索引,以修复分区和数据列重叠时的正确性问题
- [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 命令应输出限定的函数名称(如 v1)
- [SPARK-39767] [SQL] 删除 UnresolvedDBObjectName,并添加 UnresolvedIdentifier
- [SPARK-40163] [SC-108740][sql] 新功能:SparkSession.config(Map)
- [SPARK-40136] [SQL] 修复 SQL 查询上下文片段
- [SPARK-40107] [ SC-108689][sql] 将 empty2null 转换从 FileFormatWriter 中移除
- [SPARK-40121] [PYTHON][sql] 初始化 Python UDF 中用到的投影
- [SPARK-40128] [SQL] 使 VectorizedColumnReader 将 DELTA_LENGTH_BYTE_ARRAY 识别为独立的列编码
- [SPARK-40132] [ML] 将 rawPredictionCol 还原为 MultilayerPerceptronClassifier.setParams
-
[SPARK-40050] [SC-108696][sql] 增强
EliminateSorts,以支持通过LocalLimit去除排序 - [SPARK-39629] [SQL] 支持 v2 SHOW FUNCTIONS
- [SPARK-39925] [SC-108734][sql] 为 DataFrame 操作添加 array_sort(column, comparator) 重载
- [SPARK-40117] [ PYTHON][sql] 在 DataFrameWriterV2.overwrite 中将条件转换为 java
- [SPARK-40105] [SQL] 改进 ReplaceCTERefWithRepartition 中的重新分区
- [SPARK-39503] [SQL] 为 v1 数据库表和函数添加会话目录名
- [SPARK-39889] [SQL] 对除以 0 的数值/间隔使用不同的错误类
- [SPARK-39741] [SQL] 支持 url 编码/解码作为内置函数,并整理 url 相关函数
- [SPARK-40102] [SQL] 在 SparkPlan 中使用 SparkException 而不是 IllegalStateException
- [SPARK-40014] [SQL] 支持将小数转换为 ANSI 间隔
- [SPARK-39776] [SQL][follow] 更新 ANSI 模式下 PlanStabilitySuite 的 UT
-
[SPARK-39963] [SQL] 简化
SimplifyCasts.isWiderCast
维护更新
请参阅 Databricks Runtime 11.3 维护更新。
系统环境
-
操作系统:Ubuntu 20.04.5 LTS
- 注意:这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行,该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
- Java:Zulu 8.56.0.21-CA-linux64
- Scala:2.12.14
- Python:3.9.21
- R:4.1.3
- Delta Lake:2.1.0
已安装Python库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| argon2-cffi | 20.1.0 | 异步生成器 | 1.10 | attrs | 21.2.0 |
| backcall | 0.2.0 | backports.entry-points-selectable | 1.1.1 | 黑色 | 22.3.0 |
| 漂白剂 | 4.0.0 | boto3 | 1.21.18 | botocore | 1.24.18 |
| certifi | 2021.10.8 | cffi | 1.14.6 | chardet | 4.0.0 |
| charset-normalizer (字符集正常化工具) | 2.0.4 | click | 8.0.3 | 加密 | 3.4.8 |
| 骑行者 | 0.10.0 | Cython | 0.29.24 | dbu-python | 1.2.16 |
| debugpy | 1.4.1 | 修饰器 | 5.1.0 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | 入口点 | 0.3 | 各个方面概述 | 1.0.0 |
| 文件锁 (filelock) | 3.8.0 | idna | 3.2 | ipykernel | 6.12.1 |
| ipython | 7.32.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.0 |
| jedi | 0.18.0 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | jsonschema | 3.2.0 | Jupyter客户端 | 6.1.12 |
| jupyter-core | 4.8.1 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
| kiwisolver | 1.3.1 | MarkupSafe | 2.0.1 | matplotlib | 3.4.3 |
| matplotlib-inline | 0.1.2 | mistune | 0.8.4 | mypy-extensions | 0.4.3 |
| nbclient | 0.5.3 | nbconvert | 6.1.0 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | 笔记本 | 6.4.5 | numpy | 1.20.3 |
| 包装 | 21.0 | 熊猫 | 1.3.4 | pandocfilters | 1.4.3 |
| 帕尔索 | 0.8.2 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | 枕头 | 8.4.0 |
| pip | 21.2.4 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| prometheus-client | 0.11.0 | prompt-toolkit | 3.0.20 | protobuf | 4.21.5 |
| psutil | 5.8.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pyarrow | 7.0.0 | Python代码解析器 | 2.20 | Pygments | 2.10.0 |
| PyGObject | 3.36.0 | pyodbc | 4.0.31 | pyparsing | 3.0.4 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | pytz | 2021.3 |
| pyzmq | 22.2.1 | 请求 | 2.26.0 | requests-unixsocket | 0.2.0 |
| s3transfer | 0.5.2 | scikit-learn | 0.24.2 | scipy | 1.7.1 |
| seaborn | 0.11.2 | Send2Trash | 1.8.0 | setuptools | 58.0.4 |
| 6 | 1.16.0 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| 毅力 | 8.0.1 | terminado | 0.9.4 | 测试路径 | 0.5.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| 龙卷风 | 6.1 | traitlets | 5.1.0 | typing-extensions | 3.10.0.2 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.7 | virtualenv | 20.8.0 |
| wcwidth | 0.2.5 | Web编码 | 0.5.1 | wheel | 0.37.0 |
| widgetsnbextension | 3.6.0 |
已安装的 R 库
R 库从 2022-09-08 的 Microsoft CRAN 快照中安装。 快照不再可用。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| askpass | 1.1 | assertthat | 0.2.1 | backports | 1.4.1 |
| 基础映像 | 4.1.3 | base64enc | 0.1-3 | bit | 4.0.4 |
| bit64 | 4.0.5 | blob | 1.2.3 | 启动 | 1.3-28 |
| brew | 1.0-7 | brio | 1.1.3 | 扫帚 | 1.0.1 |
| bslib | 0.4.0 | 卡齐姆 | 1.0.6 | callr | 3.7.2 |
| caret | 6.0-93 | cellranger | 1.1.0 | chron | 2.3-57 |
| 类 | 7.3-20 | cli | 3.3.0 | clipr | 0.8.0 |
| 群集 | 2.1.3 | codetools | 0.2-18 | colorspace | 2.0-3 |
| commonmark | 1.8.0 | 编译器 | 4.1.3 | config | 0.3.1 |
| cpp11 | 0.4.2 | crayon | 1.5.1 | 凭据 | 1.3.2 |
| curl | 4.3.2 | 数据表 (data.table) | 1.14.2 | datasets | 4.1.3 |
| DBI | 1.1.3 | dbplyr | 2.2.1 | desc | 1.4.1 |
| devtools | 2.4.4 | diffobj | 0.3.5 | 摘要 | 0.6.29 |
| downlit | 0.4.2 | dplyr | 1.0.10 | dtplyr | 1.2.2 |
| e1071 | 1.7-11 | 省略号 | 0.3.2 | 评估 | 0.16 |
| fansi | 1.0.3 | farver | 2.1.1 | fastmap | 1.1.0 |
| fontawesome | 0.3.0 | forcats | 0.5.2 | foreach | 1.5.2 |
| foreign | 0.8-82 | forge | 0.2.0 | fs | 1.5.2 |
| 未来 | 1.28.0 | future.apply | 1.9.1 | gargle | 1.2.0 |
| 泛型 | 0.1.3 | 格尔特 | 1.8.0 | ggplot2 | 3.3.6 |
| gh | 1.3.0 | gitcreds | 0.1.1 | glmnet | 4.1-4 |
| globals | 0.16.1 | 胶水 | 1.6.2 | googledrive | 2.0.0 |
| googlesheets4 | 1.0.1 | gower | 1.0.0 | graphics | 4.1.3 |
| grDevices | 4.1.3 | 网格 | 4.1.3 | gridExtra | 2.3 |
| gsubfn | 0.7 | gtable | 0.3.1 | hardhat | 1.2.0 |
| haven | 2.5.1 | highr | 0.9 | 赫姆斯 | 1.1.2 |
| HTML工具 | 0.5.3 | HTML小插件 | 1.5.4 | httpuv | 1.6.5 |
| httr | 1.4.4 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-13 | isoband | 0.2.5 | 迭代器 | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.0 | KernSmooth | 2.23-20 |
| knitr | 1.40 | 标记 | 0.4.2 | later | 1.3.0 |
| lattice | 0.20-45 | 熔岩 | 1.6.10 | 生命周期 | 1.0.1 |
| listenv | 0.8.0 | lubridate | 1.8.0 | magrittr | 2.0.3 |
| markdown | 1.1 | MASS | 7.3-56 | 矩阵 | 1.4-1 |
| memoise | 2.0.1 | 方法 | 4.1.3 | mgcv | 1.8-40 |
| 默剧 | 0.12 | 迷你用户界面 | 0.1.1.1 | ModelMetrics | 1.2.2.2 |
| modelr | 0.1.9 | 蒙塞尔 | 0.5.0 | nlme | 3.1-157 |
| nnet | 7.3-17 | numDeriv | 2016年8月至1月1日 | openssl(开放SSL) | 2.0.2 |
| parallel | 4.1.3 | parallelly | 1.32.1 | 柱子 | 1.8.1 |
| pkgbuild (软件包构建工具) | 1.3.1 | pkgconfig | 2.0.3 | pkgdown | 2.0.6 |
| pkgload | 1.3.0 | 普洛格 | 0.2.0 | 普莱尔 | 1.8.7 |
| 赞美 | 1.0.0 | prettyunits | 1.1.1 | pROC | 1.18.0 |
| processx | 3.7.0 | prodlim | 2019.11.13 | profvis | 0.3.7 |
| 进度 | 1.2.2 | progressr | 0.11.0 | promises | 1.2.0.1 |
| 原型 (proto) | 1.0.0 | 代理 | 0.4-27 | ps | 1.7.1 |
| purrr | 0.3.4 | r2d3 | 0.2.6 | R6 | 2.5.1 |
| ragg | 1.2.2 | 随机森林 (randomForest) | 4.7-1.1 | rappdirs | 0.3.3 |
| rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 | Rcpp | 1.0.9 |
| RcppEigen | 0.3.3.9.2 | readr | 2.1.2 | readxl | 1.4.1 |
| 食谱 | 1.0.1 | rematch | 1.0.1 | rematch2 | 2.1.2 |
| remotes | 2.4.2 | reprex | 2.0.2 | reshape2 | 1.4.4 |
| rlang | 1.0.5 | rmarkdown | 2.16 | RODBC | 1.3-19 |
| roxygen2 | 7.2.1 | rpart | 4.1.16 | rprojroot | 2.0.3 |
| Rserve | 1.8-11 | RSQLite | 2.2.16 | rstudioapi | 0.14 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.2 |
| 磅秤 | 1.2.1 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| 形状 | 1.4.6 | shiny | 1.7.2 | sourcetools | 0.1.7 |
| sparklyr | 1.7.8 | SparkR | 3.3.0 | 空间 | 7.3-11 |
| splines | 4.1.3 | sqldf | 0.4-11 | SQUAREM | 2021年1月 |
| 统计数据 | 4.1.3 | 统计数据4 | 4.1.3 | stringi | 1.7.8 |
| stringr | 1.4.1 | 生存 | 3.4-0 | sys | 3.4 |
| systemfonts | 1.0.4 | tcltk | 4.1.3 | testthat | 3.1.4 |
| textshaping | 0.3.6 | tibble | 3.1.8 | tidyr | 1.2.0 |
| tidyselect | 1.1.2 | tidyverse | 1.3.2 | timeDate | 4021.104 |
| tinytex | 0.41 | 工具 | 4.1.3 | tzdb | 0.3.0 |
| URL检查器 | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.2 |
| utils | 4.1.3 | UUID(通用唯一识别码) | 1.1-0 | vctrs | 0.4.1 |
| viridisLite | 0.4.1 | vroom | 1.5.7 | 瓦尔多 | 0.4.0 |
| whisker | 0.4 | withr | 2.5.0 | xfun | 0.32 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.5 | zip | 2.2.0 |
已安装Java和 Scala 库(Scala 2.12 群集版本)
| 组标识 | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | Amazon Kinesis 客户端 | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
| com.amazonaws | AWS Java SDK CloudFront | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-云HSM | 1.12.189 |
| com.amazonaws | AWS Java SDK 云搜索 | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
| com.amazonaws | AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
| com.amazonaws | aws-java-sdk-config(AWS Java SDK 配置) | 1.12.189 |
| com.amazonaws | aws-java-sdk-core (AWS Java软件开发工具包核心) | 1.12.189 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
| com.amazonaws | AWS Java SDK Direct Connect(直连) | 1.12.189 |
| com.amazonaws | aws-java-sdk-directory | 1.12.189 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
| com.amazonaws | aws-java-sdk-efs | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) | 1.12.189 |
| com.amazonaws | aws-java-sdk-弹性负载均衡 | 1.12.189 |
| com.amazonaws | aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) | 1.12.189 |
| com.amazonaws | aws-java-sdk-emr | 1.12.189 |
| com.amazonaws | AWS Java SDK Glacier | 1.12.189 |
| com.amazonaws | aws-java-sdk-glue | 1.12.189 |
| com.amazonaws | aws-java-sdk-iam | 1.12.189 |
| com.amazonaws | AWS Java SDK 导入导出 (aws-java-sdk-importexport) | 1.12.189 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
| com.amazonaws | AWS Java 软件开发工具包 - KMS | 1.12.189 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
| com.amazonaws | aws-java-sdk-logs(AWS Java开发包日志) | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-机器学习 | 1.12.189 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
| com.amazonaws | aws-java-sdk-rds | 1.12.189 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
| com.amazonaws | aws-java-sdk-ses | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
| com.amazonaws | aws-java-sdk-sns | 1.12.189 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
| com.amazonaws | AWS Java SDK 存储网关 | 1.12.189 |
| com.amazonaws | aws-java-sdk-sts | 1.12.189 |
| com.amazonaws | AWS Java SDK支持 | 1.12.189 |
| com.amazonaws | AWS-Java-SDK-SWF-库 | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.189 |
| com.amazonaws | jmespath-java | 1.12.189 |
| com.chuusai | shapeless_2.12 | 2.3.3 |
| com.clearspring.analytics | 数据流 | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | Jackson注解 | 2.13.4 |
| com.fasterxml.jackson.core | jackson-core | 2.13.4 |
| com.fasterxml.jackson.core | jackson-databind | 2.13.4 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda(杰克逊数据类型-Joda) | 2.13.4 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
| com.github.ben-manes.caffeine | 咖啡因 | 2.3.4 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | 核心 | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | 原生系统-Java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.5.2-1 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.6 |
| com.google.crypto.tink | 丁克 | 1.6.1 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.0.204 |
| com.helger | 探查器 | 1.1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | 源代码_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 9.2.1.jre8 |
| com.ning | compress-lzf | 1.1 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec(公共编解码器) | commons-codec(公共编解码器) | 1.15 |
| commons-collections (通用集合库) | commons-collections (通用集合库) | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.3.3 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 2.2.1 |
| dev.ludovic.netlib | blas | 2.2.1 |
| dev.ludovic.netlib | lapack | 2.2.1 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | 空气压缩机 | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.5.1 |
| io.dropwizard.metrics | metrics-core | 4.1.1 |
| io.dropwizard.metrics | metrics-graphite | 4.1.1 |
| io.dropwizard.metrics | 指标-健康检查 | 4.1.1 |
| io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
| io.dropwizard.metrics | metrics-jmx | 4.1.1 |
| io.dropwizard.metrics | metrics-json | 4.1.1 |
| io.dropwizard.metrics | metrics-jvm | 4.1.1 |
| io.dropwizard.metrics | 指标-Servlets | 4.1.1 |
| io.netty | netty-all | 4.1.74.Final |
| io.netty | netty-buffer(Netty缓存) | 4.1.74.Final |
| io.netty | netty-codec | 4.1.74.Final |
| io.netty | netty-common | 4.1.74.Final |
| io.netty | netty-handler | 4.1.74.Final |
| io.netty | netty-resolver (Netty 解析器) | 4.1.74.Final |
| io.netty | netty-tcnative-classes | 2.0.48.Final |
| io.netty | netty-transport | 4.1.74.Final |
| io.netty | netty-transport-classes-epoll | 4.1.74.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
| io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
| io.netty | netty-transport-native-unix-common | 4.1.74.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | 激活 | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.3.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | 交易接口 (transaction-api) | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.10.13 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.2 |
| net.sf.jpam | 杰潘 | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.14 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.8 |
| org.antlr | stringtemplate (字符串模板) | 3.2.1 |
| org.apache.ant | 蚂蚁 | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 7.0.0 |
| org.apache.arrow | arrow-memory-core | 7.0.0 |
| org.apache.arrow | arrow-memory-netty | 7.0.0 |
| org.apache.arrow | 箭头向量 | 7.0.0 |
| org.apache.avro | avro | 1.11.0 |
| org.apache.avro | avro-ipc | 1.11.0 |
| org.apache.avro | avro-mapred | 1.11.0 |
| org.apache.commons | commons-collections4(通用集合库) | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.9 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.derby | 德比 | 10.14.2.0 |
| org.apache.hadoop | Hadoop客户端API | 3.3.4-databricks |
| org.apache.hadoop | Hadoop 客户端运行时 | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.7.2 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.13 |
| org.apache.httpcomponents | httpcore | 4.4.14 |
| org.apache.ivy | ivy | 2.5.0 |
| org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
| org.apache.logging.log4j | log4j-api | 2.18.0 |
| org.apache.logging.log4j | log4j-core | 2.18.0 |
| org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
| org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
| org.apache.orc | orc-core | 1.7.6 |
| org.apache.orc | orc-mapreduce | 1.7.6 |
| org.apache.orc | orc-shims | 1.7.6 |
| org.apache.parquet | parquet-column | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-common | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-encoding | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-format-structures | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-hadoop | 1.12.0-databricks-0007 |
| org.apache.parquet | parquet-jackson | 1.12.0-databricks-0007 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.20 |
| org.apache.yetus | audience-annotations | 0.5.0 |
| org.apache.zookeeper | 动物园管理员 | 3.6.2 |
| org.apache.zookeeper | zookeeper-jute | 3.6.2 |
| org.checkerframework | checker-qual | 3.5.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler(通用编译器) | 3.0.16 |
| org.codehaus.janino | 雅尼诺 | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-continuation | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty-HTTP | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-proxy | 9.4.46.v20220331 |
| org.eclipse.jetty | 码头安全 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-server(Jetty服务器) | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
| org.eclipse.jetty | Jetty 网页应用 | 9.4.46.v20220331 |
| org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket API | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket客户端 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | WebSocket服务器 | 9.4.46.v20220331 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-定位器 | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator (OSGi 资源定位器) | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.0.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | 注释 | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 1.27.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.3 |
| org.roaringbitmap | RoaringBitmap | 0.9.25 |
| org.roaringbitmap | shims | 0.9.25 |
| .rocksdb | rocksdbjni | 6.24.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.14 |
| org.scala-lang | scala-library_2.12 | 2.12.14 |
| org.scala-lang | scala-reflect_2.12 | 2.12.14 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | 测试界面 | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.0.8 |
| org.scalanlp | breeze-macros_2.12 | 1.2 |
| org.scalanlp | breeze_2.12 | 1.2 |
| org.scalatest | scalatest_2.12 | 3.0.8 |
| org.slf4j | jcl-over-slf4j | 1.7.36 |
| org.slf4j | jul-to-slf4j | 1.7.36 |
| org.slf4j | slf4j-api | 1.7.36 |
| org.spark-project.spark | 未使用 | 1.0.0 |
| org.threeten | threeten-extra | 1.5.0 |
| org.tukaani | xz | 1.8 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | macro-compat_2.12 | 1.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | WildFly-OpenSSL | 1.0.7.最终版 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.24 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.ion | ion-java | 1.0.2 |
| 斯塔克斯 | stax-api | 1.0.1 |