Databricks Runtime 14.2 (EoS)

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 14.2 的相关信息。

Databricks 于 2023 年 11 月发布了此版本。

新增功能和改进

CACHE SELECT 现在已被忽略

现在已忽略 SQL 命令 CACHE SELECT,以支持改进的缓存算法。 请参阅 使用 Azure Databricks 上的缓存来优化性能。

改进的缓存行为

Spark 调度程序中 DiskCache 的放置现在具有更快的分区分配速度、在群集自动缩放期间实现更好的均衡性,并使查询执行更加一致。

修复了通过 DML 命令对损坏文件的处理方式

DML 命令 DELETE、UPDATE 和 MERGE INTO 不再遵循读取选项 ignoreCorruptFiles 和 ignoreMissingFiles。 在表中遇到不可读的文件时,即使指定了这些选项,这些命令现在也会失败。

现在可以将 from_avro、to_avro、from_protobuf 和 to_protobuf Python 函数与共享群集中的架构注册表配合使用。

foreachBatch 和 StreamingListener 支持

现在可以在共享群集中将 foreachBatch() 和 StreamingListener API 与结构化流式处理配合使用。 请参阅使用 foreachBatch 写入任意的数据接收器和在 Azure Databricks 上监视结构化流式处理查询。

行级并发普遍提供,并在默认情况下处于打开状态

行级别并发通过在行级别检测更改来减少并发写入操作之间的冲突。 仅无分区的表上才支持行级并发,包括使用 liquid 聚类的表。 启用了删除向量的 Delta 表上会默认启用行级并发。 请参阅 行级并发。

增量共享:收件人可以对使用删除矢量的共享表执行批处理、CDF 和流式处理查询(公共预览版)

Delta Sharing 接收者现在可以对使用删除向量的共享表执行批处理、CDF 和流式查询。 在 Databricks Runtime 14.1 上,他们只能执行批处理查询。 请参阅将带有删除向量或列映射的表添加到共享中、读取启用了删除向量或列映射的表和读取启用了删除向量或列映射的表。

Unity Catalog 外部表的浅表克隆(公共预览版)

现在,可以将浅表克隆与 Unity Catalog 外部表一起使用。 请参阅 Unity Catalog 表的浅表克隆。

新的磁盘缓存分配算法

Spark 计划程序现在使用新的磁盘缓存算法。 该算法改进了节点间的磁盘利用率和分区分配,加快了初始和群集缩放事件后的分配速度。 粘滞缓存分配提升了各运行间的一致性,并减少了在重新均衡操作期间移动的数据。

from_avro 通过架构注册表连接器增加对架构演变的支持

现在可以设置管道,使其在检测到已演变的记录时重启。 以前,如果 from_avro 连接器发生了架构演变,新列会返回 null。 请参阅读取和写入 Avro 数据流。

更快的多线程统计信息收集

在小型集群上,当运行CONVERT TO DELTA或从Apache Iceberg及Parquet表中克隆时,统计信息收集的速度最多快10倍。 请参阅转换为 Delta Lake 和克隆 Parquet 和 Iceberg 表。

Delta 文件上 DeltaSource 中的下推筛选器

为了实现更佳的利用率,Delta 表流式处理查询上的分区筛选器现在会向下推送到 Delta,然后再进行速率限制。

在共享群集上支持 Scala 标量用户定义的函数(公共预览版)

现在可以在配置了共享访问模式的已启用 Unity Catalog 的群集上使用 Scala 用户定义的标量函数。 请参阅用户定义的标量函数 - Scala。

软件库升级

  • 升级Python库:
    • fastjsonschema 已从 2.18.0 升级到 2.19.0
    • filelock 从 3.12.3 到 3.12.4
    • googleapis-common-protos 从 1.60.0 到 1.61.0
  • 升级了 R 库:
  • 升级Java库:

Apache Spark

Databricks Runtime 14.2 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.1 (EoS)中包含的所有 Spark 修复和改进,以及对 Spark 进行了以下其他 bug 修复和改进:

  • [SPARK-45592] [DBRRM-624] 恢复“[SC-146977][SQL]在AQE 中使用 InMemoryTableScanExec 的正确性问题”
  • [SPARK-45524] [DBRRM-625] 恢复“[SC-146319][python][SQL] 初始支持...
  • [SPARK-45433] [ DBRRM-621] 恢复“[SC-145163][sql] 修复 CSV/JSON 架构推断...
  • [SPARK-45592] [SC-146977][sql]AQE 中使用 InMemoryTableScanExec 的正确性问题
  • [SPARK-45354] 恢复“[SC-143991][sql] 自下而上解析函数”
  • [SPARK-45680][仅测试][sasp-2347][CONNECT] 修复测试
  • [SPARK-45680] [CONNECT] 发布会话
  • [SPARK-43380] [ SC-146726][es-897115][SQL] 修复 Avro 读取速度变慢的问题
  • [SPARK-45649] [SC-146742][sql] 统一 OffsetWindowFunctionFrame 的准备框架
  • [SPARK-40820] [ SC-146727][python][SQL] 从 Json 创建结构类型
  • [SPARK-45620] [SC-146225][python] 修正与 Python UDTF 相关的面向用户的 API 以使用 camelCase
  • [SPARK-45727] [ SC-146978][ss] 删除水印传播模拟中未使用的地图
  • [SPARK-45723] [SC-146890][python][CONNECT] 目录方法避免 pandas 转换
  • [SPARK-45574] [SC-146106][sql]添加 :: 语法作为强制转换的简写
  • [SPARK-45670] [SC-146725][core][3.5] SparkSubmit 在 K8s 上部署时不支持--total-executor-cores
  • [SPARK-45661] [ SC-146594][sql][PYTHON] 在 StructType、MapType 和 ArrayType 中新增 toNullable
  • [SPARK-45524] [SC-146319][python][SQL] Python数据源读取 API 的初始支持
  • [SPARK-45542] [SC-145892][core] 替换为setSafeMode(HdfsConstants.SafeModeAction, boolean)setSafeMode(SafeModeAction, boolean)
  • [SPARK-45652] [ SC-146641][sql] SPJ:在动态筛选后处理空输入分区
  • [SPARK-45454] [ SC-144846][sql] 将表的默认所有者设置为current_user
  • [SPARK-45554] [SC-146875][python] 将灵活参数引入 assertSchemaEqual
  • [SPARK-45242] [ SC-143410][sql] 使用 DataFrame ID 以语义方式验证 CollectMetrics
  • [SPARK-45674] [ SC-146862][connect][PYTHON] 改进了 Spark Connect 上 JVM 相关属性的错误消息。
  • [SPARK-45646] [ SC-146276][sql] 删除 Hive 2.0 之前的硬编码时间变量
  • [SPARK-43380] [ SC-146726][es-897115][SQL] 修复 Avro 读取速度变慢的问题
  • [SPARK-45545] [SC-146484][core]在任何创建 SparkTransportConf 的地方传递 SSLOptions
  • [SPARK-45641] [ SC-146260][ui] 在 AllJobsPage 上显示应用程序开始时间
  • [SPARK-40154] [ SC-146491][python][Docs] 更正 Dataframe.cache docstring 中的存储级别
  • [SPARK-45626] [SC-146259][sql]将 _LEGACY_ERROR_TEMP_1055 转换为 REQUIRES_SINGLE_PART_NAMESPACE
  • [SPARK-45507] [SC-145900][sql] 对带有 COUNT 聚合的嵌套相关标量子查询的正确性修正
  • [SPARK-45619] [ SC-146226][connect][PYTHON] 将观察到的指标应用于观察对象
  • [SPARK-45588] [SC-145909][protobuf][CONNECT][minor]对于 StreamingForeachBatchHelper 的 Scaladoc 改进
  • [SPARK-45616] [SC-146120][core] 避免使用 ParVector,因为它不会传播 ThreadLocals 或 SparkSession
  • [SPARK-45604] [SC-146105][sql] 在 Parquet 矢量化读取器上添加对 INT64 -> DateTime 转换的 LogicalType 检查
  • [SPARK-44649] [SC-145891][sql] 运行时筛选器支持传递等效的创建端表达式
  • [SPARK-41674] [SC-128408][sql] 运行时筛选器应支持多级随机联接端作为筛选器创建端
  • [SPARK-45547] [ SC-146228][ml] 使用内置函数验证矢量
  • [SPARK-45558] [SC-145890][ss] 推出流式处理有状态运算符的元数据文件
  • [SPARK-45618] [SC-146252][core] Remove BaseErrorHandler
  • [SPARK-45638] [ SC-146251][sql][Avro] 改进小数转换的测试覆盖率
  • [SPARK-44837] [SC-146020][sql] 修改 ALTER TABLE ALTER PARTITION 列的错误信息
  • [SPARK-45561][SC-146264][sql] 为 MySQLDialect 添加 TINYINT 的正确转换
  • [SPARK-45632] [SC-146255][sql] 在启用 AQE 的情况下,表缓存应避免不必要的 ColumnarToRow 操作。
  • [SPARK-45569] [SC-145932][sql] 为错误_LEGACY_ERROR_TEMP_2152 指定名称
  • [SPARK-44784] [SC-141015][connect] 使 SBT 测试更为封闭。
  • [SPARK-45452] [SC-144836][sql] 改进 InMemoryFileIndex 为使用 FileSystem.listFiles API
  • [SPARK-44735] [SC-146186][sql] 当按行插入具有相同名称的列而这些列不匹配时添加警告消息
  • [SPARK-45351] [ SC-144791][core] 将默认值更改为 spark.shuffle.service.db.backend ROCKSDB
  • [SPARK-45553] [SC-145906][ps] 弃用 assertPandasOnSparkEqual
  • [SPARK-45613] [SC-146022][core]将 DeterministicLevel 公开为 DeveloperApi
  • [SPARK-45549] [SC-145895][core] 删除未使用的 numExistingExecutors 在 CoarseGrainedSchedulerBackend
  • [SPARK-45609] [SC-146030][connect]在 SparkThrowable proto 消息中包含 SqlState
  • [SPARK-45595] [SC-146037] 将 sqlstate 公开在错误消息中
  • [SPARK-45628] [SC-146123][ml] 改进 .mllib.linalg.SparseVector 的 vector_to_array
  • [SPARK-45009] [SC-145884][sql][跟进]为 AQE InSubquery 测试关闭联接条件中的反关联
  • [SPARK-45576] [ SC-145883][core] 在 ReloadingX509TrustManagerSuite 中删除不必要的调试日志
  • [SPARK-45485] [ SC-145719][connect] 用户代理改进:使用 SPARK_CONNECT_USER_AGENT env 变量并包括特定于环境的属性
  • [SPARK-45508] [SC-145513][core] 添加“–add-opens=java.base/jdk.internal.ref=ALL-UNNAMED”,使平台可以在 Java 9+ 访问 Cleaner 组件
  • [SPARK-45595] 恢复“[SC-146037] 在错误消息中公开 SQLSTATE”
  • [SPARK-45595] [SC-146037]在错误消息中公开 SQLSTATE
  • [SPARK-45112] 恢复“[SC-143259][sql] 使用 UnresolvedFunction...
  • [SPARK-45257] [SC-143411][core] 默认情况下启用spark.eventLog.compress
  • [SPARK-45586] [ SC-145899][sql] 减少具有大型表达式树的计划的编译器延迟
  • [SPARK-45517] [ SC-145691][connect][14.x] 展开更多异常构造函数以支持错误框架参数
  • [SPARK-45581] [SC-145896]强制使用 SQLSTATE。
  • [SPARK-45427] [ SC-145590][core] 将 RPC SSL 设置添加到 SSLOptions 和 SparkTransportConf
  • [SPARK-45261] [SC-143357][core] 修复 EventLogFileWriters 以将 none 作为编解码器处理
  • [SPARK-45582] [SC-145897][ss] 确保在输出模式流式处理聚合中调用提交后不使用存储实例
  • [SPARK-45562] [ SC-145720][sc-144650][SQL] XML: 将“rowTag”设为必需选项
  • [SPARK-45392] [SC-144362][core][SQL][ss] 将Class.newInstance()替换为Class.getDeclaredConstructor().newInstance()
  • [SPARK-45433] [ SC-145163][sql] 修复时间戳与指定 timestampFormat 不匹配时的 CSV/JSON 架构推理
  • [SPARK-45458] [ SC-145011][sql] 在 bitwiseExpressions 中将 IllegalArgumentException 转换为 SparkIllegalArgumentException
  • [SPARK-45564] [ SC-145735][sql] 使用“BloomFilterAggregate”表达式简化“DataFrameStatFunctions.bloomFilter”
  • [SPARK-45566] [SC-145777][ps] 支持 Spark 上 Pandas API 的类 Pandas 测试工具
  • [SPARK-45498] [SC-145509][core]跟进:忽略旧阶段的任务完成…
  • [SPARK-45483] [ SC-145152][connect] 更正 connect.functions 中的函数组
  • [SPARK-45577] [SC-145781][python]修正 UserDefinedPythonTableFunctionAnalyzeRunner 以从命名参数中传递折叠的值
  • [SPARK-45009] [SC-138223][follow up]为 AetherSQLQuerySuite 关闭联接条件中的反关联
  • [SPARK-45415] [SC-145344] 允许在 RocksDB statestore 中选择性禁用“fallocate”
  • [SPARK-45500] [ SC-145134][core][WEBUI] 显示 MasterPage 中异常完成的驱动程序数
  • [SPARK-44120] [SC-144349][python] 支持 Python 3.12
  • [SPARK-45439] [ SC-145589][sql][UI] 减少 LiveStageMetrics.accumIdsToMetricType 的内存使用量
  • [SPARK-45565] [SC-145717][ui]任务列表在阶段详细信息中不必要的 JSON.stringify 和 JSON.parse 循环
  • [SPARK-45567] [SC-145718][connect] 删除 org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run 中冗余的 if
  • [SPARK-45112] [SC-143259][sql]在 SQL 数据集函数中使用基于 UnresolvedFunction 的解析
  • [SPARK-45486] [SASP-2457][sc-145612][CONNECT]使 add_artifact 请求具有幂等性
  • [SPARK-44913] [SC-144326][sql] DS V2 支持向下推送具有 magic 方法的 V2 UDF
  • [SPARK-45538] [SC-145635][python][CONNECT]pyspark 连接存在 overwrite_partitions bug
  • [SPARK-45491] [SC-145622]添加缺少的 SQLSTATES 2/2
  • [SPARK-45009] [SC-145620][sc-138223][SQL] 在联接条件中去相关化谓词子查询
  • [SPARK-45377] [SC-144377][core] 处理 NettyLogger 中的 InputStream
  • [SPARK-45248] [SC-143759][core] 设置 Spark UI 服务器的超时
  • [SPARK-44594] [ SC-145611][ss] 删除 kafka 连接器中的冗余方法参数
  • [SPARK-45539] [SC-145621][ss] 添加断言和日志以指示追加模式下流式处理聚合查询需要水印定义
  • [SPARK-44262] [SC-145639][sql] 添加 dropTable 和 getInsertStatement 添加到 JdbcDialect
  • [SPARK-45516] [SC-145480][connect]在 SparkThrowable proto 消息中包含 QueryContext
  • [SPARK-45310] [SC-145127][core] 报告随机块状态应在停用迁移期间尊重随机服务
  • [SPARK-45521] [SC-145487][ml] 避免在 VectorAssembler 中重新计算 nnz
  • ** [SPARK-45418] [ SC-145485][sql][PYTHON][connect] 将 current_database() 的列别名更改为 current_schema()
  • [SPARK-45116] [ SC-145142][sql] 为 JdbcDialect 的 param 添加一些注释 createTable
  • [SPARK-45495] [SC-145529][core] 禁用动态分配时,支持 k8s 群集的阶段级任务资源配置文件
  • [SPARK-45487] [SC-145559]修正 SQLSTATE 和临时错误
  • [SPARK-45505] [SC-145550][python]重构 analyzeInPython 以使其可重用
  • [SPARK-45132] [ SC-145425][sql] 修复 IDENTIFIER 函数调用问题
  • [SPARK-45213] [SC-145020][sql] 为错误 _LEGACY_ERROR_TEMP_2151 分配名称
  • [SPARK-45416] [SC-145126][connect] Arrow 结果的健全性检查一致性
  • [SPARK-45163] [SC-143386][sql] 合并 UNSUPPORTED_VIEW_OPERATION 和 UNSUPPORTED_TABLE_OPERATION 并修复某些问题
  • [SPARK-45421] [SC-144814][sql]捕获涉及 InlineCTE 的 AnalysisException
  • [SPARK-43664] [SC-145404][connect][PS] 在 Spark Connect 上对具有 Pandas-on-Spark 对象的 ps.sql 引发异常。
  • [SPARK-45402] [SC-145371][sql][PYTHON] 为“eval”和“terminate”方法添加 UDTF API,以使用以前的“analyze”结果
  • [SPARK-36112] [SC-67885][SQL] 使用 DecorrelateInnerQuery 框架支持相关的 EXISTS 和 IN 子查询
  • [SPARK-45383] [SC-144929][sql] 修复使用非现有表按时间顺序查看时的错误消息
  • [SPARK-43254] [SC-143318][sql] 为错误_LEGACY_ERROR_TEMP_2018 指定一个名称
  • [SPARK-45204] [SC-145167][connect] 将可选的 ExecuteHolder 添加到 SparkConnectPlanner
  • [SPARK-45451] [SC-145144][sql] 使数据集缓存的默认存储级别可配置
  • [SPARK-45192] [SC-143194][ui] 修复 graphviz 边缘的过期 lineInterpolate 参数
  • [SPARK-45467] [SC-145146][core] 替换为Proxy.getProxyClass()Proxy.newProxyInstance().getClass
  • [SPARK-45397] [SC-145139][ml][CONNECT] 添加数组组装特征变换器
  • [SPARK-44855] [SC-145226][connect]将 ExecuteGrpcResponseSender 附加到 ExecuteResponseObserver 的小调整
  • [SPARK-45398] [SC-144796][sql] 在ESCAPE表达式的sql()中追加Like
  • [SPARK-45494] [ SC-145129][core][PYTHON] 引入 util 函数来读取/写入 PythonWorkerUtils 的字节数组
  • [SPARK-45464] [SC-145125][core] 修复 network-yarn 分发构建
  • [SPARK-45461] [ SC-144851][core][SQL][mllib] 引入了 StorageLevel 的映射器
  • [SPARK-45450] [SC-145009][python] 根据 PEP8 修正导入:pyspark.pandas 和 pyspark (core)
  • [SPARK-45475] [SC-145018][sql] 在 JdbcUtils 中采用 DataFrame.foreachPartition 而不是 RDD.foreachPartition
  • [SPARK-45271] [ SC-143778][sql] 将_LEGACY_ERROR_TEMP_1113合并到 TABLE_OPERATION 并删除 QueryCompilationErrors 中的一些未使用的方法
  • [SPARK-45449] [SC-145013][sql] JDBC 表的缓存无效问题
  • [SPARK-45473] [ SC-145017][sql] 修复了 RoundBase 的错误错误消息
  • [SPARK-43299] [ SC-145022][ss][CONNECT] 在 Scala 客户端中转换 StreamingQueryException
  • [SPARK-45474] [ SC-145014][core][WEBUI] 支持 MasterPage JSON API 中的顶级筛选
  • [SPARK-45205] [SC-145012][sql] CommandResultExec 以重写迭代器方法,从而避免触发多个作业。
  • [SPARK-45472] [ SC-145004][ss] RocksDB 状态存储不需要重新检查检查点路径是否存在
  • [SPARK-45470] [SC-145010][sql] 避免粘贴 hive orc 压缩类型的字符串值
  • [SPARK-45448] [SC-144829][python] 修复导入以符合 PEP8:pyspark.testing、pyspark.mllib、pyspark.resource 和 pyspark.streaming
  • [SPARK-45446] [SC-144828][python]根据 PEP8 修正导入:pyspark.errors 和 pyspark.ml
  • [SPARK-45239] [SC-144832][connect] 减小 spark.connect.jvmStacktrace.maxSize 默认值
  • [SPARK-45436] [SC-144831][python][CONNECT] DataFrame 方法检查同一会话
  • [SPARK-45413] [SC-144847][core] 添加关于准备删除 LevelDB 支持的警告
  • [SPARK-45462] [SC-144848][core][WEBUI] 在 ApplicationPage 中显示 Duration
  • [SPARK-44527] [ SC-144855][sql] 如果 ScalarSubquery 的 maxRows 为 0,请将 ScalarSubquery 替换为 null
  • [SPARK-45401] [SC-144854][python] 在 UDTF 接口中添加新方法cleanup
  • [SPARK-43704] [SC-144849][connect][PS] 支持 to_series() 的 MultiIndex
  • [SPARK-45424] [SC-144888][sql]修复仅当前缀匹配时 TimestampFormatter 返回可选的分析结果
  • [SPARK-45441] [ SC-144833][python] 为 PythonWorkerUtils 引入更多 util 函数
  • [SPARK-45412] [ SC-144803][python][CONNECT] 在DataFrame.__init__中验证计划和会话
  • [SPARK-45408] [ SC-144810][core] 将 RPC SSL 设置添加到 TransportConf
  • [SPARK-45432] [SC-144818][core] 删除弃用的 Hadoop-2 LocatedFileStatus 构造函数
  • [SPARK-45434] [SC-144819][ml][CONNECT]LogisticRegression 会检查训练标签
  • [SPARK-45420] [ SC-144808][sql][PYTHON][connect] 将 DataType.fromDDL 添加到 PySpark
  • [SPARK-45406] [SC-144793][python][CONNECT] 从 DataFrame 构造函数中删除schema
  • [SPARK-45404] [SC-144799][core] 支持 AWS_ENDPOINT_URL env 变量
  • [SPARK-43620] [SC-144792][connect][PS] 修复 Pandas API 依赖于不支持的功能的问题
  • [SPARK-45354] [ SC-143991][sql] 解析自下而上函数
  • [SPARK-45394] [SASP-1480][sc-144712][PYTHON][connect] 为工件 API 添加重试。 改进错误处理([SPARK-45093] 的跟进)。
  • [SPARK-45120] [ SC-142780][spark-45150][UI] 将 d3 从 v3 升级到 v7(v7.8.5),并在 UI 中应用 API 更改
  • [SPARK-44838] [SC-143983][sql] raise_error 改进
  • [SPARK-45312] [SC-143754][sql][UI] 在执行页上支持切换显示/隐藏计划图 svg
  • [SPARK-45378] [ SC-144448][core] 将 convertToNettyForSsl 添加到 ManagedBuffer
  • [SPARK-44762] [SC-144338][connect][CORE]SparkConnect.addJobTag 和 Connect SparkSession.addTag 的文档说明
  • [SPARK-45383] 正常处理未解析的 RelationTimeTravel
  • [SPARK-45347] [SC-144512][sql][CONNECT]在 FetchErrorDetailsResponse 中包含 SparkThrowable
  • [SPARK-45012] [SC-141512][sql]CheckAnalysis 应在 AnalysisException 中抛出内联计划
  • [SPARK-45359] [ SC-144336][python][CONNECT] DataFrame.{columns, colRegex, explain} 在计划无效时应抛出异常
  • [SPARK-45227] [ SC-144233][core] 修复了 CoarseGrainedExecutorBackend 的微妙线程安全问题
  • [SPARK-45266] [SC-144171][python]重构 ResolveFunctions 分析器规则,以延迟使用表参数时进行横向联接
  • [SPARK-45266] 恢复“[SC-144171][python] 重构 ResolveFunctions 分析器规则以在使用表参数时延迟执行横向联接”
  • [SPARK-45371] [ SC-144389][connect] 修复 Spark Connect Scala 客户端中的底纹问题
  • [SPARK-45057] [SC-144214][core]避免在 keepReadLock 为 false 时获取读取锁
  • [SPARK-45385] [SC-144357][sql] 弃用 spark.sql.parser.escapedStringLiterals
  • [SPARK-45340] [SC-143917][sql] 删除 SQL 配置 spark.sql.hive.verifyPartitionPath
  • [SPARK-45266] [SC-144171][python]重构 ResolveFunctions 分析器规则,以延迟使用表参数时进行横向联接
  • [SPARK-45362] [SC-144198][python] 在 Python UDTF“eval”方法使用之前排除 PARTITION BY 表达式
  • [SPARK-45346] [SC-143925][sql] 在合并架构时,Parquet 架构推理应尊重区分大小写的标志
  • [SPARK-45341] [SC-143933][core] 更正 KVStore.java 注释中的标题级别,以确保 sbt doc 能在 Java 17 上成功运行。
  • [SPARK-45334] [ SC-143914][sql] 删除 parquetSchemaConverter 中的误导性注释
  • [SPARK-45337] [SC-143932][core] 重构 AbstractCommandBuilder#getScalaVersion 以删除对 Scala 2.12 的检查
  • [SPARK-45329] [SC-143918][python][CONNECT] DataFrame 方法跳过 pandas 转换
  • [SPARK-43662] [SC-143923][ps][CONNECT]支持 Spark Connect 中的 merge_asof
  • [SPARK-44126] [SC-143751][core] 当目标执行程序停用时,随机迁移失败计数不应增加
  • [SPARK-44550] [SC-119768][sql] 在 ANSI 下启用 null IN (empty list) 的正确性修复
  • [SPARK-45316] [SC-143783][core][SQL] 向ignoreCorruptFiles和/添加新参数ignoreMissingFilesHadoopRDDNewHadoopRDD
  • [SPARK-45093] [SC-143414][connect][PYTHON] addArtifacts查询的错误报告
  • [SPARK-44756] [SC-143787][core]当 RetryingBlockTransferor 无法启动重试时,执行程序会挂起
  • [SPARK-45333] [ SC-143768][core] 修复了与 spark.eventLog.buffer.kb 相关的一个单元错误
  • [SPARK-45317] [SC-143750][sql][CONNECT] 处理异常堆栈跟踪中的空文件名问题
  • [SPARK-45191] [SC-143407][sql]InMemoryTableScanExec simpleStringWithNodeId 添加列信息
  • [SPARK-45235] [SC-143314][connect][PYTHON] 通过 sql() 支持映射和数组参数
  • [SPARK-45138] [SC-143309][ss] 定义一个新的错误类,并在到 DFS 的检查点状态为失败时应用它
  • [SPARK-45297] [SC-143644][sql] 移除在 SPARK-31827 中添加的 dateformatter 的变通方法
  • [SPARK-44345] [SC-143593][core] 如果启用了随机迁移,则将 unknown shuffle map output 日志级别降低到 WARN
  • [SPARK-44463] [SC-143251][ss][CONNECT] 改进 Connect steaming Python 工作器的错误处理
  • [SPARK-45207] [SC-143603][sql][CONNECT] 为 Scala 客户端实现错误扩充
  • [SPARK-45240] [SC-143602][sql][CONNECT] 为 Python 客户端实现错误扩充
  • [SPARK-45216] [SC-143288][sql] 修复非确定性种子数据集 API
  • [SPARK-45251] [SC-143419][connect] 为 FetchErrorDetails 添加client_type字段
  • [SPARK-45137] [SC-143001][connect] 支持参数化的 sql() 中的映射/数组参数
  • [SPARK-45224] [ SC-143257][python] 添加使用 map 和数组作为参数的示例 sql()
  • [SPARK-44622] [SC-143205][sql][CONNECT]实现 FetchErrorDetails RPC
  • [SPARK-45178] [SC-136089] 对于具有不受支持的源的 Trigger.AvailableNow,回退以执行单个批处理而不使用包装器
  • [SPARK-44823] [14.x][sc-142979][PYTHON] 将 black 更新至 23.9.1 并修复错误检查
  • [SPARK-45078] [SC-142954][sql] 修复 array_insert ImplicitCastInputTypes 无效问题
  • [SPARK-44579] [SC-138428][sql] 支持在 SQLExecution 中在取消时中断
  • [SPARK-45252] [SC-143371][core] 转义注释中的大于/小于号以使 sbt doc 成功执行
  • [SPARK-45189] [SC-142973][sql]从 TableIdentifier 创建 UnresolvedRelation 时应包括目录字段
  • [SPARK-45229] [ SC-143254][core][UI] 显示 MasterPage 中等待提交状态的驱动程序数
  • [SPARK-43453] 恢复“[SC-143135][ps] 当 axis=1 适用于 concat 时,忽略 MultiIndex 的 names”

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级(下载 ODBC,下载 JDBC)。

请参阅 Databricks Runtime 14.2 维护更新。

系统环境

  • 操作系统:Ubuntu 22.04.3 LTS
  • Java:Zulu 8.72.0.17-CA-linux64
  • Scala:2.12.15
  • Python:3.10.12
  • R:4.3.1
  • Delta Lake:3.0.0

已安装Python库

库 版本 库 版本 库 版本
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 attrs 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 黑色 22.6.0 漂白剂 4.1.0
转向灯 1.4 boto3 1.24.28 botocore 1.27.96
certifi 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 click 8.0.4 通信 0.1.2
contourpy 1.0.5 加密 39.0.1 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbu-python 1.2.18
debugpy 1.6.7 修饰器 5.1.1 defusedxml 0.7.1
distlib 0.3.7 将文档字符串转换为Markdown 0.11 入口点 0.4
执行 0.8.3 facets-overview 1.1.1 fastjsonschema 2.19.0
文件锁 3.12.4 fonttools 4.25.0 googleapis-common-protos 1.61.0
grpcio 1.48.2 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.4 importlib-metadata 4.6.4 ipykernel 6.25.0
ipython 8.14.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 jeepney 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.17.3
jupyter-client 7.3.4 Jupyter 服务器 1.23.4 jupyter_core 5.2.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keyring 23.5.0
kiwisolver 1.4.4 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lxml 4.9.1 MarkupSafe 2.1.1
matplotlib 3.7.0 matplotlib-inline 0.1.6 mccabe 0.7.0
mistune 0.8.4 more-itertools 8.10.0 mypy-extensions 0.4.3
nbclassic 0.5.2 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 nodeenv 1.8.0
笔记本 6.5.2 notebook_shim 0.2.2 numpy 1.23.5
oauthlib 3.2.0 包装 22.0 pandas 1.5.3
pandocfilters 1.5.0 parso 0.8.3 pathspec 0.10.3
替罪羊 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 22.3.1 platformdirs 2.5.2
plotly 5.9.0 pluggy 1.0.0 prometheus-client 0.14.1
prompt-toolkit 3.0.36 protobuf 4.24.0 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 8.0.0 pyarrow-hotfix 0.4 pycparser 2.21
pydantic 1.10.6 pyflakes 3.1.0 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 python-lsp-server 1.8.0
pytoolconfig 1.2.5 pytz 2022.7 pyzmq 23.2.0
请求 2.28.1 绳子 1.7.0 s3transfer 0.6.2
scikit-learn 1.1.1 scipy(科学计算工具库) 1.10.0 seaborn 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 setuptools 65.6.3
6 1.16.0 sniffio 1.2.0 soupsieve 2.3.2.post1
ssh-import-id(用于根据提供的标识符导入SSH密钥的命令行工具) 5.11 栈数据 (stack-data) 0.2.0 statsmodels 0.13.5
韧性 8.1.0 terminado 0.17.1 threadpoolctl 2.2.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.7.1 typing_extensions 4.4.0
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.14
virtualenv 20.16.7 wadllib 1.3.6 wcwidth 0.2.5
webencodings 0.5.1 websocket-client 0.58.0 whatthepatch 1.0.2
wheel 0.38.4 widgetsnbextension 3.6.1 yapf 0.33.0
zipp 1.0.0

已安装的 R 库

R 库是从 2023-02-10 的 Posit 包管理器 CRAN 快照中安装的。

库 版本 库 版本 库 版本
箭头 12.0.1 askpass 1.1 assertthat 0.2.1
backports 1.4.1 基础映像 4.3.1 base64enc 0.1-3
bit 4.0.5 bit64 4.0.5 blob 1.2.4
启动 1.3-28 brew 1.0-8 brio 1.1.3
扫帚 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 caret 6.0-94 cellranger 1.1.0
chron 2.3-61 类 7.3-22 命令行界面 (CLI) 3.6.1
clipr 0.8.0 时钟 0.7.0 群集 2.1.4
codetools 0.2-19 颜色空间 2.1-0 commonmark 1.9.0
编译器 4.3.1 配置 0.3.1 矛盾 1.2.0
cpp11 0.4.4 蜡笔 1.5.2 凭据 1.3.2
curl 5.0.1 data.table 1.14.8 数据集 4.3.1
DBI 1.1.3 dbplyr 2.3.3 desc 1.4.2
devtools 2.4.5 示意图 1.6.5 diffobj 0.3.5
摘要 0.6.33 downlit 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 省略号 0.3.2
评估 0.21 凡思 1.0.4 farver 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 foreign 0.8-82 锻造 0.2.0
fs 1.6.2 未来 1.33.0 future.apply 1.11.0
漱口 1.5.1 泛型 0.1.3 gert 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 粘合剂 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
图形 4.3.1 grDevices 4.3.1 网格 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
hardhat 1.3.0 避难所 2.5.3 highr 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 ini 0.3.1 ipred 0.9-14
isoband 0.2.7 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
标记 0.4.2 稍后 1.3.1 lattice 0.21-8
熔岩 1.7.2.1 生命周期 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
MASS 7.3-60 Matrix 1.5-4.1 记忆化 2.0.1
方法 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 并行 4.3.1
parallelly 1.36.0 支柱 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 表扬 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023年03月31日 profvis 0.3.8 进度 1.2.2
progressr 0.13.0 promises 1.2.0.1 原型 1.0.0
代理 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 食谱 1.0.6
重赛 1.0.1 rematch2 2.1.2 remotes 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 scales 1.2.1
selectr 0.4-2 sessioninfo 1.2.2 形状 1.4.6
闪亮的 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
空间 7.3-15 splines 4.3.1 sqldf 0.4-11
SQUAREM 2021.1 统计 4.3.1 stats4 4.3.1
stringi 1.7.12 stringr 1.5.0 生存 3.5-5
sys 3.4.2 systemfonts 1.0.4 tcltk 4.3.1
testthat 3.1.10 文本排版 0.3.6 tibble 3.2.1
tidyr 1.3.0 tidyselect 1.2.0 tidyverse 2.0.0
时间变更 0.2.0 时间日期 4022.108 tinytex 0.45
工具 4.3.1 tzdb 0.4.0 urlchecker 1.0.1
usethis 2.2.2 utf8 1.2.3 utils 4.3.1
uuid(通用唯一识别码) 1.1-0 vctrs 0.6.3 viridisLite 0.4.2
vroom 1.6.3 waldo 0.5.1 whisker 0.4.1
withr 2.5.0 xfun 0.39 xml2 1.3.5
xopen 1.0.0 xtable 1.8-4 yaml 2.3.7
zip (压缩文件) 2.3.0

已安装Java和 Scala 库(Scala 2.12 群集版本)

组标识 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client (亚马逊 Kinesis 客户端) 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs (AWS Java 软件开发工具包 - EFS) 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS-Java-SDK支持 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.7.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 探查器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk(Azure 数据湖存储 SDK) 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack (线性代数程序库) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.25
io.delta delta-sharing-client_2.12 1.0.2
io.dropwizard.metrics 指标注解 4.2.19
io.dropwizard.metrics 核心指标 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty Netty 编解码器 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api(交易应用程序接口) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk(雪花数据导入软件开发工具包) 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant 蚂蚁 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow arrow-format 12.0.1
org.apache.arrow arrow-memory-core 12.0.1
org.apache.arrow arrow-memory-netty 12.0.1
org.apache.arrow 箭头向量 12.0.1
org.apache.avro avro 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.9.1-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.1-shaded-protobuf
org.apache.orc orc-shims 1.9.1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 观众注释 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket WebSocket 服务器 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 垫片 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试接口 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 与ScalaTest兼容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1