Databricks Runtime 13.1 (EoS)

注释

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.1 的相关信息。

Databricks 于 2023 年 5 月发布此版本。

新功能和改进

对 JDK 17(公开预览版)的群集支持

Databricks 现在为 Java 开发工具包 (JDK) 17 提供群集支持。 请参阅 Databricks SDK for Java。

在流式处理表中添加、更改或删除数据

现在,您可以使用 DML 语句来修改由 Lakeflow 中的 Spark 声明式管道发布到 Unity Catalog 的流式表。 请参阅在流式处理表中添加、更改或删除数据和在目标流式处理表中添加、更改或删除数据。 还可以使用 DML 语句修改在 Databricks SQL 中创建的流式处理表。

使用 SQL 读取 Kafka

现在可以使用 read_kafka SQL 函数读取 Kafka 数据。 使用 SQL 进行流处理仅在 DLT 或 Databricks SQL 中的流式表中受支持。 请参阅 read_kafka 表值函数。

新的 SQL 内置函数

添加了以下函数:

Unity 目录对群集范围内的 Python 库的支持

Unity Catalog 对库的使用有一些限制。 在 Databricks Runtime 13.1 及更高版本中,支持集群范围的 Python 库,包括作为工作区文件上传的 Python wheel 文件。 不支持使用 DBFS 文件路径引用的库,无论是在 DBFS 根目录中,还是在装载到 DBFS 的外部位置。 不支持非Python库。 请参阅计算范围的库。

在 Databricks Runtime 13.0 及更低版本中,在启用了 Unity Catalog 的工作区中,使用标准访问模式(以前称为共享访问模式)的群集不支持群集范围库。

扩展了 Unity Catalog 中针对优化写入的默认启用配置

针对 Unity Catalog 中注册的 Delta 表的默认优化写入支持已经扩展,现包含用于已分区表的 CTAS 语句和 INSERT 操作。 此行为与 SQL 仓库的默认设置保持一致。 请参阅 优化写入。

结构化流式处理工作负载中对有状态运算符的高级支持

现在可以将多个有状态运算符链接在一起,这意味着可以将操作的输出(如开窗聚合)馈送到另一个有状态操作(如联接)。 请参阅什么是有状态流式处理?。

Unity Catalog 的 Delta 克隆功能目前处于公共预览阶段

现在可以使用浅表克隆根据现有的 Unity Catalog 托管表创建新的 Unity Catalog 托管表。 请参阅 Unity Catalog 表的浅表克隆。

对结构化流式处理的 Pub/Sub 支持

现在可以使用内置连接器通过结构化流式处理来订阅 Google Pub/Sub。 请参阅订阅 Google Pub/Sub。

在结构化流处理中删除存在于水印中的重复项

现在可以将 dropDuplicatesWithinWatermark 与指定的水印阈值结合使用,以在结构化流式处理中删除重复记录。 请参阅删除水印内的重复项。

对从包含截断分区列的 Apache Iceberg 表进行 Delta 转换的扩展支持

现在可以将 CLONE 和 CONVERT TO DELTA 用于在 int、long 和 string 类型的截断列上定义了分区的 Apache Iceberg 表。 decimal 类型的截断列不受支持。

在 Delta Lake 中使用列映射流式传输架构更改

现在可提供一个架构跟踪位置,以便在启用了列映射的 Delta 表中启用流式处理。 请参阅 列映射和流式处理。

删除开头版本

START VERSION 已被弃用,取而代之的是 ALTER SHARE。

可用于Python的新 H3 表达式

h3_coverash3 和 h3_coverash3string 表达式可用于Python。

故障修复

Parquet failOnUnknownFields 不再以无提示方式删除类型不匹配的数据

如果仅使用 failOnUnknownFields 选项读取 Parquet 文件,或在 failOnNewColumns 架构演化模式下使用自动加载程序来这样做,则具有不同数据类型的列现在会失败,会建议用户使用 rescuedDataColumn。 如果提供了其中某种数据类型,则自动加载程序现在可以正确读取,而不再补救 Integer、Short、Byte 类型。 Parquet 文件建议使用其他两种类型之一。

破坏性变更

将 sqlite-jdbc 版本升级到 3.42.0.0,以解决 CVE-2023-32697 问题

将 sqlite-jdbc 版本从 3.8.11.2 升级到 3.42.0.0。 版本为 3.42.0.0 的 API 与 3.8.11.2 不完全兼容。 如果在代码中使用 sqlite-jdbc,请检查 sqlite-jdbc 兼容性报告以了解详细信息。 如果迁移到 13.1 并使用 sqlite,请在版本 3.42.0.0 中确认方法并返回类型。

图书馆升级

  • 升级Python库:
    • facets-overview 已从 1.0.2 升级至 1.0.3
    • filelock 从 3.10.7 升级至 3.12.0
    • pyarrow 已从 7.0.0 升级为 8.0.0
    • tenacity 已从 8.0.1 升级到 8.1.0
  • 升级后的 R 库:
  • 升级Java库:
    • com.github.ben-manes.caffeine.caffeine 版本已从 2.3.4 升级到 2.9.3
    • io.delta.delta-sharing-spark_2.12 已从 0.6.8 升级到 0.6.4
    • net.snowflake.snowflake-jdbc 已从 3.13.29 升级到 3.13.22
    • org.checkerframework.checker-qual 已从 3.5.0 升级到 3.19.0
    • org.scalactic.scalactic_2.12 已从 3.0.8 升级到 3.2.15
    • org.scalatest.scalatest_2.12 已从 3.0.8 升级到 3.2.15
    • org.xerial.sqlite-jdbc 已从 3.8.11.2 升级到 3.42.0.0

Apache Spark

Databricks Runtime 13.1 包含 Apache Spark 3.4.0。 此版本包括 Databricks Runtime 13.0 (EoS) 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他缺陷修复和改进:

  • [SPARK-42719] [DBRRM-199][sc-131578] 还原“[SC-125225] `MapOutputTracker#getMap...
  • [SPARK-39696] [DBRRM-166][sc-130056][CORE] 还原 [SC-127830]/
  • [SPARK-43331] [SC-130064][connect] 添加 Spark Connect SparkSession.interruptAll
  • [SPARK-43332] [SC-130051][connect][PYTHON] 使扩展 ChannelBuilder 以用于 SparkConnectClient 成为可能
  • [SPARK-43323] [SC-129966][sql][PYTHON] 修复启用 Arrow 时 DataFrame.toPandas 以正确处理异常
  • [SPARK-42940] [SC-129896][ss][CONNECT] 改进流式处理查询的会话管理
  • [SPARK-43032] [SC-125756] [CONNECT][ss] 添加流式处理查询管理器
  • [SPARK-16484] [SC-129975][sql] 添加对 Datasketches HllSketch 的支持
  • [SPARK-43260] [SC-129281][python] 将 Spark SQL pandas arrow 类型错误迁移到错误类。
  • [SPARK-41766] [SC-129964][core] 处理在执行程序注册之前发送的停用请求
  • [SPARK-43307] [SC-129971][python] 将 PandasUDF 的值错误重分类为错误类
  • [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() 包括堆栈跟踪
  • [SPARK-43311] [SC-129905][ss] 添加 RocksDB 状态存储提供程序内存管理增强功能
  • [SPARK-43237] [SC-129898][core] 处理事件日志中的空异常消息
  • [SPARK-43320] [ SC-129899][sql][HIVE] 直接调用 Hive 2.3.9 API
  • [SPARK-43270] [SC-129897][python] 在 __dir__() 中实现 pyspark.sql.dataframe.DataFrame 以包含列
  • [SPARK-43183] 还原“[SC-128938][ss] 引入一个新回调…”
  • [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
  • [SPARK-43257] [ SC-129675][sql] 将错误类_LEGACY_ERROR_TEMP_2022替换为内部错误
  • [SPARK-43198] [SC-129470][connect] 修复“无法初始化类 ammonite…” 使用筛选器时出错
  • [SPARK-43165] [ SC-129777][sql] 将 canWrite 移动到 DataTypeUtils
  • [SPARK-43298] [SC-129729][python][ML] 标量输入的 predict_batch_udf 在批大小为 1 时失败
  • [SPARK-43298] [SC-129700]还原“[PYTHON][ml] 标量输入的 predict_batch_udf 在批大小为 1 时失败”
  • [SPARK-43052] [SC-129663][core] 处理事件日志中文件名称为空的堆栈跟踪
  • [SPARK-43183] [SC-128938][ss] 向 StreamingQueryListener 引入一个新回调“onQueryIdle”
  • [SPARK-43209] [SC-129190][connect][PYTHON] 将表达式错误迁移到错误类
  • [SPARK-42151] [SC-128754][sql] 将分配与表属性对齐UPDATE
  • [SPARK-43134] [SC-129468] [CONNECT] [SS] JVM 客户端 StreamingQuery exception() API
  • [SPARK-43298] [SC-129699][python][ML] 当批量大小为 1 时,predict_batch_udf 标量输入失败。
  • [SPARK-43248] [SC-129660][sql] 在并行收集分区统计信息时不必要的 Path 序列化/反序列化
  • [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] 引入 PySparkNotImplementedError
  • [SPARK-43146] [SC-128804][connect][PYTHON] 为 repr 和 repr_html 实现急切求值
  • [SPARK-42953] [SC-129469][connect][Followup] 修复 Scala 客户端 UDF 测试的 maven 测试生成
  • [SPARK-43144] [SC-129280] Scala 客户端 DataStreamReader table() API
  • [SPARK-43136] [ SC-129358][connect] 添加 groupByKey + mapGroup + coGroup 函数
  • [SPARK-43156] [SC-129672][sc-128532][SQL] 修复相关标量子查询中的 COUNT(*) is null bug
  • [SPARK-43046] [SC-129110] [SS] [Connect] 实现了 Python API dropDuplicatesWithinWatermark for Spark Connect
  • [SPARK-43199] [SC-129467][sql] 使 InlineCTE 具有幂等性
  • [SPARK-43293] [SC-129657][sql] __qualified_access_only 应在普通列中忽略
  • [SPARK-43276] [SC-129461][connect][PYTHON] 将 Spark Connect 窗口错误迁移到错误类
  • [SPARK-43174] [SC-129109][sql] 修复 SparkSQLCLIDriver 补全器
  • [SPARK-43084] [SC-128654] [SS] 添加对 Spark Connect 的 applyInPandasWithState 支持
  • [SPARK-43119] [SC-129040][sql] 支持动态获取 SQL 关键字通过 JDBC API 和 TVF
  • [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect 中使用 Apache Arrow 优化的 Python 自定义函数 (UDF)
  • [SPARK-43085] [SC-128432][sql] 支持多部分表名的列 DEFAULT 赋值
  • [SPARK-43226] [LC-671] 为文件常量元数据定义提取程序
  • [SPARK-43210] [ SC-129189][connect][PYTHON] 简介 PySparkAssertionError
  • [SPARK-43214] [SC-129199][sql] 发布 LocalTableScanExec/CommandResultExec 的驱动程序端指标
  • [SPARK-43285] [SC-129347] 修复了 ReplE2ESuite 在 JDK 17 中一直失败的问题
  • [SPARK-43268] [SC-129249][sql] 在根据消息构造异常时使用适当的错误类
  • [SPARK-43142] [SC-129299] 修复具有特殊字符的属性上的 DSL 表达式
  • [SPARK-43129] [SC-128896] 用于流式处理 Spark Connect 的 Scala 核心 API
  • [SPARK-43233] [SC-129250] [SS] 为 Kafka 批量读取功能添加日志记录,以记录主题分区、偏移范围和任务 ID
  • [SPARK-43249] [ SC-129195][connect] 修复 SQL 命令缺少的统计信息
  • [SPARK-42945] [SC-129188][connect] 在 Spark Connect 中支持 PYSPARK_JVM_STACKTRACE_ENABLED
  • [SPARK-43178] [ SC-129197][connect][PYTHON] 将 UDF 错误迁移到 PySpark 错误框架
  • [SPARK-43123] [SC-128494][sql] 内部字段元数据不应泄漏到目录
  • [SPARK-43217] [SC-129205] 在 findNestedField 中正确地对嵌套的映射和数组进行递归处理
  • [SPARK-43243] [SC-129294][python][CONNECT] 为 Python 中的 printSchema 添加级别参数
  • [SPARK-43230] [SC-129191][connect] 简化 DataFrameNaFunctions.fillna
  • [SPARK-43088] [SC-128403][sql] 在 CTAS/RTAS 中遵守 RequiresDistributionAndOrdering
  • [SPARK-43234] [SC-129192][connect][PYTHON] 将 ValueError 从 Conect DataFrame 迁移到错误类
  • [SPARK-43212] [SC-129187][ss][PYTHON] 将结构化流错误迁移到错误类
  • [SPARK-43239] [ SC-129186][ps] 从信息中删除 null_counts ()
  • [SPARK-43190] [ SC-128930][sql] ListQuery.childOutput 应与子输出保持一致
  • [SPARK-43191] [SC-128924][core] 用直接调用替换 Hadoop CallerContext 的反射
  • [SPARK-43193] [SC-129042][ss] 删除 HADOOP-12074 的解决方法
  • [SPARK-42657] [ SC-128621][connect] 支持查找客户端 REPL 类文件并将其作为工件传输到服务器
  • [SPARK-43098] [SC-77059][sql] 修复标量子查询具有 group by 子句时的正确性 COUNT 错误
  • [SPARK-43213] [SC-129062][python] 将 DataFrame.offset 添加到普通 PySpark
  • [SPARK-42982] [SC-128400][connect][PYTHON] 修复 createDataFrame 以遵守给定的架构 ddl
  • [SPARK-43124] [SC-129011][sql] Dataset.show 在本地投影 CommandResults
  • [SPARK-42998] [SC-127422][connect][PYTHON] 修复带有 null 结构体的 DataFrame.collect
  • [SPARK-41498] [SC-125343]还原“通过 Union 传播元数据”
  • [SPARK-42960] [SC-129010] [CONNECT] [SS] 在 Python 中添加用于流式查询的 await_termination() 和 exception() API
  • [SPARK-42552] [SC-128824][sql] 更正 Antlr 解析器的两阶段解析策略
  • [SPARK-43207] [ SC-128937][connect] 添加帮助程序函数以从文本表达式中提取值
  • [SPARK-43186] [SC-128841][sql][HIVE] 删除 FileSinkDesc 的解决方法
  • [SPARK-43107] [SC-128533][sql] 在应用于广播联接流侧的联接中合并存储桶
  • [SPARK-43195] [SC-128922][core] 删除 HadoopFSUtils 中不必要的可序列化包装器
  • [SPARK-43137] [ SC-128828][sql] 如果位置可折叠且正,则改进 ArrayInsert。
  • [SPARK-37829] [SC-128827][sql] Dataframe.joinWith 外联接应为不匹配的行返回 null 值
  • [SPARK-43042] [SC-128602] [SS] [Connect] 为 DataStreamReader 添加 table() API 支持
  • [SPARK-43153] [SC-128753][connect] 当 dataframe 为本地时跳过 Spark 执行
  • [SPARK-43064] [ SC-128496][sql] Spark SQL CLI SQL 选项卡应只显示一次语句一次
  • [SPARK-43126] [ SC-128447][sql] 将两个 Hive UDF 表达式标记为有状态
  • [SPARK-43111] [ SC-128750][ps][CONNECT][python] 将嵌套 if 语句合并为单个 if 语句
  • [SPARK-43113] [ SC-128749][sql] 在为绑定条件生成代码时评估流端变量
  • [SPARK-42895] [ SC-127258][connect] 改进已停止的 Spark 会话的错误消息
  • [SPARK-42884] [SC-126662][connect] 添加 Ammonite REPL 集成
  • [SPARK-43168] [ SC-128674][sql] 从 Datatype 类中删除 get PhysicalDataType 方法
  • [SPARK-43121] [ SC-128455][sql] 在“HiveInspectors”中使用 BytesWritable.copyBytes 而不是手动复制
  • [SPARK-42916] [SC-128389][sql] JDBCTableCatalog 在读取侧保留 Char/Varchar 元数据
  • [SPARK-43050] [ SC-128550][sql] 通过替换分组函数修复构造聚合表达式
  • [SPARK-43095] [SC-128549][sql] 避免 Once 策略的幂等性在批处理中被破坏:Infer Filters
  • [SPARK-43130] [SC-128597][sql] 将 InternalType 移动到 PhysicalDataType
  • [SPARK-43105] [ SC-128456][connect] 在 proto 消息中缩写字节和字符串
  • [SPARK-43099] [ SC-128596][sql] 在注册 udf 到 FunctionRegistry 时使用 getName 而不是 getCanonicalName 获取生成器类名称
  • [SPARK-42994] [ SC-128586][ml][CONNECT] PyTorch 分发服务器支持本地模式
  • [SPARK-42859] 还原“[SC-127935][connect][PS] 对 Spark Connect 上的 pandas API 的基本支持”
  • [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin 在使用 AQE 时无效
  • [SPARK-43125] [SC-128477][connect] 修复 Connect 服务器无法处理消息为空的异常
  • [SPARK-43147] [SC-128594] 修复用于本地检查的 flake8 lint
  • [SPARK-43031] [SC-128360] [SS] [Connect] 启用流式处理的单元测试和文档测试
  • [SPARK-43039] [LC-67] 支持文件源 _metadata 列中的自定义字段。
  • [SPARK-43120] [SC-128407][ss] 添加对跟踪 RocksDB 状态存储的固定块内存使用情况的支持
  • [SPARK-43110] [SC-128381][sql] 将 asIntegral 移动到 PhysicalDataType
  • [SPARK-43118] [SC-128398][ss] 删除 KafkaMicroBatchStream 中 UninterruptibleThread 的不必要断言
  • [SPARK-43055] [SC-128331][connect][PYTHON] 支持嵌套字段名称的重复使用
  • [SPARK-42437] [ SC-128339][python][CONNECT] PySpark catalog.cacheTable 将允许指定存储级别
  • [SPARK-42985] [ SC-128332][connect][PYTHON] 修复 createDataFrame 以尊重 SQL 配置
  • [SPARK-39696] [SC-127830][core] 修复访问 TaskMetrics.externalAccums 时的数据争用
  • [SPARK-43103] [SC-128335][sql] 将 Integral 移动到 PhysicalDataType
  • [SPARK-42741] [SC-125547][sql] 当文本为 null 时,不要在二进制比较中解包强制转换
  • [SPARK-43057] [SC-127948][connect][PYTHON] 将 Spark Connect 列错误迁移到错误类
  • [SPARK-42859] [SC-127935] [connect] [PS] 对 Spark Connect 上的 pandas API 的基本支持
  • [SPARK-43013] [ SC-127773][python] 将ValueError 从数据帧中迁移到PySparkValueError.
  • [SPARK-43089] [SC-128051][connect] 在 UI 中编辑调试字符串
  • [SPARK-43028] [SC-128070][sql] 添加错误类 SQL_CONF_NOT_FOUND
  • [SPARK-42999] [SC-127842][connect] Dataset#foreach、foreachPartition
  • [SPARK-43066] [SC-127937][sql] 在 JavaDatasetSuite 中添加 dropDuplicates 测试
  • [SPARK-43075] [SC-127939][connect] 当未安装时,将gRPC更改为grpcio。
  • [SPARK-42953] [SC-127809][connect] 类型化筛选器、map、flatMap、mapPartitions
  • [SPARK-42597] [ SC-125506][sql] 支持将日期类型解包到时间戳类型
  • [SPARK-42931] [SC-127933][ss] 引入 dropDuplicatesWithinWatermark
  • [SPARK-43073] [SC-127943][connect] 添加 proto 数据类型常量
  • [SPARK-43077] [ SC-128050][sql] 改进UNRECOGNIZED_SQL_TYPE的错误消息
  • [SPARK-42951] [SC-128030][ss][Connect] DataStreamReader API接口
  • [SPARK-43049] [ SC-127846][sql] 对 Oracle JDBC 的 StringType 使用 CLOB 而不是 VARCHAR(255)
  • [SPARK-43018] [SC-127762][sql] 修复 INSERT 命令的 bug,该 bug 与时间戳文本有关
  • [SPARK-42855] [SC-127722][sql] 在 TableOutputResolver 中使用运行时 null 检查
  • [SPARK-43030] [SC-127847][sql] 对具有元数据列的关系进行去重
  • [SPARK-42993] [ SC-127829][ml][CONNECT] 使 PyTorch 分发服务器与 Spark Connect 兼容
  • [SPARK-43058] [SC-128072][sql] 将 Numeric 和 Fractional 移动到 PhysicalDataType
  • [SPARK-43056] [SC-127946][ss] RocksDB 状态存储提交应仅在暂停时继续后台工作
  • [SPARK-43059] [SC-127947][connect][PYTHON] 将 TypeError 从 DataFrame(Reader|Writer) 迁移到错误类
  • [SPARK-43071] [SC-128018][sql] 支持在 SELECT 源关系中使用 ORDER BY、LIMIT、OFFSET 的 INSERT DEFAULT
  • [SPARK-43061] [SC-127956][core][SQL] 为 SQL 运算符执行引入 PartitionEvaluator
  • [SPARK-43067] [ SC-127938][ss] 更正 Kafka 连接器中错误类资源文件的位置
  • [SPARK-43019] [SC-127844][sql] 将顺序移动到PhysicalDataType中
  • [SPARK-43010] [SC-127759][python] 将列错误迁移到异常类中
  • [SPARK-42840] [SC-127782][sql] 将 _LEGACY_ERROR_TEMP_2004 错误更改为内部错误
  • [SPARK-43041] [ SC-127765][sql] 还原连接器 API 中兼容性异常的构造函数
  • [SPARK-42939] [SC-127761][ss][CONNECT] Spark Connect 核心流媒体处理 Python API
  • [SPARK-42844] [SC-127766][sql] 将错误类 _LEGACY_ERROR_TEMP_2008 更新为 INVALID_URL
  • [SPARK-42316] [SC-127720][sql] 将名称分配给_LEGACY_ERROR_TEMP_2044
  • [SPARK-42995] [SC-127723][connect][PYTHON] 将 Spark Connect DataFrame 错误迁移到错误类
  • [SPARK-42983] [SC-127717][connect][PYTHON] 修复 createDataFrame 以正确处理 0 维 numpy 数组
  • [SPARK-42955] [SC-127476][sql] 跳过 classifyException 并包装 SparkThrowable 的 AnalysisException
  • [SPARK-42949] [ SC-127255][sql] 简化 NAAJ 的代码
  • [SPARK-43011] [SC-127577][sql] array_insert 应在索引为 0 时失败
  • [SPARK-42974] [SC-127487][core] 还原 Utils.createTempDir 以使用 ShutdownHookManager 并清理 JavaUtils.createTempDir 方法。
  • [SPARK-42964] [ SC-127585][sql] PosgresDialect '42P07' 也意味着表已存在
  • [SPARK-42978] [SC-127351][sql] Derby&PG:RENAME 不能使用架构名称限定新表名称
  • [SPARK-37980] [SC-127668] [sql] 在测试中尽可能通过 _metadata 访问 row_index
  • [SPARK-42655] [SC-127591][sql] 不正确的歧义列引用错误
  • [SPARK-43009] [SC-127596][sql] 将sql()参数化为Any常量
  • [SPARK-43026] [SC-127590][sql] 将 AQE 与非交换表缓存配合使用
  • [SPARK-42963] [ SC-127576][sql] 扩展 SparkSessionExtensions,以在 AQE 查询阶段优化器中注入规则
  • [SPARK-42918] [SC-127357] 将 FileSourceStrategy 中元数据属性的处理通用化
  • [SPARK-42997] [ SC-127535][sql] TableOutputResolver 必须在数组和映射的错误消息中使用正确的列路径
  • [SPARK-43006] [ SC-127486][pyspark] 修复 StorageLevel eq() 中的拼写错误
  • [SPARK-43005] [ SC-127485][pyspark] 修复 pyspark/pandas/config.py 中的拼写错误
  • [SPARK-43004] [ SC-127457][core] 修复 ResourceRequest.equals() 中的拼写错误
  • [SPARK-42907] [SC-126984][connect][PYTHON] 实现 Avro 函数
  • [SPARK-42979] [ SC-127272][sql] 将文本构造函数定义为关键字
  • [SPARK-42946] [ SC-127252][sql] 编辑由于变量替换而嵌套的敏感数据
  • [SPARK-42952] [ SC-127260][sql] 简化分析器规则 PreprocessTableCreation 和 DataSourceAnalysis 的参数
  • [SPARK-42683] [LC-75] 自动重命名发生冲突的元数据列
  • [SPARK-42853] [SC-126101][followup] 修复冲突
  • [SPARK-42929] [SC-126748][connect] 使 mapInPandas / mapInArrow 支持“is_barrier”
  • [SPARK-42968] [SC-127271][ss] 添加选项以跳过提交协调器,作为 DSv2 源/接收器的 StreamingWrite API 的一部分
  • [SPARK-42954] [SC-127261][python][CONNECT] 向 PySpark 和 Spark Connect Python 客户端添加 YearMonthIntervalType
  • [SPARK-41359] [ SC-127256][sql] 在 UnsafeRow 中使用 PhysicalDataType 而不是使用 DataType
  • [SPARK-42873] [ SC-127262][sql] 将 Spark SQL 类型定义为关键字
  • [SPARK-42808] [SC-126302][core] 避免在 MapOutputTrackerMaster#getStatistics 中每次都获取 availableProcessors
  • [SPARK-42937] [SC-126880][sql] PlanSubqueries 应设置为 InSubqueryExec#shouldBroadcast true
  • [SPARK-42896] [SC-126729][sql][PYTHON] 使 mapInPandas / mapInArrow 支持屏障模式执行
  • [SPARK-42874] [ SC-126442][sql] 为所有输入文件启用新的黄金文件测试框架进行分析
  • [SPARK-42922] [SC-126850][sql] 从 Random 切换到 SecureRandom
  • [SPARK-42753] [SC-126369] ReusedExchange 引用不存在的节点
  • [SPARK-40822] [SC-126274][sql] 稳定的派生列别名
  • [SPARK-42908] [ SC-126856][python] 在需要 SparkContext 但未初始化时引发 RuntimeError
  • [SPARK-42779] [SC-126042][sql] 允许 V2 写入指示建议的随机排序分区大小
  • [SPARK-42914] [SC-126727][python] 为 transformUnregisteredFunction 重用 DistributedSequenceID。
  • [SPARK-42878] [SC-126882][connect] DataFrameReader 中的表 API 也可以接受选项
  • [SPARK-42927] [ SC-126883][core] 将访问范围 o.a.spark.util.Iterators#size 更改为 private[util]
  • [SPARK-42943] [ SC-126879][sql] 使用 LONGTEXT 代替 TEXT,以提高 StringType 的长度处理能力
  • [SPARK-37677] [SC-126855][core] 解压缩可以保留文件权限
  • [SPARK-42891] [13.x][sc-126458][CONNECT][python] 实现 CoGrouped 地图 API
  • [SPARK-41876] [ SC-126849][connect][PYTHON] 实现 DataFrame.toLocalIterator
  • [SPARK-42930] [ SC-126761][core][SQL] 将相关实现的访问范围 ProtobufSerDe 更改为 private[protobuf]
  • [SPARK-42819] [SC-125879][ss] 添加对设置用于流式处理的 RocksDB 的 max_write_buffer_number 和 write_buffer_size 的支持
  • [SPARK-42924] [SC-126737][sql][CONNECT][python] 阐明参数化 SQL 参数的注释
  • [SPARK-42748] [SC-126455][connect] 服务器端工件管理
  • [SPARK-42816] [ SC-126365][connect] 支持最大消息大小,最大为 128MB
  • [SPARK-42850] [ SC-126109][sql] 删除优化器中的重复规则 CombineFilters
  • [SPARK-42662] [ SC-126355][connect][PS] 在 Spark 默认索引上为 pandas API 添加 proto 消息
  • [SPARK-42720] [SC-126136][ps][SQL] 使用表达式作为分布式序列默认索引,而不是计划
  • [SPARK-42790] [ SC-126174][sql] 抽象化排除的方法,以便更好地测试 JDBC docker 测试。
  • [SPARK-42900] [SC-126473][connect][PYTHON] 修复 createDataFrame 以遵守推理和列名称
  • [SPARK-42917] [SC-126657][sql] 更正 DerbyDialect 的 getUpdateColumnNullabilityQuery
  • [SPARK-42684] [SC-125157][sql] v2 目录默认情况下不应允许列默认值
  • [SPARK-42861] [ SC-126635][sql] 使用 private[sql] 而不是 protected[sql] 以避免生成 API 文档
  • [SPARK-42920] [SC-126728][connect][PYTHON] 启用包含 UDT 的 UDF 测试
  • [SPARK-42791] [ SC-126617][sql] 创建新的黄金文件测试框架进行分析
  • [SPARK-42911] [ SC-126652][python] 引入更多基本异常
  • [SPARK-42904] [SC-126634][sql] JDBC 目录的 Char/Varchar 支持
  • [SPARK-42901] [SC-126459][connect][PYTHON] 将 StorageLevel 移动到一个单独的文件中以避免潜在的问题 file recursively imports
  • [SPARK-42894] [SC-126451][connect] 为 Spark connect jvm 客户端支持 cache/persist/unpersist/storageLevel
  • [SPARK-42792] [SC-125852][ss] 添加对用于流式处理有状态运算符的 RocksDB 的 WRITE_FLUSH_BYTES 的支持
  • [SPARK-41233] [SC-126441][connect][PYTHON] 向 Spark Connect Python 客户端添加array_prepend
  • [SPARK-42681] [SC-125149][sql] 放宽 ALTER TABLE ADD|REPLACE 列描述符的排序约束
  • [SPARK-42889] [SC-126367][connect][PYTHON] 实现 cache、persist、unpersist 和 storageLevel
  • [SPARK-42824] [ SC-125985][connect][PYTHON] 为不支持的 JVM 属性提供明确的错误消息
  • [SPARK-42340] [SC-126131][connect][PYTHON] 实现分组映射 API
  • [SPARK-42892] [SC-126454][sql] 将 sameType 和相关方法移出 DataType
  • [SPARK-42827] [SC-126126][connect] 为 Scala connect 客户端支持 functions#array_prepend
  • [SPARK-42823] [ SC-125987][sql] spark-sql shell 支持用于初始化的多部分命名空间
  • [SPARK-42817] [SC-125960][core] 在 ApplicationMaster 中记录随机排序服务名称一次
  • [SPARK-42786] [SC-126438][connect] 类型化 Select
  • [SPARK-42800] [ SC-125868][connect][PYTHON][ml] 实现 ml 函数 {array_to_vector, vector_to_array}
  • [SPARK-42052] [SC-126439][sql] 对 HiveSimpleUDF 的 Codegen 支持
  • [SPARK-41233] [SC-126110][sql][PYTHON] 添加 array_prepend 函数
  • [SPARK-42864] [ SC-126268][ml][3.4] 设为 IsotonicRegression.PointsAccumulator 专用
  • [SPARK-42876] [ SC-126281][sql] DataType 的 physicalDataType 应为 private[sql]
  • [SPARK-42101] [ SC-125437][sql] 使 AQE 支持 InMemoryTableScanExec
  • [SPARK-41290] [SC-124030][sql] 在 create/replace 表语句中支持 GENERATED ALWAYS AS 表达式
  • [SPARK-42870] [SC-126220][connect] 移动 toCatalystValue 到 connect-common
  • [SPARK-42247] [SC-126107][connect][PYTHON] 修复 UserDefinedFunction 以具有 returnType
  • [SPARK-42875] [SC-126258][connect][PYTHON] 修复 toPandas 以正确处理时区和映射类型
  • [SPARK-42757] [SC-125626][connect] 为 DataFrameReader 实现 textFile
  • [SPARK-42803] [ SC-126081][core][SQL][ml] 使用 getParameterCount 函数而不是 getParameterTypes.length
  • [SPARK-42833] [SC-126043][sql] 重构 applyExtensions 中的 SparkSession
  • [SPARK-41765] 还原“[SC-123550][sql] 提取 v1 写入指标…”
  • [SPARK-42848] [ SC-126105][connect][PYTHON] 实现 DataFrame.registerTempTable
  • [SPARK-42020] [ SC-126103][connect][PYTHON] 在 Spark Connect 中支持用户定义类型
  • [SPARK-42818] [SC-125861][connect][PYTHON] 实现 DataFrameReader/Writer.jdbc
  • [SPARK-42812] [SC-125867][connect] 向 AddArtifactsRequest protobuf 消息添加 client_type
  • [SPARK-42772][SC-125860][sql] 将 JDBC 选项中关于下推功能的默认值更改为 true
  • [SPARK-42771] [SC-125855][sql] 重构 HiveGenericUDF
  • [SPARK-25050] [SC-123839][sql] Avro:写入复杂联合
  • [SPARK-42765] [SC-125850][connect][PYTHON] 支持从pandas_udf导入pyspark.sql.connect.functions
  • [SPARK-42719] [Sc-125225][core] MapOutputTracker#getMapLocation 应遵守 spark.shuffle.reduceLocality.enabled
  • [SPARK-42480] [ SC-125173][sql] 提高删除分区的性能
  • [SPARK-42689] [SC-125195][core][SHUFFLE] 允许 ShuffleDriverComponent 声明随机排序数据是否可靠存储
  • [SPARK-42726] [SC-125279][connect][PYTHON] 实现 DataFrame.mapInArrow
  • [SPARK-41765] [SC-123550][sql] 将 v1 写入指标提取到 WriteFiles
  • [SPARK-41171] [SC-124191][sql] 如果 partitionSpec 为空,则推断并向下推送窗口限制
  • [SPARK-42686] [ SC-125292][core] 延后 TaskMemoryManager 中调试消息的格式化
  • [SPARK-42756] [SC-125443][connect][PYTHON] 将 proto 文本转换为 Python 客户端中的值的帮助程序函数
  • [SPARK-42793] [SC-125627][connect] connect 模块需要 build_profile_flags
  • [SPARK-42701] [SC-125192][sql] 添加 try_aes_decrypt() 函数
  • [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame 与非可空架构不兼容
  • [SPARK-42733] [SC-125542][connect][Followup] 在没有路径或表的情况下写入
  • [SPARK-42777] [ SC-125525][sql] 支持将 TimestampNTZ 目录统计信息转换为计划统计信息
  • [SPARK-42770] [SC-125558][connect] 添加 truncatedTo(ChronoUnit.MICROS) 以使 SQLImplicitsTestSuite 在 Java 17 每日测试 GA 任务中通过
  • [SPARK-42752] [ SC-125550][pyspark][SQL] 使 PySpark 异常在初始化期间可打印
  • [SPARK-42732] [SC-125544][pyspark][CONNECT] 支持 spark connect 会话 getActiveSession 方法
  • [SPARK-42755] [SC-125442][connect] 将文本值转换提取到 connect-common
  • [SPARK-42747] [SC-125399][ml] 修复 LoR 和 AFT 的错误内部状态
  • [SPARK-42740] [SC-125439][sql] 修复对某些内置方言而言下推偏移量或分页无效的 bug
  • [SPARK-42745] [ SC-125332][sql] 改进的 AliasAwareOutputExpression 与 DSv2 兼容
  • [SPARK-42743] [SC-125330][sql] 支持分析 TimestampNTZ 列
  • [SPARK-42721] [SC-125371][connect] RPC 日志记录拦截器
  • [SPARK-42691] [ SC-125397][connect][PYTHON] 实现 Dataset.semanticHash
  • [SPARK-42688] [SC-124922][connect] 将 Connect proto 请求中的 client_id 重命名为 session_id
  • [SPARK-42310] [SC-122792][sql] 为_LEGACY_ERROR_TEMP_1289分配名称
  • [SPARK-42685] [ SC-125339][core] 优化 Utils.bytesToString 例程
  • [SPARK-42725] [SC-125296][connect][PYTHON] 使 LiteralExpression 支持数组参数
  • [SPARK-42702] [ SC-125293][spark-42623][SQL] 支持子查询和 CTE 中的参数化查询
  • [SPARK-42697] [SC-125189][webui] 修复 /api/v1/applications 以返回总运行时间,而不是在持续时间字段中返回 0
  • [SPARK-42733] [ SC-125278][connect][PYTHON] 修复 DataFrameWriter.save 以在没有路径参数的情况下正常工作
  • [SPARK-42376] [SC-124928][ss] 在操作符之间引入水印传播
  • [SPARK-42710] [ SC-125205][connect][PYTHON] 将 FrameMap proto 重命名为 MapPartitions
  • [SPARK-37099] [SC-123542][sql] 引入 Window 的组限制以进行基于排名的筛选,从而优化 top-k 计算
  • [SPARK-42630] [ SC-125207][connect][PYTHON] 引入 UnparsedDataType 并延迟分析 DDL 字符串,直到 SparkConnectClient 可用
  • [SPARK-42690] [ SC-125193][connect] 为 Scala 客户端实现 CSV/JSON 分析函数
  • [SPARK-42709] [SC-125172][python] 删除 __file__ 可用的假设
  • [SPARK-42318] [ SC-122648][spark-42319][SQL] 将名称分配给 LEGACY_ERROR_TEMP(2123|2125)
  • [SPARK-42723] [SC-125183][sql] 支持将分析器数据类型 json“timestamp_ltz”解析为 TimestampType
  • [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() 不应缓存架构
  • [SPARK-42643] [SC-125152][connect][PYTHON] 注册Java(聚合) 用户定义的函数
  • [SPARK-42656] [ SC-125177][connect][Followup] 修复 spark-connect 脚本
  • [SPARK-41516] [SC-123899] [SQL] 允许 jdbc 方言替代用于创建表的查询
  • [SPARK-41725] [SC-124396][connect] DF.sql() 的急切执行
  • [SPARK-42687] [SC-124896][ss] 针对流式处理中不支持的 pivot 操作的更好错误消息
  • [SPARK-42676] [SC-124809][ss] 即使默认 FS 设置不同,也将流式处理查询的临时检查点写入本地文件系统
  • [SPARK-42303] [SC-122644][sql] 将名称分配给_LEGACY_ERROR_TEMP_1326
  • [SPARK-42553] [SC-124560][sql] 确保“间隔”后至少有一个时间单位
  • [SPARK-42649] [ SC-124576][core] 从第三方源文件顶部删除标准 Apache 许可证标头
  • [SPARK-42611] [SC-124395][sql] 在解析期间为内部字段插入 char/varchar 长度检查
  • [SPARK-42419] [SC-124019][connect][PYTHON] 将 Spark Connect 列 API 迁移到错误框架。
  • [SPARK-42637] [SC-124522][connect] 添加 SparkSession.stop()
  • [SPARK-42647] [SC-124647][python] 更改 numpy 已弃用和删除类型的别名
  • [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver 应仅关闭已启动的 hive sessionState
  • [SPARK-42593] [ SC-124405][ps] 弃用并删除将在 pandas 2.0 中删除的 API。
  • [SPARK-41870] [ SC-124402][connect][PYTHON] 修复 createDataFrame 来处理重复的列名称
  • [SPARK-42569] [SC-124379][connect] 对不支持的会话 API 引发异常
  • [SPARK-42631] [ SC-124526][connect] 支持 Scala 客户端中的自定义扩展
  • [SPARK-41868] [SC-124387][connect][PYTHON] 修复 createDataFrame 以支持持续时间
  • [SPARK-42572] [ SC-124171][sql][SS] 修复 StateStoreProvider.validateStateRowFormat 的行为

维护更新

请参阅 Databricks Runtime 13.1 维护更新。

系统环境

  • 操作系统:Ubuntu 22.04.2 LTS
  • Java:Zulu 8.70.0.23-CA-linux64
  • Scala:2.12.15
  • Python:3.10.12
  • R:4.2.2
  • Delta Lake:2.4.0

已安装Python库

图书馆 版本 图书馆 版本 图书馆 版本
appdirs(应用程序目录) 1.4.4 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.2.1 attrs 21.4.0 backcall 0.2.0
beautifulsoup4 4.11.1 黑色 22.6.0 漂白剂 4.1.0
闪烁器 1.4 boto3 1.24.28 botocore 1.27.28
certifi 2022.9.14 cffi 1.15.1 chardet 4.0.0
charset-normalizer (字符集正常化工具) 2.0.4 click 8.0.4 加密 37.0.1
骑行者 0.11.0 Cython 0.29.32 dbus-python 1.2.18
debugpy 1.5.1 修饰器 5.1.1 defusedxml 0.7.1
distlib 0.3.6 docstring-to-markdown 0.12 入口点 0.4
执行中 1.2.0 各个方面概述 1.0.3 fastjsonschema 2.16.3
文件锁 (filelock) 3.12.0 fonttools(字体工具) 4.25.0 googleapis-common-protos 1.56.4
grpcio 1.48.1 grpcio-status 1.48.1 httplib2 0.20.2
idna 3.3 importlib-metadata 4.6.4 ipykernel 6.17.1
ipython 8.10.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 吉普尼 0.7.1 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.2.0 jsonschema 4.16.0
Jupyter客户端 7.3.4 jupyter_core(Jupyter核心) 4.11.2 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 keyring 23.5.0 kiwisolver 1.4.2
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
MarkupSafe 2.0.1 matplotlib 3.5.2 matplotlib-inline 0.1.6
麦卡贝 0.7.0 mistune(一个用于Markdown解析的Python库) 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.5.0 nest-asyncio 1.5.5 nodeenv 1.7.0
笔记本 6.4.12 numpy 1.21.5 oauthlib 3.2.0
包装 21.3 熊猫 1.4.4 pandocfilters 1.5.0
帕尔索 0.8.3 pathspec 0.9.0 替罪羊 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 枕头 9.2.0
pip 22.2.2 platformdirs 2.5.2 plotly 5.9.0
pluggy 1.0.0 prometheus-client 0.14.1 prompt-toolkit(提示工具包) 3.0.36
protobuf 3.19.4 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 8.0.0
Python代码解析器 2.21 pydantic 1.10.6 pyflakes 3.0.1
Pygments 2.11.2 PyGObject 3.42.1 PyJWT 2.3.0
pyodbc 4.0.32 pyparsing Python解析库 3.0.9 pyright 1.1.294
pyrsistent 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.7.1 pytoolconfig 1.2.2 pytz 2022年1月
pyzmq 23.2.0 请求 2.28.1 绳子 1.7.0
s3transfer 0.6.0 scikit-learn(机器学习库) 1.1.1 scipy 1.9.1
seaborn 0.11.2 SecretStorage 3.3.1 Send2Trash 1.8.0
setuptools 63.4.1 6 1.16.0 soupsieve 2.3.1
ssh-import-id 5.11 堆栈数据 0.6.2 statsmodels 0.13.2
毅力 8.1.0 terminado 0.13.1 测试路径 0.6.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
龙卷风 6.1 traitlets 5.1.1 typing_extensions 4.3.0
ujson 5.4.0 无需人工干预的升级 0.1 urllib3 1.26.11
virtualenv 20.16.3 wadllib 1.3.6 wcwidth 0.2.5
Web编码 0.5.1 whatthepatch (一种用于查看和编辑补丁文件的工具) 1.0.2 wheel 0.37.1
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

已安装的 R 库

R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。

图书馆 版本 图书馆 版本 图书馆 版本
箭头 10.0.1 askpass 1.1 断言 0.2.1
backports 1.4.1 基础映像 4.2.2 base64enc 0.1-3
比特 4.0.5 bit64 4.0.5 blob 1.2.3
boot 1.3-28 brew 1.0-8 活力 1.1.3
扫帚 1.0.3 bslib 0.4.2 卡齐姆 1.0.6
callr 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-59 类 7.3-21 命令行界面 (CLI) 3.6.0
clipr 0.8.0 clock 0.6.1 群集 2.1.4
codetools 0.2至19 色彩空间 2.1-0 通用标记 (commonmark) 1.8.1
编译器 4.2.2 配置 0.3.1 cpp11 0.4.3
蜡笔 1.5.2 凭据 1.3.2 curl 5.0.0
数据表 (data.table) 1.14.6 数据集 4.2.2 DBI 1.1.3
dbplyr 2.3.0 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 摘要 0.6.31 downlit 0.4.2
dplyr 1.1.0 dtplyr 1.2.2 e1071 1.7-13
省略号 0.3.2 evaluate 0.20 fansi 1.0.4
farver 2.1.1 快速映射 1.1.0 fontawesome 0.5.0
forcats 1.0.0 foreach 1.5.2 国外 0.8-82
锻造 0.2.0 fs 1.6.1 未来 1.31.0
future.apply 1.10.0 漱口 1.3.0 泛型 0.1.3
格尔特 1.9.2 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-6 globals 0.16.2
胶水 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
gower 1.0.1 图形 4.2.2 grDevices 4.2.2
网格 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 hardhat 1.2.0 避风港 2.5.1
highr 0.10 赫姆斯 1.1.2 HTML工具 0.5.4
HTML小插件 1.6.1 httpuv 1.6.8 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.7 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.4 KernSmooth 2.23-20 knitr 1.42
标记 0.4.2 稍后 1.3.0 晶格 0.20-45
熔岩 1.7.1 生命周期 1.0.3 listenv 0.9.0
lubridate 1.9.1 magrittr 2.0.3 markdown 1.5
质量 7.3-58.2 矩阵 1.5-1 记忆化 2.0.1
方法 4.2.2 mgcv 1.8-41 默剧 0.12
迷你用户界面 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.10
蒙塞尔 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016年8月至1月1日 openssl(开放SSL) 2.0.5 parallel 4.2.2
parallelly 1.34.0 柱子 1.8.1 pkgbuild (软件包构建工具) 1.4.0
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2
普洛格 0.2.0 普莱尔 1.8.8 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 进展 1.2.2
progressr 0.13.0 promises 1.2.0.1 原型 (proto) 1.0.0
代理 0.4-27 ps 1.7.2 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
随机森林 (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.10 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.2 食谱 1.0.4
重赛 1.0.1 rematch2 2.1.2 遥控器 2.4.2
reprex 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.20 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.20 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.5 磅秤 1.2.1
选择器 0.4-2 sessioninfo 1.2.2 形状 1.4.6
shiny 1.7.4 sourcetools 0.1.7-1 sparklyr 1.7.9
SparkR 3.4.0 空间 7.3-15 splines 4.2.2
sqldf 0.4-11 SQUAREM 2021年1月 统计数据 4.2.2
统计数据4 4.2.2 stringi 1.7.12 stringr 1.5.0
生存 3.5-3 sys 3.4.1 systemfonts 1.0.4
Tcl/Tk 编程语言 4.2.2 testthat 3.1.6 文字排版 0.3.6
tibble 3.1.8 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 1.3.2 时间变化 0.2.0 时间日期 4022.108
tinytex 0.44 工具 4.2.2 tzdb 0.3.0
URL检查器 1.0.1 usethis 2.1.6 utf8 1.2.3
utils 4.2.2 UUID(通用唯一识别码) 1.1-0 vctrs 0.5.2
viridisLite 0.4.1 vroom 1.6.1 瓦尔多 0.4.0
whisker 0.4.1 withr 2.5.0 xfun 0.37
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
YAML 2.3.7 zip 2.2.2

已安装Java和 Scala 库(Scala 2.12 群集版本)

群组标识符 工件编号 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws AWS Java SDK CloudFront 1.12.390
com.amazonaws AWS-Java-SDK-云HSM 1.12.390
com.amazonaws AWS Java SDK 云搜索 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws AWS Java SDK CodeDeploy(AWS Java 软件开发工具包 CodeDeploy) 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config(AWS Java SDK 配置) 1.12.390
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.390
com.amazonaws aws-java-sdk-datapipeline(AWS Java SDK 数据流水线) 1.12.390
com.amazonaws AWS Java SDK Direct Connect(直连) 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk(AWS Java 开发工具包 - Elastic Beanstalk) 1.12.390
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder(AWS Java SDK弹性转码器) 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws AWS Java SDK Glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs(AWS Java开发包日志) 1.12.390
com.amazonaws AWS-Java-SDK-机器学习 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws AWS Java SDK 存储网关 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws AWS Java SDK支持 1.12.390
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces(Amazon Java SDK 工作空间) 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core Jackson注解 2.14.2
com.fasterxml.jackson.core jackson-core 2.14.2
com.fasterxml.jackson.core jackson-databind 2.14.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-joda(杰克逊数据类型-Joda) 2.14.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.14.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.14.2
com.github.ben-manes.caffeine 咖啡因 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-原住民
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib 原生系统-Java 1.1-原住民
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-原住民
com.github.fommil.netlib netlib-本地系统-linux-x86_64 1.1-原住民
com.github.luben zstd-jni 1.5.2-5
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.9
com.google.crypto.tink 丁克 1.7.0
com.google.errorprone 易出错的注释 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.214
com.helger 探查器 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (LZF压缩算法) 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec(公共编解码器) commons-codec(公共编解码器) 1.15
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang(公共程序语言库) commons-lang(公共程序语言库) 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack(线性代数软件包) 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.6.4
io.dropwizard.metrics metrics-core 4.2.10
io.dropwizard.metrics metrics-graphite 4.2.10
io.dropwizard.metrics 指标-健康检查 4.2.10
io.dropwizard.metrics metrics-jetty9 4.2.10
io.dropwizard.metrics metrics-jmx 4.2.10
io.dropwizard.metrics metrics-json 4.2.10
io.dropwizard.metrics metrics-jvm 4.2.10
io.dropwizard.metrics 指标-Servlets 4.2.10
io.netty netty-all 4.1.87.Final
io.netty netty-buffer(Netty缓存) 4.1.87.Final
io.netty netty-codec 4.1.87.Final
io.netty netty-codec-http 4.1.87.Final
io.netty netty-codec-http2 4.1.87.Final
io.netty netty-codec-socks 4.1.87.Final
io.netty netty-common 4.1.87.Final
io.netty netty-handler 4.1.87.Final
io.netty netty-handler-proxy 4.1.87.Final
io.netty netty-resolver (Netty 解析器) 4.1.87.Final
io.netty netty-transport 4.1.87.Final
io.netty netty-transport-classes-epoll 4.1.87.Final
io.netty netty-transport-classes-kqueue 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final
io.netty netty-transport-native-epoll 4.1.87.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.87.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.87.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.87.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway (简单客户端推送网关) 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db2
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant ant-launcher 1.9.16
org.apache.arrow 箭头格式 11.0.0
org.apache.arrow arrow-memory-core 11.0.0
org.apache.arrow arrow-memory-netty 11.0.0
org.apache.arrow 箭头向量 11.0.0
org.apache.avro avro 1.11.1
org.apache.avro avro-ipc 1.11.1
org.apache.avro avro-mapred 1.11.1
org.apache.commons commons-collections4(通用集合库) 4.4
org.apache.commons commons-compress(公共压缩库) 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text (通用文本库) 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop 客户端运行时 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 常春藤 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.19.0
org.apache.logging.log4j log4j-api 2.19.0
org.apache.logging.log4j log4j-core 2.19.0
org.apache.logging.log4j log4j-slf4j2-impl 2.19.0
org.apache.mesos mesos 1.11.0-shaded-protobuf
org.apache.orc orc-core 1.8.3-shaded-protobuf
org.apache.orc orc-mapreduce 1.8.3-shaded-protobuf
org.apache.orc orc-shims 1.8.3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.22
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper 动物园管理员 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.19.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler(通用编译器) 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.50.v20221201
org.eclipse.jetty jetty-continuation 9.4.50.v20221201
org.eclipse.jetty Jetty-HTTP 9.4.50.v20221201
org.eclipse.jetty jetty-io 9.4.50.v20221201
org.eclipse.jetty jetty-jndi 9.4.50.v20221201
org.eclipse.jetty jetty-plus 9.4.50.v20221201
org.eclipse.jetty jetty-proxy 9.4.50.v20221201
org.eclipse.jetty 码头安全 9.4.50.v20221201
org.eclipse.jetty jetty-server(Jetty服务器) 9.4.50.v20221201
org.eclipse.jetty jetty-servlet 9.4.50.v20221201
org.eclipse.jetty jetty-servlets 9.4.50.v20221201
org.eclipse.jetty jetty-util 9.4.50.v20221201
org.eclipse.jetty jetty-util-ajax 9.4.50.v20221201
org.eclipse.jetty Jetty 网页应用 9.4.50.v20221201
org.eclipse.jetty jetty-xml 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket API 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket客户端 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-common 9.4.50.v20221201
org.eclipse.jetty.websocket WebSocket服务器 9.4.50.v20221201
org.eclipse.jetty.websocket websocket-servlet 9.4.50.v20221201
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.7.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client (MariaDB Java 客户端) 2.7.4
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.8
org.roaringbitmap RoaringBitmap 0.9.39
org.roaringbitmap 垫片 0.9.39
.rocksdb rocksdbjni 7.8.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest 与Scalatest兼容 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.6
org.slf4j jul-to-slf4j 2.0.6
org.slf4j slf4j-api 2.0.6
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
(org.wildfly.openssl) WildFly-OpenSSL 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.33
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1