通过

Databricks Runtime 12.2 LTS （EoS）

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅 终止支持和生命周期结束历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

以下发行说明提供了由 Apache Spark 3.3.2 提供支持的 Databricks Runtime 12.2 LTS 的相关信息。

此版本包含所有以前 Databricks Runtime 版本中的所有功能、改进和 bug 修复。 Databricks 于 2023 年 3 月发布了此版本。

行为更改

[重大变更] 新版Python需要更新Databricks Connect V1 Python客户端

注意

后续更新将 Databricks Runtime 12.2 LTS 中的 Python 版本移动到 3.9.21。 3.9.21 版本不会引入任何行为更改。

若要应用所需的安全修补程序，Databricks Runtime 12.2 LTS 中的Python版本从 3.9.5 升级到 3.9.19。 由于这些更改可能会导致使用特定 PySpark 函数的客户端出现错误，因此使用 Databricks Connect V1 与 Databricks Runtime 12.2 LTS 进行Python的任何客户端都必须更新为 Python 3.9.7 或更高版本。

新增功能和改进

Python从 3.9.19 升级到 3.9.21

Databricks Runtime 12.2 LTS 中的Python版本从 3.9.19 更新为 3.9.21。

Delta Lake 架构演变支持在合并语句中指定源列

在启用架构演化后，现在可以在合并语句的插入或更新操作中指定仅存在于源表中的列。 在 Databricks Runtime 12.1 及更低版本中，只能使用 INSERT * 或 UPDATE SET * 操作通过合并进行架构演变。 请参阅 合并的自动架构演变。

使用共享访问模式的群集上支持结构化流式处理工作负载

现在，您可以使用结构化流式处理，通过标准访问模式与计算资源中的 Unity Catalog 进行交互。 某些限制适用。 参见 Unity Catalog 支持哪些结构化流式处理功能？。

预测性 I/O 的新功能

Photon 现在支持 Foreachbatch 接收器。 从源流式传输并合并到增量表或写入多个接收器的工作负载现在可以受益于 Photon 化的 Foreachbatch 接收器。

隐式横向列别名支持

Azure Databricks现在默认支持隐式横向列别名。 现在可以重用先前在同一 SELECT 列表中指定的表达式。 例如，在给定 SELECT 1 AS a、a + 1 AS b 的情况下，a 中的 a + 1 可以解析为先前定义的 1 AS a。 请查看名称解析来更详细地了解解析顺序。 若要关闭此功能，可以将 spark.sql.lateralColumnAlias.enableImplicitResolution 设置为 false。

新的 forEachBatch 功能

使用 foreachBatch 写入数据接收器时，现已支持 Photon。

查询联合的标准化连接选项

现在可以使用一组统一的选项（主机、端口、数据库、用户、密码）连接到查询联合中支持的数据源。 Port 是可选的，除非另有指定，否则使用每个数据源的默认端口号。

用于数组管理的扩展 SQL 函数库

现在可以使用 array_compact 从数组中删除所有 NULL 元素。 若要将元素追加到数组，请使用 array_append。

用于匿名化字符串的新 mask 函数

调用 mask 函数可以匿名化敏感字符串值。

常见错误条件现在返回 SQLSTATE

Databricks Runtime 现在记录了大多数错误条件的 SQLSTATE 值，这些值可以用于以符合 SQL 标准的方式进行错误测试。

在 FROM 子句中调用生成器函数

现在可以在查询的常规子句中调用表值生成器函数，例如explode。 这使得生成器函数调用与其他内置的和用户定义的表函数保持一致。

协议缓冲区支持已正式发布

可以使用 from_protobuf 和 to_protobuf 函数在二进制和结构类型之间交换数据。 请参阅读取和写入协议缓冲区。

笔记本变量和函数的转到定义

在笔记本中，可以通过右键单击变量或函数名称来快速跳转到变量、函数的定义或语句背后的代码。

针对自动导入库的笔记本快速修复

Databricks Notebooks 现在提供针对自动导入库的快速修复功能。 如果忘记导入 pandas 之类的库，请将鼠标悬停在带下划线的语法警告上，然后单击“快速修复”，此功能要求在工作区中启用 Databricks 助手。

缺陷修复

  • 改进了与 update、delete 和 merge 命令相关的空事务的 Delta 提交行为的一致性。 在 WriteSerializable 隔离级别中，不引起任何更改的命令现在会创建一个空白提交。 在 Serializable 隔离级别，此类空事务现在不会产生提交操作。

行为更改

新的侧列别名功能的行为变化

新的横向列别名功能在名称解析期间针对以下情况引入了行为变更：

  • 横列别名现在优先于具有相同名称的相关引用。 例如，对于查询 SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)，内部 c1 中的 c1 AS c2 在过去会解析为关联引用 t.c1，但现在会更改为横向列别名 1 AS c1。 该查询现在返回 NULL。
  • 横向列别名现在优先于同名的函数参数。 例如，对于函数 CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x，函数主体中的 x 在过去会解析为函数参数 x，但现在会更改为函数主体中的横向列别名 x + 1。 查询 SELECT * FROM func(1) 现在返回 2, 2。
  • 若要关闭横向列别名功能，请将 spark.sql.lateralColumnAlias.enableImplicitResolution 设置为 false。 有关详细信息，请参阅名称解析。

软件库升级

  • 升级Python库：
    • filelock 已从 3.8.2 升级到 3.9.0
    • joblib 已从 1.1.0 升级到 1.1.1
    • platformdirs 已从 2.6.0 升级到 2.6.2
    • whatthepatch 已从 1.0.3 升级到 1.0.4
  • 升级了 R 库：
    • class 已从 7.3-20 升级到 7.3-21
    • codetools 已从 0.2-18 升级到 0.2-19
    • MASS 已从 7.3-58 升级到 7.3-58.2
    • nlme 已从 3.1-160 升级到 3.1-162
    • Rserve 已从 1.8-11 升级到 1.8-12
    • SparkR 已从 3.3.1 升级到 3.3.2

行为更改

  • 在使用定义的位置创建架构时，用户现在需要对任何文件拥有 SELECT 和 MODIFY 特权。

Apache Spark

Databricks Runtime 12.2 包括 Apache Spark 3.3.2。 此版本包括以前版本中包含的所有 Spark 修复和改进，以及以下内容：

  • [SPARK-42416] [ SC-123205][sc-122851][SQL] 数据集操作不应重新解析已分析过的逻辑计划
  • [SPARK-41848] 还原“[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] 修复使用 TaskResourceProfile 超计划的任务”
  • [SPARK-42162] [ SC-122711][es-556261] 引入 MultiCommutativeOp 表达式作为内存优化，以规范化大型交换表达式树
  • [SPARK-42406] [ SC-122998][protobuf][Cherry-pick] 修复 Protobuf 函数的递归深度设置
  • [SPARK-42002] [SC-122476][connect][PYTHON] 实现 DataFrameWriterV2
  • [SPARK-41716] [ SC-122545][connect] 将_catalog_to_pandas重命名为目录中的_execute_and_fetch
  • [SPARK-41490] [SC-121774][sql] 为_LEGACY_ERROR_TEMP_2441分配名称
  • [SPARK-41600] [ SC-122538][spark-41623][SPARK-41612][connect] 实现 Catalog.cacheTable，isCached 和 uncache
  • [SPARK-42191] [ SC-121990][sql] 支持 udf “luhn_check”
  • [SPARK-42253] [ SC-121976][python] 添加用于检测重复错误类的测试
  • [SPARK-42268] [SC-122251][connect][PYTHON] 在 proto 中添加 UserDefinedType
  • [SPARK-42231] [SC-121841][sql] 转换为MISSING_STATIC_PARTITION_COLUMNinternalError
  • [SPARK-42136] [SC-122554] 重构 BroadcastHashJoinExec 输出分区计算
  • [SPARK-42158] [SC-121610][sql] 将_LEGACY_ERROR_TEMP_1003集成到FIELD_NOT_FOUND
  • [SPARK-42192] [12.x][sc-121820][PYTHON] 将 TypeError 从 pyspark/sql/dataframe.py 迁移到 PySparkTypeError
  • [SPARK-35240] 还原“[SC-118242][ss] 使用 CheckpointFileManager ...
  • [SPARK-41488] [ SC-121858][sql] 将名称分配给_LEGACY_ERROR_TEMP_1176（和 1177）
  • [SPARK-42232] [SC-122267][sql] 重命名错误类：UNSUPPORTED_FEATURE.JDBC_TRANSACTION
  • [SPARK-42346] [ SC-122480][sql] 在子查询合并后重写非重复聚合
  • [SPARK-42306] [SC-122539][sql] 将 _LEGACY_ERROR_TEMP_1317 集成到 UNRESOLVED_COLUMN.WITH_SUGGESTION
  • [SPARK-42234] [SC-122354][sql] 重命名错误类：UNSUPPORTED_FEATURE.REPEATED_PIVOT
  • [SPARK-42343] [SC-122437][core] 如果 SparkContext 停止，则IOException忽略handleBlockRemovalFailure
  • [SPARK-41295] [ SC-122442][spark-41296][SQL] 重命名错误类
  • [SPARK-42320] [ SC-122478][sql] 将名称分配给_LEGACY_ERROR_TEMP_2188
  • [SPARK-42255] [SC-122483][sql] 指定名称给_LEGACY_ERROR_TEMP_2430
  • [SPARK-42156] [ SC-121851][connect] SparkConnectClient 现在支持重试策略
  • [SPARK-38728] [SC-116723][sql] 测试错误类：FAILED_RENAME_PATH
  • [SPARK-40005] [12.X] PySpark 中的自包含示例
  • [SPARK-39347] [ SC-122457][ss] 在事件时间 < 0 时修复时间窗口计算的 Bug
  • [SPARK-42336] [ SC-122458][core] 在 ResourceAllocator 中使用 getOrElse() 而不是 contains()
  • [SPARK-42125] [ SC-121827][connect][PYTHON] Spark Connect 中的 Pandas UDF
  • [SPARK-42217] [ SC-122263][sql] 使用 Window 在查询中支持隐式横向列别名
  • [SPARK-35240] [ SC-118242][ss] 使用 检查点文件管理器 进行检查点文件操作
  • [SPARK-42294] [ SC-122337][sql] 在 V2 表的 DESCRIBE 输出中包含列默认值
  • [SPARK-41979] 撤销“撤销‘[12.x][sc-121190][SQL] 为错误类中的错误消息添加缺失的句点’”。
  • [SPARK-42286] [ SC-122336][sql] 回退到具有 CAST 的复杂 expr 的以前的 codegen 代码路径
  • [SPARK-42275] [ SC-122249][connect][PYTHON] 避免在静态类型中使用内置列表和字典
  • [SPARK-41985] [ SC-122172][sql] 整合更多列解析规则
  • [SPARK-42126] [SC-122330][python][CONNECT] 接受 Spark Connect 中 Python标量 UDF 的 DDL 字符串中的返回类型
  • [SPARK-42197] [SC-122328][sc-121514][CONNECT] 重用 JVM 初始化，并在远程本地模式中分别设置配置组
  • [SPARK-41575] [SC-120118][sql] 将名称分配给_LEGACY_ERROR_TEMP_2054
  • [SPARK-41985] 还原“[SC-122172][sql] 集中更多列解析规则”
  • [SPARK-42123] [ SC-122234][sc-121453][SQL] 在 DESCRIBE 和 SHOW CREATE TABLE 输出中包含列默认值
  • [SPARK-41985] [ SC-122172][sql] 整合更多列解析规则
  • [SPARK-42284] [ SC-122233][connect] 确保在运行客户端测试之前生成连接服务器程序集 - SBT
  • [SPARK-42239] [SC-121790][sql] 集成 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42278] [ SC-122170][sql] DS V2 下推支持自行编译 SortOrder JDBC 方言
  • [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics 应负责 Python UDAF
  • [SPARK-41979] 还原“[12.x][sc-121190][SQL] 为错误类中的错误消息添加缺少的点。
  • [SPARK-42224] [12.x][sc-121708][CONNECT] 将 TypeError 迁移到 Spark Connect 函数的错误框架
  • [SPARK-41712] [12.x][sc-121189][PYTHON][connect] 将 Spark Connect 错误迁移到 PySpark 错误框架。
  • [SPARK-42119] [SC-121913][sc-121342][SQL] 添加内置表值函数 inline 和 inline_outer
  • [SPARK-41489] [SC-121713][sql] 将名称分配给_LEGACY_ERROR_TEMP_2415
  • [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] 简介 PySparkValueError 和 PySparkTypeError
  • [SPARK-42081] [ SC-121723][sql] 改进计划更改验证
  • [SPARK-42225] [ 12.x][sc-121714][CONNECT] 添加 SparkConnectIllegalArgumentException 以精确处理 Spark Connect 错误。
  • [SPARK-42044] [12.x][sc-121280][SQL] 修复错误的提示信息 MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
  • [SPARK-42194] [12.x][sc-121712][PS] 使用 Series 创建数据帧时允许列参数。
  • [SPARK-42078] [12.x][sc-120761][PYTHON] 将 JVM 引发的错误迁移到 PySparkException 中。
  • [SPARK-42133] [12.x][sc-121250] 向 SparkConnect Scala 客户端添加基本数据集 API 方法
  • [SPARK-41979] [ 12.x][sc-121190][SQL] 为错误类中的错误消息补上缺失的句点。
  • [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Spark Connect 中的标量内联 Python UDF
  • [SPARK-42051] [ SC-121994][sql] 对 HiveGenericUDF 的 Codegen 支持
  • [SPARK-42257] [ SC-121948][core] 删除未使用的变量外部排序器
  • [SPARK-41735] [ SC-121771][sql] 使用 MINIMAL 而不是 STANDARD for SparkListenerSQLExecutionEnd
  • [SPARK-42236] [SC-121882][sql] 精简 NULLABLE_ARRAY_OR_MAP_ELEMENT
  • [SPARK-42233] [SC-121775][sql] 改进错误信息 PIVOT_AFTER_GROUP_BY
  • [SPARK-42229] [ SC-121856][core] 将 SparkCoreErrors 迁移到错误类
  • [SPARK-42163] [ SC-121839][sql] 修复不可折叠数组索引或映射键的模式修剪
  • [SPARK-40711] [SC-119990][sql] 为窗口添加溢出大小指标
  • [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] 使 createDataFrame 支持 AtomicType -> StringType 强制转换
  • [SPARK-42202] [ SC-121837][connect][Test] 改进端到端测试服务器的停止逻辑
  • [SPARK-41167] [SC-117425][sql] 通过创建均衡的表达式树谓词来提高多重LIKE操作的性能
  • [SPARK-41931] [ SC-121618][sql] 为不完整的复杂类型定义提供更好的错误消息
  • [SPARK-36124] [ SC-121339][sc-110446][SQL] 支持通过 UNION 关联进行子查询
  • [SPARK-42090] [SC-121290][3.3] 在 RetryingBlockTransferor 中引入 SASL 重试计数
  • [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR 应提供公平调度器
  • [SPARK-41572] [SC-120772][sql] 将名称分配给_LEGACY_ERROR_TEMP_2149
  • [SPARK-41983] [ SC-1212224][sql] 重命名和改进错误消息 NULL_COMPARISON_RESULT
  • [SPARK-41976] [SC-121024][sql] 改进针对INDEX_NOT_FOUND的错误消息
  • [SPARK-41994] [ SC-121210][sc-120573] 分配 SQLSTATE （1/2）
  • [SPARK-41415] [SC-121117][3.3] SASL 请求重试
  • [SPARK-38591] [SC-121018][sql] 添加 flatMapSortedGroups 和 cogroupSorted
  • [SPARK-41975] [ SC-120767][sql] 改进错误消息 INDEX_ALREADY_EXISTS
  • [SPARK-42056] [ SC-121158][sql][PROTOBUF] 为 Protobuf 函数添加缺少的选项
  • [SPARK-41984] [ SC-120769][sql] 重命名并改进错误信息 RESET_PERMISSION_TO_ORIGINAL
  • [SPARK-41948] [ SC-121196][sql] 修复 NPE 错误，错误类：CANNOT_PARSE_JSON_FIELD
  • [SPARK-41772] [SC-121176][connect][PYTHON] 修正了在 withField 的文档测试中错误的列名。
  • [SPARK-41283] [SC-121175][connect][PYTHON] 将 array_append 添加到 Connect
  • [SPARK-41960] [SC-120773][sql] 将名称分配给 _LEGACY_ERROR_TEMP_1056
  • [SPARK-42134] [ SC-121116][sql] 修复 getPartitionFiltersAndDataFilters（） 来处理没有引用属性的筛选器
  • [SPARK-42096] [ SC-121012][connect] 对 connect 模块进行一些代码清理
  • [SPARK-42099] [ SC-121114][spark-41845][CONNECT][python] 修复 count(*) 和 count(col(*))
  • [SPARK-42045] [SC-120958][sc-120450][SQL] ANSI SQL 模式：整数溢出时，Round/Bround 应返回错误
  • [SPARK-42043] [ SC-120968][connect] Scala 客户端测试结果与端到端测试
  • [SPARK-41884] [ SC-121022][connect] 支持将简单元组作为嵌套行使用
  • [SPARK-42112] [ SC-121011][sql][SS] 在关闭函数之前 ContinuousWriteRDD#compute 进行空值检查 dataWriter
  • [SPARK-42077] [ SC-120553][connect][PYTHON] 字面值应在不支持的 DataType 中引发 TypeError
  • [SPARK-42108] [SC-120898][sql] 使分析器将Count(*)转换为Count(1)
  • [SPARK-41666] [SC-120928][sc-119009][PYTHON] 支持参数化 SQL，由sql()提供支持
  • [SPARK-40599] [ SC-120930][sql] 放宽 multiTransform 规则类型，允许替代项为任何类型的 Seq
  • [SPARK-41574] [ SC-120771][sql] 更新 _LEGACY_ERROR_TEMP_2009 为 INTERNAL_ERROR.
  • [SPARK-41579] [SC-120770][sql] 为_LEGACY_ERROR_TEMP_1249指派名称
  • [SPARK-41974] [SC-120766][sql] 将INCORRECT_END_OFFSET转换为INTERNAL_ERROR
  • [SPARK-41530] [ SC-120916][sc-118513][CORE] 将 MedianHeap 重命名为 PercentileMap 并支持百分位
  • [SPARK-41757] [ SC-120608][spark-41901][CONNECT] 修复 Column 类的字符串表示形式
  • [SPARK-42084] [ SC-120775][sql] 避免泄露限定的访问限制
  • [SPARK-41973] [SC-120765][sql] 为_LEGACY_ERROR_TEMP_1311分配名称
  • [SPARK-42039] [SC-120655][sql] SPJ：删除 KeyGroupedPartitioning#partitionValuesOpt 中的选项
  • [SPARK-42079] [SC-120712][connect][PYTHON] 重命名 proto 消息toDFwithColumnsRenamed
  • [SPARK-42089] [ SC-120605][connect][PYTHON] 修复嵌套 lambda 函数中的变量名称问题
  • [SPARK-41982] [ SC-120604][sql] 类型字符串的分区不应被视为数值类型
  • [SPARK-40599] [ SC-120620][sql] 将 multiTransform 方法添加到 TreeNode 以生成替代项
  • [SPARK-42085] [ SC-120556][connect][PYTHON] 使 from_arrow_schema 支持嵌套类型
  • [SPARK-42057] [ SC-120507][sql][PROTOBUF] 修复错误报告中的异常处理方法。
  • [SPARK-41586] [12.x][所有测试][SC-120544][python] 介绍 pyspark.errors PySpark 的错误类。
  • [SPARK-41903] [ SC-120543][connect][PYTHON] Literal 应支持 1-dim ndarray
  • [SPARK-42021] [SC-120584][connect][PYTHON] 使createDataFramearray.array得到支持
  • [SPARK-41896] [ SC-120506][sql] 按行索引筛选返回空结果
  • [SPARK-41162] [ SC-119742][sql] 修复了使用聚合进行自联接的反联接和半联接
  • [SPARK-41961] [ SC-120501][sql] 支持带有 LATERAL 的表值函数
  • [SPARK-41752] [ SC-120550][sql][UI] 将嵌套执行项汇集到根执行项之下
  • [SPARK-42047] [ SC-120586][spark-41900][CONNECT][python][12.X] 文本应支持 Numpy 数据类型
  • [SPARK-42028] [ SC-120344][connect][PYTHON] 截断纳秒时间戳
  • [SPARK-42011] [SC-120534][connect][PYTHON] 实现 DataFrameReader.csv
  • [SPARK-41990] [SC-120532][sql] 在 V1 到 V2 筛选器转换中使用FieldReference.column而不是apply
  • [SPARK-39217] [ SC-120446][sql] 使 DPP 支持对包含 Union 的部分进行裁剪
  • [SPARK-42076] [SC-120551][connect][PYTHON] 将数据转换为arrow -> rowsconversion.py
  • [SPARK-42074] [SC-120540][sql] 在KryoSerializer中启用TPCDSQueryBenchmark以强制实施 SQL 类注册
  • [SPARK-42012] [ SC-120517][connect][PYTHON] 实现 DataFrameReader.orc
  • [SPARK-41832] [ SC-120513][connect][PYTHON] 修复 DataFrame.unionByName，添加“allow_missing_columns”
  • [SPARK-38651] [SC-120514] [SQL] 添加 spark.sql.legacy.allowEmptySchemaWrite
  • [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert 应接受 ExpressionProxy 作为子级
  • [SPARK-41232] [ SC-120073][sql][PYTHON] 添加“array_append”函数
  • [SPARK-42041] [ SC-120512][spark-42013][CONNECT][python] DataFrameReader 应支持路径列表
  • [SPARK-42071] [SC-120533][core] 注册 scala.math.Ordering$Reverse 到 KyroSerializer
  • [SPARK-41986] [ SC-120429][sql] 在 SinglePartition 上引入随机显示
  • [SPARK-42016] [SC-120428][connect][PYTHON] 启用与嵌套列相关的测试
  • [SPARK-42042] [ SC-120427][connect][PYTHON] DataFrameReader 应支持 StructType 架构
  • [SPARK-42031] [ SC-120389][core][SQL] 清理那些无需重写的方法
  • [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] 使 createDataFrame(rows/lists/tuples/dicts) 支持嵌套类型
  • [SPARK-41437] [ SC-117601][sql][ALL TESTS] 不要对适用于 v1 写回回退机制的输入查询进行两次优化
  • [SPARK-41840] [ SC-119719][connect][PYTHON] 添加缺少的别名 groupby
  • [SPARK-41846] [ SC-119717][connect][PYTHON] 为窗口函数启用文档测试
  • [SPARK-41914][SC-120094][sql] FileFormatWriter 在访问“outputOrdering”之前实现 AQE 计划
  • [SPARK-41805] [ SC-119992][sql] 在 WindowSpecDefinition 中重复使用表达式
  • [SPARK-41977] [ SC-120269][spark-41978][CONNECT] SparkSession.range 以浮点作为参数
  • [SPARK-42029] [SC-120336][connect] 在connect-common添加 Guava Shading 规则以避免启动失败
  • [SPARK-41989] [ SC-120334][python] 避免破坏 pyspark.pandas 的日志记录配置
  • [SPARK-42003] [ SC-120331][sql] 减少 ResolveGroupByAll 中的重复代码
  • [SPARK-41635] [ SC-120313][sql] 修复“按全部分组”错误报告问题
  • [SPARK-41047] [SC-120291][sql] 改进关于取整功能的文档
  • [SPARK-41822] [ SC-120122][connect] 为 Scala/JVM 客户端设置 gRPC 连接
  • [SPARK-41879] [ SC-120264][connect][PYTHON] 使 DataFrame.collect 支持嵌套类型
  • [SPARK-41887] [SC-120268][connect][PYTHON] 使 DataFrame.hint 能够接受列表类型参数
  • [SPARK-41964] [ SC-120210][connect][PYTHON] 添加不受支持的 IO 函数列表
  • [SPARK-41595] [ SC-120097][sql] 支持 FROM 子句中的生成器函数展开/展开外部
  • [SPARK-41957] [ SC-120121][connect][PYTHON] 启用 DataFrame.hint 的 doctest
  • [SPARK-41886] [ SC-120141][connect][PYTHON] DataFrame.intersect doctest 输出的顺序不同
  • [SPARK-41442] [ SC-117795][sql][ALL TESTS] 仅当与有效指标合并时更新 SQLMetric 值
  • [SPARK-41944] [ SC-120046][connect] 在本地远程模式处于打开状态时传递配置
  • [SPARK-41708] [ SC-119838][sql] 将 v1write 信息拉取到 WriteFiles
  • [SPARK-41780] [SC-120000][sql] 应在参数无效时抛出 INVALID_PARAMETER_VALUE PATTERN
  • [SPARK-41889] [ SC-119975][sql] 将根本原因附加到 invalidPatternError 和重构错误类INVALID_PARAMETER_VALUE
  • [SPARK-41860] [ SC-120028][sql] 生成 AvroScanBuilder 和 JsonScanBuilder 事例类
  • [SPARK-41945] [SC-120010][connect][PYTHON] Python：使用 pyarrow 连接客户端丢失的列数据。Table.to_pylist
  • [SPARK-41690] [ SC-119102][sc-119087][SQL][connect] 不可知编码器
  • [SPARK-41354] [SC-119995][connect][PYTHON] 实现 RepartitionByExpression
  • [SPARK-41581] [SC-119997][sql] 更新 _LEGACY_ERROR_TEMP_1230 为 INTERNAL_ERROR
  • [SPARK-41928] [ SC-119972][connect][PYTHON] 添加不支持列表 functions
  • [SPARK-41933] [ SC-119980][connect] 提供自动启动服务器的本地模式
  • [SPARK-41899] [ SC-119971][connect][PYTHON] createDataFrame' 应尊重用户提供的 DDL 架构
  • [SPARK-41936] [ SC-119978][connect][PYTHON] 复用 withMetadatawithColumns proto
  • [SPARK-41898] [SC-119931][connect][PYTHON] Window.rowsBetween，Window.rangeBetween 参数类型检查与 pyspark 的一致性
  • [SPARK-41939] [SC-119977][connect][PYTHON] 添加不受支持的函数列表catalog
  • [SPARK-41924] [ SC-119946][connect][PYTHON] 使结构类型支持元数据并实现 DataFrame.withMetadata
  • [SPARK-41934] [ SC-119967][connect][PYTHON] 添加不受支持的函数列表 session
  • [SPARK-41875] [SC-119969][connect][PYTHON] 添加测试用例 Dataset.to()
  • [SPARK-41824] [ SC-119970][connect][PYTHON] 忽略用于连接解释的doctest
  • [SPARK-41880] [ SC-119959][connect][PYTHON] 使函数 from_json 接受非文本架构
  • [SPARK-41927] [ SC-119952][connect][PYTHON] 添加不受支持的列表 GroupedData
  • [SPARK-41929] [SC-119949][connect][PYTHON] 添加函数 array_compact
  • [SPARK-41827] [ SC-119841][connect][PYTHON] 使 GroupBy 能够接受列清单
  • [SPARK-41925] [SC-119905][sql] 默认情况下启用spark.sql.orc.enableNestedColumnVectorizedReader
  • [SPARK-41831] [ SC-119853][connect][PYTHON] 使 DataFrame.select 接受列列表
  • [SPARK-41455] [ SC-119858][connect][PYTHON] 去除 DataFrame.collect 时区信息
  • [SPARK-41923] [SC-119861][connect][PYTHON] 将 DataFrame.writeTo 添加到不支持的列表中
  • [SPARK-41912] [ SC-119837][sql] 子查询不应验证 CTE
  • [SPARK-41828] [ SC-119832][connect][PYTHON][12.x] 使createDataFrame能够支持空数据帧
  • [SPARK-41905] [ SC-119848][connect] 支持在切片中将名称作为字符串
  • [SPARK-41869] [ SC-119845][connect] 禁止在 dropDuplicates 中使用单个字符串
  • [SPARK-41830] [SC-119840][connect][PYTHON] 使 DataFrame.sample 接受与 PySpark 相同的参数
  • [SPARK-41849] [SC-119835][connect] 实现 DataFrameReader.text
  • [SPARK-41861] [ SC-119834][sql] 让 v2 ScanBuilders 的 build() 返回特定类型的扫描
  • [SPARK-41825] [SC-119710][connect][PYTHON] 启用与文档测试相关的测试DataFrame.show
  • [SPARK-41855] [ SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] 使 createDataFrame 能够正确处理 None/NaN
  • [SPARK-41833] [ SC-119685][spark-41881][SPARK-41815][connect][PYTHON] 正确处理None/NaN/Array/Binary
  • [SPARK-39318] [ SC-119713][sql] 删除 tpch-plan-stability WithStats 黄金文件
  • [SPARK-41791] [SC-119745] 添加新的文件源元数据列类型
  • [SPARK-41790] [ SC-119729][sql] 正确设置 TRANSFORM 读取器和编写器的格式
  • [SPARK-41829] [ SC-119725][connect][PYTHON] 在Sort和sortWithinPartitions中添加缺少的排序参数。
  • [SPARK-41576] [SC-119718][sql] 将名称分配给_LEGACY_ERROR_TEMP_2051
  • [SPARK-41821][SC-119716][connect][PYTHON] 修复 DataFrame.describe 的文档测试
  • [SPARK-41871] [ SC-119714][connect] DataFrame 提示参数可以是 str、float 或 int
  • [SPARK-41720] [ SC-119076][sql] 将 UnresolvedFunc 重命名为 UnresolvedFunctionName
  • [SPARK-41573] [SC-119567][sql] 将名称分配给 _LEGACY_ERROR_TEMP_2136
  • [SPARK-41862] [ SC-119492][sql] 修复与Orc读取器中默认值相关的正确性问题
  • [SPARK-41582] [ SC-119482][sc-118701][CORE][sql] 重用 INVALID_TYPED_LITERAL 而不是 _LEGACY_ERROR_TEMP_0022

维护更新

请参阅 Databricks Runtime 12.2 维护更新。

系统环境

  • 作系统：Ubuntu 20.04.5 LTS
    • 注意：这是 Databricks Runtime 容器使用的 Ubuntu 版本。 Databricks Runtime 容器在云提供程序的虚拟机上运行，该虚拟机可能使用不同的 Ubuntu 版本或 Linux 分发版。
  • Java：Zulu 8.68.0.21-CA-linux64
  • Scala：2.12.15
  • Python：3.9.21
  • R：4.2.2
  • Delta Lake：2.2.0

已安装Python库

程序库 版本 程序库 版本 程序库 版本
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
属性 21.4.0 回调 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 黑色 22.3.0 漂白剂 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer (字符集正常化工具) 2.0.4
单击 8.0.4 加密 3.4.8 骑行者 0.11.0
Cython 0.29.28 dbu-python 1.2.16 debugpy 1.5.1
修饰器 5.1.1 defusedxml 0.7.1 distlib 0.3.6
从文档字符串到Markdown 0.11 入口点 0.4 执行 0.8.3
各个方面概述 1.0.0 fastjsonschema 2.16.2 文件锁 (filelock) 3.9.0
fonttools（字体工具） 4.25.0 IDNA 3.3 ipykernel 6.15.3
ipython 8.5.0 ipython-genutils（IPython通用工具） 0.2.0 ipywidgets 7.7.2
jedi 0.18.1 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.1.1 jsonschema 4.4.0 Jupyter客户端 6.1.12
jupyter_core（Jupyter核心） 4.11.2 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.2 MarkupSafe 2.0.1 matplotlib 3.5.1
matplotlib-inline 0.1.2 麦卡贝 0.7.0 mistune 0.8.4
mypy-extensions 0.4.3 nbclient 0.5.13 nbconvert 6.4.4
nbformat 5.3.0 nest-asyncio 1.5.5 nodeenv 1.7.0
笔记本 6.4.8 numpy 1.21.5 包装 21.3
熊猫 1.4.2 pandocfilters 1.5.0 帕尔索 0.8.3
pathspec 0.9.0 替罪羊 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 枕头 9.0.1 果仁 21.2.4
platformdirs 2.6.2 plotly 5.6.0 Pluggy (Python库) 1.0.0
prometheus-client 0.13.1 prompt-toolkit 3.0.20 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 7.0.0 Python代码解析器 2.21
pyflakes 2.5.0 Pygments 2.11.2 PyGObject 3.36.0
pyodbc 4.0.32 pyparsing Python解析库 3.0.4 pyright 1.1.283
pyrsistent（持久性，类似于 persistent 的 Python 包） 0.18.0 python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0
python-lsp-server 1.6.0 pytz 2021.3 pyzmq 22.3.0
请求 2.27.1 requests-unixsocket 0.2.0 绳子 0.22.0
s3transfer 0.5.0 scikit-learn（机器学习库） 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 61.2.0
6 1.16.0 汤滤器 2.3.1 ssh-import-id 5.10
堆栈数据 0.2.0 statsmodels 0.13.2 毅力 8.0.1
完成 0.13.1 测试路径 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 龙卷风 6.1
Traitlets 5.1.1 输入扩展 (typing_extensions) 4.1.1 ujson 5.1.0
无人参与升级 0.1 urllib3 1.26.9 virtualenv 20.8.0
wcwidth 0.2.5 Web编码 0.5.1 whatthepatch (一种用于查看和编辑补丁文件的工具) 1.0.4
wheel 0.37.0 widgetsnbextension 3.6.1 yapf 0.31.0

已安装的 R 库

R 库是从 2022-11-11 的 Microsoft CRAN 快照中安装的。 快照不再可用。

程序库 版本 程序库 版本 程序库 版本
箭头 10.0.0 askpass 1.1 证明 (assertthat) 0.2.1
回移补丁 1.4.1 基础映像 4.2.2 base64enc 0.1-3
位 4.0.4 bit64 4.0.5 blob 1.2.3
启动 1.3-28 酿造/冲泡 1.0-8 活力 1.1.3
扫帚 1.0.1 bslib 0.4.1 卡齐姆 1.0.6
调用方 3.7.3 插入符号 6.0-93 cellranger (细胞测序工具) 1.1.0
chron 2.3-58 类 7.3-21 cli 3.4.1
剪辑器 0.8.0 时钟 0.6.1 群集 2.1.4
codetools 0.2至19 色彩空间 2.0-3 commonmark 1.8.1
编译器 4.2.2 配置 0.3.1 cpp11 0.4.3
蜡笔 1.5.2 凭据 1.3.2 卷曲 4.3.3
数据表 (data.table) 1.14.4 数据集 4.2.2 DBI 1.1.3
dbplyr 2.2.1 desc 1.4.2 devtools 2.4.5
diffobj 0.3.5 摘要 0.6.30 向下照明 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
省略号 0.3.2 评估 0.18 fansi 1.0.3
颜色 2.1.1 快速映射 1.1.0 fontawesome 0.4.0
猫咪 0.5.2 foreach 1.5.2 外国 0.8-82
锻造 0.2.0 文件系统 (if fs stands for "file system") 1.5.2 未来 1.29.0
future.apply 1.10.0 漱口 1.2.1 泛型 0.1.3
格尔特 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 全局变量 0.16.1
胶水 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
高尔 1.0.0 图形 4.2.2 grDevices 4.2.2
网格 4.2.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.1 安全帽 1.2.0 避风港 2.5.1
更高 0.9 赫姆斯 1.1.2 HTML工具 0.5.3
HTML小插件 1.5.4 httpuv 1.6.6 httr 1.4.4
IDS 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 迭代器 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 针织器 1.40
标记 0.4.2 稍后 1.3.0 格子 0.20-45
熔岩 1.7.0 生命周期 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
质量 7.3-58.2 矩阵 1.5-1 缓存 2.0.1
方法 4.2.2 mgcv 1.8-41 默剧 0.12
迷你用户界面 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
蒙塞尔 0.5.0 nlme 3.1-162 nnet 7.3-18
numDeriv 2016年8月至1月1日 openssl（开放SSL） 2.0.4 平行 4.2.2
并行 1.32.1 柱子 1.8.1 pkgbuild (软件包构建工具) 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
普洛格 0.2.0 普莱尔 1.8.7 赞美 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 进度 1.2.2
progressr 0.11.0 承诺 1.2.0.1 原型 (proto) 1.0.0
代理 0.4-27 附注 (ps) 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
随机森林 (randomForest) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr（阅读器） 2.1.3 readxl 1.4.1 食谱 1.0.3
重赛 1.0.1 rematch2 2.1.2 遥控器 2.4.2
可复现示例 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown（R语言动态文档生成工具） 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-12
RSQLite 2.2.18 rstudioapi 0.14 rversions 2.1.2
rvest 1.0.3 Sass（CSS预处理器） 0.4.2 磅秤 1.2.1
选择器 0.4-2 会话信息 1.2.2 形状 1.4.6
光亮 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.2 空间 7.3-11 样 条 4.2.2
sqldf（R环境中的数据库操作软件包） 0.4-11 SQUAREM 2021年1月 统计数据 4.2.2
统计数据4 4.2.2 字符串 1.7.8 stringr 1.4.1
生存 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 文本整形 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse（数据分析工具包） 1.3.2 时间变化 0.1.1 时间日期 4021.106
tinytex 0.42 工具 4.2.2 tzdb 0.3.0
URL检查器 1.0.1 usethis 2.1.6 utf8 1.2.2
实用工具 4.2.2 UUID（通用唯一识别码） 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 vroom 1.6.0 瓦尔多 0.4.0
晶 须 0.4 无改动（具体含义和背景需要更多信息） 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 压缩包 2.2.2

已安装Java和 Scala 库（Scala 2.12 群集版本）

组标识符 构件 ID 版本
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis 客户端 1.12.0
com.amazonaws AWS Java SDK 自动扩展 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws AWS Java SDK CloudFront 1.12.189
com.amazonaws AWS-Java-SDK-云HSM 1.12.189
com.amazonaws AWS Java SDK 云搜索 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws AWS Java SDK CodeDeploy（AWS Java 软件开发工具包 CodeDeploy） 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config（AWS Java SDK 配置） 1.12.189
com.amazonaws aws-java-sdk-core (AWS Java软件开发工具包核心) 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws AWS Java SDK Direct Connect（直连） 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk（AWS Java 开发工具包 - Elastic Beanstalk） 1.12.189
com.amazonaws aws-java-sdk-弹性负载均衡 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder（AWS Java SDK弹性转码器） 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws AWS Java SDK Glacier 1.12.189
com.amazonaws AWS Java SDK Glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws AWS Java SDK 导入导出 (aws-java-sdk-importexport) 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws AWS Java 软件开发工具包 - KMS 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs（AWS Java开发包日志） 1.12.189
com.amazonaws AWS-Java-SDK-机器学习 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws AWS Java SDK 存储网关 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws AWS Java SDK支持 1.12.189
com.amazonaws AWS-Java-SDK-SWF-库 1.11.22
com.amazonaws aws-java-sdk-workspaces（Amazon Java SDK 工作空间） 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 数据流 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware 请参阅当前使用说明以确定"kryo-shaded"的中文翻译如果有区别。 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml 同学 1.3.4
com.fasterxml.jackson.core Jackson注解 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor（Jackson的CBOR数据格式） 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda（杰克逊数据类型-Joda） 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine 咖啡因 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 核心 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib 原生系统-Java 1.1
com.github.fommil.netlib native_system-Java原生代码 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink 丁克 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 番石榴 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger 探查器 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi 源代码_2.12 0.1.9
com.microsoft.azure Azure 数据湖存储 SDK 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf (LZF压缩算法) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses 镜头_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 配置 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers解析器 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec（公共编解码器） commons-codec（公共编解码器） 1.15
commons-collections (通用集合库) commons-collections (通用集合库) 3.2.2
commons-dbcp commons-dbcp 1.4
公共文件上传 公共文件上传 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging（日志库） commons-logging（日志库） 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib BLAS 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 空气压缩机 0.21
io.delta delta-sharing-spark_2.12 0.6.3
io.dropwizard.metrics 度量核心 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics 指标-健康检查 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics 指标-JMX 4.1.1
io.dropwizard.metrics 指标-json 4.1.1
io.dropwizard.metrics 指标-JVM 4.1.1
io.dropwizard.metrics 指标-Servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer（Netty缓存） 4.1.74.Final
io.netty Netty编解码器 4.1.74.Final
io.netty Netty-Common（网络通用组件） 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver (Netty 解析器) 4.1.74.Final
io.netty Netty TcNative 类 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty Netty传输-本机-Unix-通用 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus 简单客户端通用 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 激活 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 交易接口 (transaction-api) 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine 泡菜 1.2
net.sf.jpam 杰潘 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake Snowflake 数据导入 SDK 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc（远程调用协议库） 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate (字符串模板) 3.2.1
org.apache.ant 蚂蚁 1.9.2
org.apache.ant ant-jsch（Java的SSH库） 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow 箭头格式 7.0.0
org.apache.arrow 箭头内存核心 7.0.0
org.apache.arrow 箭头内存网状系统 7.0.0
org.apache.arrow 箭头向量 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4（通用集合库） 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 策展人与客户 2.13.0
org.apache.curator Curator框架 2.13.0
org.apache.curator 策展人食谱 2.13.0
org.apache.derby 德比 10.14.2.0
org.apache.hadoop Hadoop客户端API 3.3.4-databricks
org.apache.hadoop Hadoop 客户端运行时 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-垫片 2.3.9
org.apache.hive 蜂巢存储API 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy 常春藤 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
\ org.apache.orc orc-core 1.7.6
\ org.apache.orc orc-mapreduce 1.7.6
\ org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-column 1.12.3-databricks-0002
org.apache.parquet parquet-common 1.12.3-databricks-0002
org.apache.parquet Parquet 编码 1.12.3-databricks-0002
org.apache.parquet Apache Parquet 格式结构 1.12.3-databricks-0002
org.apache.parquet parquet-hadoop 1.12.3-databricks-0002
org.apache.parquet parquet-jackson 1.12.3-databricks-0002
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus 听众批注 0.13.0
org.apache.zookeeper 动物园管理员 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl (Jackson核心库 - ASL) 1.9.13
org.codehaus.jackson 杰克逊映射器-ASL 1.9.13
org.codehaus.janino commons-compiler（通用编译器） 3.0.16
org.codehaus.janino 雅尼诺 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty Jetty-HTTP 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty 码头安全 9.4.46.v20220331
org.eclipse.jetty jetty-server（Jetty服务器） 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util（Jetty工具库） 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty Jetty 网页应用 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket API 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket客户端 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket-通用 9.4.46.v20220331
org.eclipse.jetty.websocket WebSocket服务器 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-定位器 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator (OSGi 资源定位器) 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers Jersey容器Servlet核心 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator Hibernate验证器 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss 日志 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 注释 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 2.1.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap 垫片 0.9.25
.rocksdb rocksdbjni 6.28.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 测试界面 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark 未使用 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
(org.wildfly.openssl) WildFly-OpenSSL 1.0.7.最终版
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
斯塔克斯 stax-api 1.0.1
  • Last updated on