Databricks Runtime 17.2 （EoS）

以下发行说明提供有关由 Apache Spark 4.0.0 提供支持的 Databricks Runtime 17.2 的信息。

此版本包含所有以前 Databricks Runtime 版本中的所有功能、改进和 bug 修复。 Databricks 于 2025 年 9 月发布了此版本。

行为变更

• DESCRIBE CONNECTION 显示 JDBC 连接的环境设置
• 在托管表迁移期间截断统一历史记录的选项
• 流式处理查询中 Delta 读取选项的 SQL 语法
• 空正则表达式和正限的正确结果split
• 在 Photon 中修复 url_decode 和 try_url_decode 错误处理
• Unity Catalog Python UDTF 的共享执行环境
• 默认情况下为新表启用行跟踪
• TABLE 参数支持 Unity Catalog Python UDTF

DESCRIBE CONNECTION 显示 JDBC 连接的环境设置

Azure Databricks现在在支持自定义驱动程序和隔离运行的 JDBC 连接的 DESCRIBE CONNECTION 输出中包含用户定义的环境设置。 其他连接类型保持不变。

在托管表迁移期间截断统一历史记录的选项

现在，您可以使用 ALTER TABLE...SET MANAGED 在迁移启用了 Uniform/Iceberg 的表时，截断统一历史记录。 这简化了迁移，减少了与手动禁用和重新启用 Uniform 相比的停机时间。

流式查询中 Delta 读取选项的 SQL 语法

现在，您可以在基于 SQL 的流式查询中使用WITH子句指定增量读取选项。 例如：

SELECT * FROM STREAM tbl WITH (SKIPCHANGECOMMITS=true, STARTINGVERSION=X);

使用空正则表达式和正数限制的正确结果split

现在，当将 split function 与空正则表达式和正限制一起使用时，Azure Databricks将返回正确的结果。 以前，函数错误地截断了剩余的字符串，而不是在最后一个元素中包含它。

在 Photon 中修复 url_decode 和 try_url_decode 错误处理

在 Photon 中，对于无效的 URL 编码字符串，try_url_decode() 和 url_decode() 与 failOnError = false 现在返回 NULL，而不是导致查询失败。

Unity Catalog Python UDTF 的共享执行环境

Azure Databricks 现在从同一所有者和 Spark 会话中共享Python 用户定义的表函数（UDTF）的执行环境。 可选 STRICT ISOLATION 子句可用于禁用 UDDF 的共享，其副作用包括修改环境变量或执行任意代码。

默认情况下为新表启用行跟踪

Azure Databricks现在为所有新创建的 Unity Catalog 托管表默认启用行跟踪。 现有表不会受到影响，并将继续使用其当前的行跟踪设置。

TABLE 对 Unity Catalog Python UDTF 的参数支持

Unity 目录Python UDF 支持 TABLE 参数，使函数能够接受整个表作为输入参数，从而允许对结构化数据集进行更复杂的数据转换和聚合。 请参阅 Unity 目录中的Python用户定义的表函数（UDF）。 （从 17.3 LTS 回移植）。

新功能和改进

• LIKE 支持UTF8_LCASE排序规则
• st_exteriorring 函数现在受支持
• 在 EXPLAIN 和 Spark UI 中显示远程扫描的下推详细信息
• 在单个 DECLARE 语句中声明多个会话或局部变量
• 支持为指标视图创建 TEMPORARY 关键字
• 支持具有精细访问控制的其他命令
• 选择性地和原子性地用 INSERT REPLACE USING 和 INSERT REPLACE ON 替换数据（GA）
• 在 S3 上使用原生 I/O LokiFileSystem.getFileStatus
• 默认情况下为 Spark 上的 Pandas API 启用 ANSI 模式
• 自动加载程序在 singleVariantColumn 模式下推导出分区列

LIKE 支持UTF8_LCASE排序规则

运算符 LIKE 现在支持 UTF8_LCASE 排序规则，允许不区分大小写的匹配。

st_exteriorring 函数现在受支持

现在可以使用函数 st_exteriorring 提取多边形的外部边界，并将其作为线字符串返回。 请参阅 st_exteriorring 函数。

显示 EXPLAIN 的远程扫描下推详细信息和 Spark UI

EXPLAIN专用计算上的命令和 Spark UI RemoteSparkConnectScan 现在显示谓词、聚合、按子句分组、限制和向下推送到远程扫描的示例。

在单个 DECLARE 语句中声明多个会话或局部变量

在 Databricks Runtime 17.2 及更高版本中，可以在单个 DECLARE 语句中声明具有相同类型和默认值的多个会话或局部变量。 请参阅 DECLARE VARIABLE 和 BEGIN END 复合语句。

支持 TEMPORARY 关键字用于指标视图创建

现在可以在创建指标视图时使用 TEMPORARY 关键字。 临时指标视图仅在创建临时指标视图的会话中可见，并在会话结束时被删除。 请参阅 CREATE VIEW。

支持具有精细访问控制的其他命令

专用计算上的精细访问控制 现在支持 FSCK REPAIR TABLE 和 DESCRIBE DETAIL 命令。

选择性并以原子方式用INSERT REPLACE USING 和INSERT REPLACE ON（GA）替换数据

INSERT REPLACE USING 和 INSERT REPLACE ON 现在在 Databricks Runtime 17.2 中已正式发布。 这两个 SQL 命令将表的一部分替换为查询结果。

INSERT REPLACE USING 当列在相等性下比较相等时 USING 替换行。 INSERT REPLACE ON 当行与用户定义的条件匹配时，将替换行。

请参阅 INSERT SQL 语言参考， 选择性地使用 Delta Lake 覆盖数据。

使用原生 I/O 于 S3 上 LokiFileSystem.getFileStatus

LokiFileSystem.getFileStatus 现在使用本机 I/O 堆栈处理 Amazon S3 流量，并返回 org.apache.hadoop.fs.FileStatus 对象而不是 shaded.databricks.org.apache.hadoop.fs.s3a.S3AFileStatus。

默认情况下为 Spark 上的 Pandas API 启用 ANSI 模式

ANSI_MODE现在在带有的 Spark 上默认启用compute.ansi_mode_support=True，这可确保与原生 pandas 的 ANSI 合规性一致性。 如果compute.fail_on_ansi_mode设置为 compute.ansi_mode_support.，则此选项False仍适用。

自动加载程序在 singleVariantColumn 模式下推断分区列

使用 singleVariantColumn 选项将数据作为半结构化变体类型引入时，自动加载工具现在可以从文件路径推断分区列。 以前，不会自动检测到分区列。 请参阅 自动加载程序选项。

图书馆升级

更新Python库：

此版本中未升级任何Python库。

升级后的 R 库：

此版本中未升级 R 库。

升级版 Java 库。

• io.delta.delta-sharing-client_2.13 从 1.3.3 到 1.3.5

Apache Spark

Databricks Runtime 17.2 包括 Apache Spark 4.0.0。 此版本包括以前版本中包含的所有 Spark 修复和改进，以及以下内容：

• SPARK-53183 使用 Java Files.readString 而不是 o.a.s.sql.catalyst.util.fileToString
• SPARK-51817 在 messageParameters 中重新引入 CAST_INVALID_INPUT 和 CAST_OVERFLOW 的 ansiConfig 字段
• SPARK-53124 从 JsonTuple 中修剪不必要的字段
• SPARK-53106 为 TWS Scala spark 连接套件添加架构演变测试
• SPARK-53201 使用 SparkFileUtils.contentEquals 而不是 Files.equal
• SPARK-53308 请勿在 RemoveRedundantAliases 中删除会导致重复项的别名
• SPARK-53241支持createArraySparkCollectionUtils
• SPARK-53239通过MapSort提升SortArrayparallelSort性能
• SPARK-53184 修复值列混合字符串和数字时的mel（）
• SPARK-53144 在 SparkConnectPlanner 中使 CreateViewCommand 无副作用
• SPARK-53303 在 TWS 中未提供初始状态时使用空状态编码器
• SPARK-52917 读取支持以启用 XML 格式中的二进制数据的往返转换
• SPARK-53110 在 PySpark 中实现 time_trunc 函数
• SPARK-53107 在 Scala 中实现 time_trunc 函数
• SPARK-52146 检测 SQL UDF 中的循环函数引用
• SPARK-52469使用 JEP 223 API 处理Java版本
• SPARK-53094 修复包含 HAVING 子句的聚合操作中的多维数据集问题
• SPARK-51874 为 Scala 枚举添加 TypedConfigBuilder
• SPARK-53287 添加 ANSI 迁移指南
• SPARK-43100 必须正确反序列化基于推送的随机指标
• SPARK-53045 DESCRIBE EXTENDED 应能够容忍损坏的元数据
• SPARK-53114在join中JavaUtils支持
• SPARK-53297 修复 StreamingTable 声明式管道 API docstring
• SPARK-53181 在 ANSI 下启用文档测试功能
• SPARK-52482 改进读取某些损坏的 zstd 文件的异常处理机制
• SPARK-52990 支持 StringSubstitutor
• SPARK-51874 为 Scala 枚举添加 TypedConfigBuilder
• SPARK-53169 从中删除与“Set the logger level of File Appender to”相关的注释 log4j2.properties
• SPARK-53080支持在和中
• SPARK-53045 DESCRIBE EXTENDED 应能够容忍损坏的元数据
• SPARK-53000在模块中StringUtils.scala重命名StringConcat.scala为sql/api
• SPARK-52952 添加 PySpark UDF 类型强制开发脚本
• SPARK-52998 声明内的多个变量
• SPARK-51817 在 messageParameters 中重新引入 CAST_INVALID_INPUT 和 CAST_OVERFLOW 的 ansiConfig 字段
• SPARK-52820 在黄金档案中记录完整计划
• SPARK-53274 支持 JDBCScanBuilder 中的向左和右联接下推
• SPARK-52110 实现对管道的 SQL 语法支持
• SPARK-52950 在 DataSourceV2StrategySuite 中启用 ANSI 模式
• SPARK-52947 修复声明性管道编程指南中的映像路径
• SPARK-52592 支持从 ps.Series 创建 ps.Series
• SPARK-53301 区分 Pandas UDF 和 Arrow UDF 的类型提示
• SPARK-53146 在 SparkConnectPlanner 中使 MergeIntoTable 无副作用
• SPARK-53166SparkExitCode.EXIT_FAILURE在对象中使用SparkPipelines
• SPARK-53288 修复了全局流限制中的断言错误
• SPARK-52394 修复 ANSI 模式下的自动更正除零错误
• SPARK-51555 添加 time_diff（） 函数
• SPARK-52948 在 ANSI 下启用 test_np_spark_compat_frame
• SPARK-53134 清理测试中未使用的 ANSI 导入
• SPARK-52593 在 ANSI 模式下避免MultiIndex.to_series、Series.dot 和 DataFrame.dot的CAST_INVALID_INPUT
• SPARK-53291 修复值列的可空性
• SPARK-53097 使 SparkConnectPlanner 中的 WriteOperationV2 无副作用
• SPARK-53305 支持 createDataFrame 中的 TimeType
• SPARK-52914 支持在On-Demand Log Loading中滚动日志History Server
• SPARK-33538 直接将 IN/NOT 谓词推送到 Hive 元存储
• SPARK-52849 添加 stringifyException 到 o.a.s.util.Utils
• SPARK-52771 修复 float32 类型扩大 truediv/floordiv
• SPARK-52502 线程计数概述
• SPARK-52788 修复了将 BinaryType 类型中的二进制值转换为 XML 时出现的错误
• SPARK-53123 中的 getRootCause 在 SparkErrorUtils 中支持
• SPARK-53129改进SparkShell以默认导入java.net._
• SPARK-53061支持copyFileToDirectorySparkFileUtils
• SPARK-52683 支持 ExternalCatalog 的 alterTableSchema
• SPARK-52871 合并 o.a.s.sql.catalyst.util.SparkStringUtils 到 o.a.s.util.SparkStringUtils
• SPARK-52817 修复 Like 表达式性能
• SPARK-52545 标准化双引号转义以遵循 SQL 规范
• SPARK-52711修复 ANSI 下的 float32 类型扩大mul/rmul
• SPARK-52615 将 File.mkdirs 替换为 Utils.createDirectory
• SPARK-52381 JsonProtocol：仅接受 SparkListenerEvent 的子类
• SPARK-52613 在 HBase/Hive DelegationTokenProvider 遇到异常时还原打印完整堆栈跟踪
• SPARK-52651 在嵌套 ColumnVector 中处理用户定义的类型
• SPARK-52611 修复了 excludeSubqueryRefsFromRemoveRedundantAliases 的 SQLConf 版本...
• SPARK-52552 跳过对删除向量操作的 CHECK 约束检查
• SPARK-52587 spark-shell 2.13 支持 -i-I 参数
• SPARK-52492 使 InMemoryRelation.convertToColumnarIfPossible 可自定义
• SPARK-52451 使 SparkConnectPlanner 中的 WriteOperation 无副作用
• SPARK-53272 重构 BatchScanExec 中的 SPJ 下推逻辑
• SPARK-53071支持copyFileSparkFileUtils
• SPARK-51415 通过 make_timestamp() 支持时间数据类型
• SPARK-51554 添加 time_trunc（） 函数
• SPARK-52426 支持将 stdout/stderr 重定向到日志记录系统
• SPARK-51834 支持端到端表约束管理
• SPARK-53063 在 FileCommitProtocol 中实现和调用新的 API，而不是使用已弃用的 API
• SPARK-52546 检查 sparkContext 是否已在执行 execute() 函数的 catch 代码块时停止，否则将返回错误状态。
• SPARK-53023从commons-io模块中删除sql/api依赖项
• SPARK-52396 Artifact 根目录应使用 tmpdir
• SPARK-53131默认改进SparkShell为导入java.nio.file._
• SPARK-42322 将名称分配给_LEGACY_ERROR_TEMP_2235
• SPARK-51834 支持端到端表约束管理
• SPARK-52484 在 ColumnarToRowExec 中在 Driver 端跳过 child.supportsColumnar 的断言
• SPARK-52384 修复了一个 bug，使 Connect 对 JDBC 选项不区分大小写。
• SPARK-52034 在 SparkOperation 特征中添加用于 thriftserver 操作的常用方法
• SPARK-53031支持getFileSparkFileUtils
• SPARK-52976 修复Python UDF 不接受已排序的字符串作为输入参数/返回类型（17.x）
• SPARK-52943 为所有 pandas UDF 评估类型启用 arrow_cast
• SPARK-53263 支持 df.toArrow 中的 TimeType
• SPARK-53141 添加接口，从资源配置文件获取开销内存大小和堆外内存大小
• SPARK-53259 更正 INVALID_UDF_EVAL_TYPE 错误消息
• SPARK-53167 Spark 启动器 isRemote 还遵循属性文件
• SPARK-53165 加 SparkExitCode.CLASS_NOT_FOUND
• SPARK-53171 改进 UTF8String repeat 函数
• SPARK-53170 改进 SparkUserAppException 为具有 cause 参数
• SPARK-52989 向状态存储迭代器添加显式 close（） API
• SPARK-53074 避免在 SPJ 中进行部分聚类以满足子级所需的分布
• SPARK-52252 子查询中的 ScalaUDF 编码器应该被解析
• SPARK-53244 不要在创建视图期间存储启用了双运行和暂定模式的 conf
• SPARK-53192 始终在 Spark Connect 计划缓存中缓存数据源
• SPARK-51813 添加一个非空的 DefaultCachedBatchKryoSerializer 以避免在 DefaultCachedBatch 序列化和反序列化过程中传播 null
• SPARK-52904 重新应用“[SC-202233][python] 启用 convertToArrowArrayS...”
• SPARK-53253 修复类型为SQL_SCALAR_ARROW_ITER_UDF的UDF注册问题
• SPARK-53243 列出箭头节点中支持的 eval 类型
• SPARK-53130 修复 toJson 排序规则字符串类型的行为
• SPARK-53003 在 strip 中支持 SparkStringUtils
• SPARK-51902 同步 OSS：对表插入强制实施检查约束
• SPARK-52047 为不支持的绘图类型引发 PySparkValueError
• SPARK-53004支持abbreviateSparkStringUtils
• SPARK-53066 改进 EXPLAIN DSv2 Join 下推的输出
• SPARK-30848 从 TreeNode 中删除 productHash
• SPARK-53046 使用 Java readAllBytes而不是 IOUtils.toByteArray
• SPARK-53206 使用 SparkFileUtils.move 而不是 com.google.common.io.Files.move
• SPARK-53066 改进 EXPLAIN DSv2 Join 下推的输出
• SPARK-53069 修复了包含虚拟列系列的错误状态存储指标
• SPARK-52904 默认启用 convertToArrowArraySafely [17.x]
• SPARK-52821 添加 int-DecimalType> pyspark udf 返回类型强制转换
• SPARK-51562 添加 time 函数
• SPARK-52971 限制空闲Python工作线程队列大小
• SPARK-53057支持于 和
• SPARK-53040 禁止在递归 CTE 中的最顶层 CTE 内部出现自我引用
• SPARK-53104 引入 ansi_mode_context，以避免在每次 API 调用时多次检查配置
• SPARK-47547 添加 BloomFilter V2 并将其用作默认值
• SPARK-53098DeduplicateRelations 如果输出中仍然存在旧 ExprId 表达式，则不应重新映射表达式
• SPARK-53049支持toStringSparkStreamUtils
• SPARK-53062 支持 deleteQuietly 在 SparkFileUtils 和 JavaUtils 中
• SPARK-53070支持is(Not)?EmptySparkCollectionUtils
• SPARK-53020 JPMS 参数还应应用于非 SparkSubmit 进程
• SPARK-52968 导出附加的状态存储指标
• SPARK-52975 简化下推联接 SQL 中的字段名称
• SPARK-52926 为远程架构提取持续时间添加了 SQLMetric。
• SPARK-53059 Arrow UDF 无需依赖 pandas
• 在 ANSI 模式下避免 SPARK-52646 的 CAST_INVALID_INPUT __eq__
• SPARK-52622 避免在 ANSI 模式下出现 CAST_INVALID_INPUT 错误 DataFrame.melt
• SPARK-52985 在比较运算符中为 pandas 和 numpy 作为操作数时引发 TypeError
• SPARK-52580避免在 ANSI 模式下的 "CAST_INVALID_INPUT" replace
• SPARK-52549 从窗口函数和内部排序中禁用递归 CTE 自引用
• SPARK-52895 不要在 中添加重复元素 resolveExprsWithAggregate
• SPARK-50748 修复操作中断时发生的竞态条件问题
• SPARK-52737 在列出应用程序时，将谓词下推以及应用程序数量传递给 FsHistoryProvider
• SPARK-53018 ArrowStreamArrowUDFSerializer 应遵循参数“arrow_cast”
• SPARK-53013 修复 Arrow 优化的 Python UDTF 在横向联接上不返回行
• SPARK-51834 同步 OSS：支持端到端表约束更改 add/drop 约束
• SPARK-52921 为 UnionExec 指定 outputPartitioning，以实现与子运算符相同的输出分区
• SPARK-52908 防止迭代器变量名称与 AST 根路径中的标签名称冲突
• SPARK-52954 箭头 UDF 支持返回类型强制
• SPARK-52925 返回 rCTE 中锚点自引用的正确错误消息
• SPARK-52889 在 PySpark 中实现 current_time 函数
• SPARK-52675 中断测试中未响应的 ML 处理程序
• SPARK-52959 在使用 Apache Arrow 优化的 Python UDTF 中支持 UDT
• SPARK-52962 BroadcastExchangeExec 不应重置指标
• SPARK-52956 折叠项目时保留别名元数据
• SPARK-52890 在 PySpark 中实现to_time和try_to_time函数
• SPARK-52888 在 PySpark 中实现 make_time 函数
• SPARK-52892 支持 PySpark 中的 TIME 函数（小时、分钟和秒功能）
• SPARK-52837 支持 pyspark 中的 TimeType
• SPARK-52023 修复从自定义聚合函数 (udaf) 返回 Option[Product] 时的数据损坏/段错误
• SPARK-52955 将 WindowResolution.resolveOrder 和 WindowResolution.resolveFrame 的返回类型更改为 WindowExpression
• SPARK-52166 添加对 PipelineEvents 的支持
• SPARK-51834 修复：从 toDDL 中删除有效字段
• SPARK-52735 修复 SQL UDF 缺少错误条件
• SPARK-51834 将 OSS 支持端到端创建/替换表与约束同步
• SPARK-51834 同步 OSS 更新 ResolvedIdentifier 未应用调用
• SPARK-52929 支持 MySQL 和 SQLServer 的连接器用于 DSv2 Join 下推
• SPARK-52448 添加简化的结构表达式.Literal
• SPARK-52882 在 Scala 中实现 current_time 函数
• SPARK-52905 窗口的箭头 UDF
• SPARK-52876将拼写错误buffer修复为bodyChunkFetchSuccess.toString
• SPARK-52883 在 Scala 中实现to_time和try_to_time函数
• SPARK-52751 不要在dataframe['col_name']中急切地验证列名称
• SPARK-52791 修复了使用 null 第一个元素推断 UDT 时出现的错误
• SPARK-52686Union 仅当没有重复项时才应解析
• SPARK-52881 在 Scala 中实现 make_time 函数
• SPARK-52919 修复 DSv2 Join 下推以使用以前别名的列
• SPARK-52866 添加对 的支持 try_to_date
• SPARK-52846 在 JDBCRDD 中添加指标以获取结果集所需的时间
• SPARK-52859 添加 SparkSystemUtils 特征
• SPARK-52823 支持 Oracle 连接器的 DSv2 Join 下推
• SPARK-52165 为管道项目设置生成基架
• SPARK-52869 添加 FrameLessOffsetWindowFunction 验证以验证ResolvedWindowExpression 以便在单传递分析器中重复使用
• SPARK-52885 在 Scala 中为 TIME 类型实现小时、分钟和秒函数
• SPARK-52903 在 LCA 解析前修剪非顶级别名
• SPARK-52832 修复 JDBC 方言的标识符引用问题
• SPARK-52870 在语句中 FOR 正确引用变量名称
• SPARK-52859 添加 SparkSystemUtils 特征
• SPARK-52900使用SparkStringUtils.stringToSeqFsHistoryProvider
• SPARK-52809 不要保留任务完成侦听器中所有分区的读取器和迭代器引用，以便进行指标更新
• SPARK-52815 改进 SparkClassUtils 以支持 getAllInterfaces
• SPARK-52795 在状态存储日志中包含 runId
• SPARK-52779 支持 Connect 中的 TimeType 文本
• SPARK-52899 修复 QueryExecutionErrorsSuite 测试以恢复注册 H2Dialect
• SPARK-52862 修复Decimal('NaN')的可为null性检查
• SPARK-52214 使用 Arrow 的聚合 UDF
• SPARK-52787 围绕运行时和检查点区域重新组织流式执行目录
• SPARK-51564 采用 12 小时时钟格式的时间解析
• SPARK-52859 添加 SparkSystemUtils 特征
• SPARK-51562 添加 time 函数
• SPARK-52850 如果标识函数，请跳过调用转换
• SPARK-52863 清理旧 pandas 版本的代码路径
• SPARK-52516 在推进到 ParquetPartitionReaderFactory 中的下一个文件后，不要保留以前的迭代器引用
• SPARK-52848 避免在将 TIME/TIMESTAMP 转换为 DECIMAL 时进行类型转换 Double
• SPARK-52770 在连接协议 proto 中支持TIME类型
• SPARK-52842 单次遍历分析器的新功能和 bug 修复
• SPARK-52620 支持将 TIME 转换为 DECIMAL
• SPARK-52783 从 checkAnalysis 重构 windowFunction 验证逻辑，以便在单通道分析器中重复使用
• SPARK-51695 通过 DSv2 为唯一约束在 OSS 中同步创建、替换或更改表格。
• SPARK-51695 通过 DSv2 同步 OSS 删除约束
• SPARK-52824 CheckpointFileManager 错误分类
• SPARK-52829 修复 LocalDataToArrowConversion.convert 以正确处理空行
• SPARK-52811 优化 ArrowTableToRowsConversion.convert 以提高其性能
• SPARK-52796 优化 LocalDataToArrowConversion.convert 以提高其性能
• SPARK-51695 同步 OSS Alter Table 添加约束的解析器更改
• SPARK-52619 将 TimeType 转换为 IntegralType
• SPARK-52187 引入 DSv2 的 Join 操作的下推
• SPARK-52782 在日期/时间与 NULL 执行加减操作时返回 NULL
• SPARK-51695 引入解析器更改以支持表约束（CHECK、PK、FK）
• SPARK-52808spark.history.retainedApplications 应为正
• SPARK-52776 请勿在 ProcfsMetricsGetter 中拆分 comm 字段
• SPARK-52793支持isUnixo.a.s.util.Utils
• SPARK-52792 删除 commons-lang3 中的 network-common 依赖项
• SPARK-52797 在 Utils.isWindows 中使用 PythonWorkerFactory 来代替重新评估
• SPARK-52784 在 WindowFrameTypeCoercion.createBoundaryCast 中添加 TimeZoneAware 强制转换
• SPARK-52725 将资源配置文件管理器的初始化延迟，直到插件加载完成
• SPARK-52565 在其他排序顺序表达式之前强制实施序号解析
• SPARK-52740 修复了当检查点格式版本为 >=2 时 HDFSBackedStateStoreProvider 中访问 StateStoreConf.sqlConf 的 NPE
• SPARK-52673 将 grpc RetryInfo 处理添加到 Spark Connect 重试策略
• SPARK-52724 使用SHUFFLE_MERGE提示支持增强广播联接 OOM 错误处理
• SPARK-52781 修复 internal.py 中的 dtyeps 拼写错误
• SPARK-52730 在 JDBCRDD 中存储基础驱动程序和数据库版本
• SPARK-52727 重构窗口分辨率，以便在单传递分析器中重复使用它
• SPARK-52695 对 xml 文件格式的用户定义的类型写入支持
• SPARK-52722 弃用 JdbcRDD 类
• SPARK-51695 引入解析器更改以支持表约束（CHECK、PK、FK）
• SPARK-52763 支持时间减法
• SPARK-52768 修复 pandas/series.py 中的拼写错误“moveing”
• SPARK-52730 在 JDBCRDD 中存储基础驱动程序和数据库版本
• SPARK-52694 添加 o.a.s.sql.Encoders#udtAPI
• SPARK-52720修复在 ANSI 标准下浮点数类型 float32 扩大的问题add/radd
• SPARK-52723 服务器端列名称验证
• SPARK-52760 解决 ANSI 模式下 float32 类型扩展问题sub/rsub
• SPARK-52738 支持在基础缓冲区为UnsafeRow时，通过 UDAF 聚合 TIME 类型
• SPARK-52704 简化 SqlConf 与 TextBasedFileFormats 中的文件格式选项之间的互作
• SPARK-52706 修复分析器中的不一致和重构基元类型
• SPARK-52718 修复 ANSI 环境下 float32 类型转换的问题 rmod/mod
• SPARK-52736 修复 pyspark/pandas/generic.py 中的拼写错误“moveing”

Azure Databricks ODBC/JDBC 驱动程序支持

Databricks 支持在过去 2 年中发布的 ODBC/JDBC 驱动程序。 下载最近发布的驱动程序和升级（下载 ODBC， 下载 JDBC）。

维护更新

请参阅 Azure Databricks Runtime 17.2 维护更新。

系统环境

• 操作系统：Ubuntu 24.04.3 LTS
• Java：Zulu17.58+21-CA
• Scala：2.13.16
• Python：3.12.3
• R：4.4.2
• Delta Lake：4.0.0

已安装Python库

已安装的 R 库

R 库是从 Posit 程序包管理器 CRAN 于 2025-03-20 的快照中安装的。

已安装Java和 Scala 库（Scala 2.13 群集版本）