Databricks Runtime 18.2 （Beta）

以下发行说明提供有关 Databricks Runtime 18.2（Beta 版）的信息。

此版本包含所有以前 Databricks Runtime 版本中的所有功能、改进和 bug 修复。 Databricks 于 2026 年 4 月发布了此版本。

行为变更

• XPath 不再提取外部 DTD
• 具有架构演变的 NULL 结构保留、 INSERTMERGE 和流式写入
• Delta 表中对 NullType（VOID）的支持
• SHOW CREATE TABLE 支持指标视图
• 修复 LEFT OUTER LATERAL 丢失行的问题
• NATURAL JOIN 尊重不区分大小写的列匹配
• Unity 目录中的 SQL UDF 依赖项验证
• 优化针对使用 CRTAS 创建的分区 Unity Catalog 表的写入操作
• AWS SDK v1 依赖项已着色
• 修复 ESRI 定义的 SRID 102100 的错误 EPSG 机构代码

XPath 不再提取外部 DTD

通过 XML 计算 XPath时，Azure Databricks不再加载文档中声明的外部文档类型定义（DTD）。 以前，当 XML 包含指向格式不正确的 URL 或无法访问的终结点的外部 DTD 引用时，XPath 可能会失败。 由于 DTD 验证独立于 XPath 评估，因此已成功的查询将返回与之前相同的结果。 以前仅在外部 DTD 检索期间失败的查询现在可以成功。

具有架构演变的 NULL 结构保留、 INSERTMERGE 和流式写入

INSERT对于MERGE使用架构演变的流式处理写入，源中的 NULL 结构现在存储在目标中为 NULL。 以前，该值被错误地具体化为非 null 结构，每个字段都设置为 NULL，而没有架构演变的相同操作会正确保留 NULL 结构。 如果代码依赖于接收字段均为 NULL 的非 null 结构，请更新代码以处理 NULL 结构。

Delta 表中的 NullType （VOID） 支持

增量表现在支持 VOID （Spark 的 NullType） 列。 VOID 读取时不再从表架构中删除列。 写入不受影响。 有关 VOID 类型 的限制及 VOID 列在架构中出现的位置，请参阅相关文档。

SHOW CREATE TABLE 支持指标视图

SHOW CREATE TABLE 现在支持指标视图。 以前，在指标视图上运行此命令会引发错误。 指标视图的输出包含目录（例如 CREATE VIEW catalog.db.my_metric_view ...，）完全限定的三部分名称，使在正确的位置重新创建指标视图更容易。

修复了 LEFT OUTER JOIN LATERAL 删除行

现在修复了错误地从 LEFT OUTER JOIN LATERAL 查询中删除行的 bug。 使用此构造的查询现在返回正确的结果。 若要暂时还原到以前的行为，请设置为 spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantictrue。

NATURAL JOIN 尊重不区分大小写的列匹配

NATURAL JOIN现在，spark.sql.caseSensitive设置为false时，正确使用不区分大小写的列匹配（默认情况下）。 之前，NATURAL JOIN 使用区分大小写的比较来识别常见列，导致仅因大小写不同的列（例如，ID 和 id）未被识别为匹配。 这导致 NATURAL JOIN 以无提示方式生成交叉联接结果。 此修复程序将NATURAL JOIN行为与已正确处理不区分大小写的USING联接对齐。 受此 bug 影响的查询现在返回具有正确联接列的正确结果。

Unity 目录中的 SQL UDF 依赖项验证

Unity 目录现在对 SQL 用户定义的函数（UDF）强制实施依赖项验证，以防止绕过访问控制。 以前，通过 REST API 创建的 SQL 函数可以引用用户无权访问的依赖项。 具有无效依赖项配置的 SQL UDF 现在被阻止执行。

针对使用 CRTAS 创建的已分区 Unity 目录表的优化写入

优化写入现在已正确应用于使用 CREATE OR REPLACE TABLE ... AS SELECT （CRTAS） 创建的已分区 Unity 目录表。 以前，新分区 Unity 目录表上的 CRTAS 未应用优化写入，导致每个分区的小型文件数较高。 此修复可能会增加写入延迟。 若要还原到以前的行为，请设置为 spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabledfalse。

AWS SDK v1 依赖项已着色

与 Databricks Runtime 捆绑的 AWS SDK v1 依赖项现在已着色，不再直接在类路径上可用。 如果代码依赖于以前由 Databricks Runtime 提供的 AWS SDK v1 库，请在项目中将其添加为显式依赖项。 在 AWS 对 SDK v1 的支持结束后，此更改为迁移到 AWS SDK v2 做好准备。

修复 ESRI 定义的 SRID 102100 的 EPSG 认证机构错误

SRID 102100 的坐标引用系统（CRS）映射现在正确使用 ESRI:102100 ，而不是不正确的 EPSG:102100。 此修补程序可确保地理空间数据由正确的授权机构存储，以增强与其他系统的互操作性。

新功能和改进

• 对临时表的 CREATE OR REPLACE 支持
• agg() 函数的 measure() 别名
• Snowflake JDBC 驱动程序升级
• pyspark.pipelines.testing 命名空间别名
• 改进了自动加载程序列表性能
• Delta 表历史记录包括写入选项标志
• 结构化流式回退和重播支持

对临时表的 CREATE OR REPLACE 支持

CREATE OR REPLACE TEMP TABLE 现在支持语法，允许在单个语句中创建或替换 临时表 。 这样就无需显式删除并重新创建临时表。

agg() 函数的 measure() 别名

agg() 现在可用作函数的 measure() 别名。 此更改完全向后兼容。 现有使用 measure() 的查询可以在无需修改的情况下继续工作，agg() 在使用相同参数时可生成相同的结果。

Snowflake JDBC 驱动程序升级

Snowflake JDBC 驱动程序从 3.22.0 升级到 3.28.0。

pyspark.pipelines.testing 命名空间别名

pyspark.pipelines.testing 现在可用作 dlt.testing API 的便捷别名。 通过任一命名空间导入 Lakeflow Spark 声明性管道测试实用程序。

改进了Auto Loader列表显示性能

自动加载程序 现在使用更高效的列表方法，可提高云存储源的列出速度。 如果流触发器由于长时间运行的列出操作而重叠，则此优化可能会导致云列表 API 成本增加。 监控触发间隔并调整调度，以防成本增加时出现重叠操作。

Delta 表历史记录包括写入选项标志

Delta表历史记录(DESCRIBE HISTORY)现在包括operationParameters列中的写入选项标志，适用于WRITE和REPLACE TABLE操作。 当显式启用以下选项时，它们将在历史记录中显示为布尔标志（仅在 true 时包括）：

对于 WRITE 和 REPLACE TABLE 操作：

• isDynamicPartitionOverwrite：使用动态分区覆盖模式时存在
• canOverwriteSchema：当启用了架构覆盖（overwriteSchema）时存在
• canMergeSchema：启用架构合并时存在mergeSchema

对于 REPLACE TABLE 操作：

• predicate：在使用 replaceWhere 时存在
• isV1WriterSaveAsTableOverwrite：当替换由 .saveAsTable 覆盖触发时存在

结构化流式回溯和重播支持

结构化流式处理 现在支持流式处理管道的回溯和重播。 此功能允许从流中的早期点进行重新处理，以便从失败（如架构更改、格式不正确的输入数据或逻辑错误）中恢复，而无需完全状态重置。 这不会修改现有流式处理工作负载的默认行为。

图书馆升级

• 升级Python库：

  此版本中未升级任何库。

• 升级后的 R 库：

  此版本中未升级任何库。

• 升级Java库：

  • io.delta.delta-sharing-client_2.13 从 1.3.9 到 1.3.10

Apache Spark

Databricks Runtime 18.2 包括 Apache Spark 4.1.0。 此版本包括 Databricks Runtime 18.1 中包含的所有 Spark 修复和改进，以及以下对 Spark 进行的其他 bug 修复和改进：

• SPARK-56219 还原“[SC-225028][PS] 将 groupby idxmax 和 idxmin skipna=False 行为与 pandas 2/3 对齐”
• SPARK-56204 从解析器中的内联表行表达式中去除 Alias 包装器
• SPARK-56186 弃用 pypy
• SPARK-56202 重构流式联接测试：拆分基本/套件层次结构并简化模式调度
• SPARK-56221 spark.catalog.* 与 DDL 命令之间的功能奇偶校验
• SPARK-56301 修复了 中的拼写错误
• SPARK-55729 在流联接上支持新的状态格式 v4 的状态数据源读取器
• SPARK-56256 将 emptyDataFrame API 添加到 SparkSession
• SPARK-56205 在提交 microbatch 之前验证基础状态存储检查点 ID
• SPARK-55827 修复数据源工作者的类型提示
• SPARK-55579 将 PySpark 错误类重命名为与值类型无关
• SPARK-56247 修复inheritable_thread_target的回退机制和类型提示
• SPARK-56244 优化bench_eval_type.py中的基准类布局
• SPARK-56262 删除对类型的不必要的 mypy 检查禁用
• SPARK-55969 regr_r2应将第一个参数视为依赖变量
• SPARK-56179 整合类型不匹配的错误类别 - 第 3 部分
• SPARK-55630 跳过在流-流联接 v4 中对非外侧更新匹配标志的操作
• SPARK-56217 修复 connect 中的 bucketBy 异常
• SPARK-56225 改进“带演变的视图”错误消息
• SPARK-55865 将_LEGACY_ERROR_TEMP_1266重命名为CANNOT_TRUNCATE_EXTERNAL_TABLE
• SPARK-55861 将_LEGACY_ERROR_TEMP_2045重命名为UNSUPPORTED_TABLE_CHANGE
• SPARK-56166 使用ArrowBatchTransformer.enforce_schema替换按列强制类型转换逻辑
• SPARK-56245 修复 pandas 3 上的 DataFrame.eval 的原地赋值问题
• SPARK-56062 隔离memory_profiler以提高导入时间
• SPARK-55964 系统目录在 BUILTIN 和 SESSION 模式中的优先级高于用户目录。
• SPARK-56226 在 之前捕获分析错误
• SPARK-55723 将enforce_schema错误通用化为 PySparkTypeError
• SPARK-54878 添加 sortKeys 选项用于 to_json 函数
• SPARK-56219 将 groupby idxmax 和 idxmin skipna=False 行为与 pandas 2/3 对齐
• SPARK-44065 在 OptimizeSkewedJoin 中优化 BroadcastHashJoin 的数据倾斜问题
• SPARK-56179 还原“[SC-225014][PYTHON] 合并类型不匹配的错误类 - 第 3 部分”
• SPARK-53399 合并Python UDF函数
• SPARK-56224 改进 accumulators.py 文件的类型注解
• SPARK-55448 修复在查询执行期间会话关闭时的查询事件丢失
• SPARK-55862 将 _LEGACY_ERROR_TEMP_2027 重命名为 UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
• SPARK-56201 使用 VCF 联接运行 SPARK-49829 测试，现在 StateDataSource 支持它
• SPARK-56179 合并错误类，解决类型不匹配问题 - 第 3 部分
• SPARK-56184在分区列分析中替换为assert正确SparkRuntimeException
• SPARK-56206 修复不区分大小写的重复 CTE 名称检测
• SPARK-55866 将_LEGACY_ERROR_TEMP_2145重命名为OPTION_VALUE_EXCEEDS_ONE_CHARACTER
• SPARK-56067 延迟导入 psutil 以提高导入速度
• SPARK-56066 延迟导入 numpy 以提高导入速度
• SPARK-55719 删除 spark.sql.hive.convertCTAS 的弃用警告
• SPARK-56179 合并类型不匹配的错误类 - 第 2 部分
• SPARK-55510 更新文档 structured-streaming-state-data-source.md，以反映 deleteRange
• SPARK-56050 在解析时急速求解字符串文本 IDENTIFIER（）
• SPARK-56151 改进 CreateVariable 显示字符串
• SPARK-55751 从 DFS 添加状态存储负载的指标
• SPARK-56188 将 Series.map（{}）与 pandas 3 的空字典行为对齐
• SPARK-55964 还原 “[SC-223957] 系统目录优先于用户目录用于 BUILTIN 和 SESSION 架构。”
• SPARK-55577 重构SQL_SCALAR_ARROW_ITER_UDF包装器、映射器和序列化程序逻辑
• SPARK-55596 DSV2 增强分区统计信息筛选
• SPARK-56179 回滚“[SC-224777][PYTHON] 合并类型不匹配的错误类 - 第 2 部分”
• SPARK-55964 系统目录在 BUILTIN 和 SESSION 模式中的优先级高于用户目录。
• SPARK-56050 还原“[SC-224153][SQL] 在分析时使用字符串文本急切解析 IDENTIFIER（）
• SPARK-56179 合并类型不匹配的错误类 - 第 2 部分
• SPARK-56102UnionEstimation 代码清理
• SPARK-51712 解析 spark.catalog.listTables 中的表/视图时吞没非致命的引发对象（）
• SPARK-55881 将 queryId、errorMessage 和 rootExecutionId 添加到 SQL 执行 REST API
• SPARK-56050 在解析时急速求解字符串文本 IDENTIFIER（）
• SPARK-55628 集成流-流连接状态格式 V4
• SPARK-56187 修复 pandas 3 的 Series.argsort 的null排序问题
• SPARK-56167 将 astype 与 pandas 3 默认字符串行为对齐
• SPARK-56018 使用 ruff 作为格式化工具
• SPARK-56042 修复 RocksDBStateStoreProvider 中交换的外部/内部 col 系列计数指标
• SPARK-56179 合并类型不匹配的错误分类 - 第 1 部分
• SPARK-56089 将 asinh/acosh 与 fdlibm 算法对齐，实现跨引擎兼容性
• SPARK-55453 修复支持补充 Unicode 字符的 LIKE 模式匹配问题
• SPARK-52785 简化 PySpark 中的 super（） 语法
• SPARK-56169 修复计划转换更改子类型时GetStructField中的错误报告ClassCastException的问题。
• SPARK-55557 双曲函数不应溢出大型输入
• SPARK-47997 将 errors 参数添加到 DataFrame.drop 和 Series.drop
• SPARK-55008 在 SparkUI 中显示查询 ID
• SPARK-54660 将 RTM 触发器添加到 python
• SPARK-56047 在 CBO 统计信息估算中通过 Union 传播distinctCount
• SPARK-56111 添加 SparkContext.isDriver（），并在代码库中使用它
• SPARK-55999 默认启用 forceSnapshotUploadOnLag
• SPARK-55610 在 Python 中将 getExecutorInfos 添加到 StatusTracker
• SPARK-55728 引入用于文件校验和线程池大小的配置，并支持禁用线程池。
• SPARK-55686 SizeEstimator 负责 Compact 对象标头
• SPARK-56044 当应用不在活动映射中时，HistoryServerDiskManager 不会在发布时删除应用商店
• SPARK-55809 HeapHistogram 使用 DiagnosticCommandMBean 而不是 jmap 子进程
• SPARK-56122 在 Series.cov 中使用 pandas 兼容的数字 dtype 的检查
• SPARK-56113 改进 pandas-on-Spark 中对 pandas 3 字符串还原的支持
• SPARK-56118 匹配 GroupBy.quantile 中的 pandas 3.0 布尔处理
• SPARK-53823 实现实时模式的允许列表
• SPARK-55977 修复 isin（） 以使用严格类型匹配（如 pandas）
• SPARK-54027 Kafka 数据源 RTM 支持
• SPARK-50284 更改 parseJson 函数的文档
• SPARK-56035 [SQL] 引入单次解析器AggregationValidator 验证Aggregate
• SPARK-55557 还原“[SC-223720][SQL] 双曲函数不会因大型输入而溢出”
• SPARK-56075 移除一批已废弃的 Python 错误类
• SPARK-55967 统一连接数据帧的列转换
• SPARK-53915 添加 RealTimeScanExec 并能够执行长时间运行的批处理
• SPARK-55557 双曲函数不应该因较大输入而溢出
• SPARK-55147 为 V4 状态格式的时间间隔联接检索设定时间戳范围
• SPARK-56056 使用 viztracer 支持更简单的工作器分析
• SPARK-55948 添加 DSv2 CDC 连接器 API、分析器解析和 SQL 变更子句
• SPARK-54599 重新应用“[SC-219008][PYTHON] 重构 PythonExcept...
• SPARK-55390 合并SQL_SCALAR_ARROW_UDF封装器、映射器和序列化程序逻辑
• SPARK-56023 在 LowLatencyMemoryStream 中更好地实现负载均衡
• SPARK-55986 将黑色升级到 26.3.1
• SPARK-55667 将check_dependencies移动到 init
• SPARK-55145 支持基于时间戳的 RocksDB 状态密钥编码器的 Avro
• SPARK-53970 删除 messageName 的错误“可选”标记...
• SPARK-55059 还原“[SC-224058][PYTHON] 删除 toPandas 中的空表解决方法”
• SPARK-50111 在 Plotly 后端添加对饼图的子图支持
• SPARK-56081 将 idxmax 和 idxmin NA 处理与 pandas 3 对齐
• SPARK-56080 使 Series.argmax/argmin 的功能与 pandas 3.0 的 NA 值处理方式保持一致
• SPARK-56060 处理 describe（） 中用于空时间戳帧的 pandas 3 null 字符串转换
• SPARK-55059 删除 toPandas 中的空表解决方法
• SPARK-55995 在 SQL 语法中支持 TIMESTAMP WITH LOCAL TIME ZONE
• SPARK-55976 使用 Set 而不是 Seq 获取写入权限
• SPARK-56073 简化构建 PythonRunnerConfMap
• SPARK-55887 特殊处理以避免CollectLimitExec/CollectTailExec的完整表扫描
• SPARK-55980 始终在数值运算中应用_cast_back_float
• SPARK-55357 修复 timestamp_add 的文档字符串
• SPARK-55667 还原“[SC-223289][PYTHON][CONNECT] 将check_dependencies移动到 init”
• SPARK-54285 还原“[PYTHON] 缓存时区信息以避免昂贵的时间戳转换”
• SPARK-56021 将 AutoSnapshotRepair 默认 maxChangeFileReplay 阈值从 50 增加到 500
• SPARK-55870 添加地理类型的文档
• SPARK-55962 使用 getShort 而不是 getInt 在 putShortsFromIntsLittleEndian Little Endian 平台上强制转换
• SPARK-55903 简化 MERGE 架构演变和检查写入权限
• SPARK-55326 当设置为SPARK_CONNECT_RELEASE_SESSION_ON_EXIT时，释放远程会话
• SPARK-55667 将 check_dependencies 移动到 init 中
• SPARK-55884 将 v1StatsToV2Stats 添加到 DataSourceV2Relation
• SPARK-55929 将缺少的 toString（） 添加到 TableChange.UpdateColumnDefaultValue
• SPARK-55851 阐明数据源分区的类型和读取
• SPARK-55828 添加 DSV2 TableChange toString 并修复合并到架构演变过程中缺少的错误类
• SPARK-55790 使用 PROJ 9.7.1 数据生成完整的 SRS 注册表
• SPARK-55645 将 serdeName 添加到 CatalogStorageFormat
• SPARK-54796 修复执行器初始化与随机迁移之间的竞争条件导致的 NPE
• SPARK-55983 新的单遍解析器功能和错误修复
• SPARK-55964 缓存一致性：清除函数注册表 DROP DATABASE
• SPARK-55868 修复 InMemoryTable 在 V2Filters 中的谓词下推问题
• SPARK-55973 Stream-stream 联接的 LeftSemi 优化
• SPARK-54665 修复布尔值与字符串的比较，以使其匹配 pandas 的行为
• SPARK-55539 允许从 GeographyType 类型强制转换为 GeometryType 类型
• SPARK-55695 避免在行级操作中出现双重规划
• SPARK-55904 利用_check_same_session缩小类型范围
• SPARK-55965 当 pandas >= 3.0.0 与 PySpark 一起使用时添加警告
• SPARK-55493 [SS] 在 StateDataSource 中的流检查点偏移/提交日志目录中不要 mkdirs
• SPARK-55851 撤销“[SC-223270][PYTHON] 阐明数据源的分区和读取类型”
• SPARK-55645 还原“[SC-221839][SQL] 将 serdeName 添加到 CatalogStorageFormat”
• SPARK-55640 传播 Geometry 和 Geography 的 WKB 解析错误
• SPARK-55693 通过使 SparkSession.observationManager 成为非惰性 val 来避免死锁
• SPARK-55528 添加对 SQL UDF 的默认排序规则支持
• SPARK-55860 使用 UNABLE_TO_INFER_SCHEMA 而不是 UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 为 sql/connect 添加 InvalidPlanInput SQL状态码
• SPARK-55645 将 serdeName 添加到 CatalogStorageFormat
• SPARK-55716 支持在 V1 文件源表插入时强制执行 NOT NULL 约束
• SPARK-53226 使 ClosureCleaner 与 Java22+ 配合使用
• SPARK-55997 在 RocksDB 状态存储提供程序中将上限设置为 prefixScan
• SPARK-55851 阐明数据源分区的类型和读取
• SPARK-55954 删除 fillna 的错误重载类型提示
• SPARK-56016 在 pandas 3 上，concat 中使用 ignore_index 时保留命名的 Series 列
• SPARK-55502 统一 UDF 和 UDTF 箭头转换错误处理
• SPARK-55989 在 restore_index 中保留非 int64 索引类型
• SPARK-55955 删除 Drop 的重载类型提示
• SPARK-55945 [SDP] 支持 SDP 提前分析 protos 中的数据流的结构化标识符
• SPARK-55714 JDK 可能会在没有消息的情况下引发算术Exception
• SPARK-55991 使用参数修复与 unicode 相关的 SQL 文本损坏
• SPARK-55696 为接口类向 Encoders.bean 添加显式错误
• SPARK-55533 支持对 collect_set 忽略 NULLS / 尊重 NULLS
• SPARK-55987 使用 findJoinKeyOrdinalForWatermark 修复 V4 窗口联接时间戳提取
• SPARK-55946 设置 pandas_priority，以便将混合二进制操作正确地调度至 pandas-on-Spark
• SPARK-55264 将 ExecuteOutput 命令添加到 Spark Connect 管道 proto
• SPARK-47672 避免从筛选器下推与投影下推时使用双重计算
• SPARK-55780 在 Spark Web UI 中将 PNG 徽标替换为 SVG
• SPARK-55821 在序列化器的 init 方法中强制使用仅限关键字的参数
• SPARK-55621 修复不明确和不必要的 unicode 用法
• SPARK-55662 idxmin Axis 参数的实现
• SPARK-55631ALTER TABLE 必须使 DSv2 表的缓存失效
• SPARK-55692 修复 SupportsRuntimeFiltering 和 SupportsRuntimeV2Filtering 文档
• SPARK-55928 用于在视图和 UDF 中配置有效性的新 linter
• SPARK-55440 类型框架 - 阶段 1a - 核心类型系统基础
• SPARK-55631 还原“[SC-221596][SQL] ALTER TABLE 必须使 DSv2 表的缓存失效”
• SPARK-55631ALTER TABLE 必须为 DSv2 表使缓存失效
• SPARK-55683 优化 VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 修复无法加载状态存储，因为维护删除了重复使用的 SST 文件
• SPARK-55946 还原“[SC-223027][PS] 设置 pandas_priority 以便正确将混合二进制操作调度到 pandas-on-Spark”
• SPARK-55891 保持 SQL 脚本上下文在内部 EXECUTE IMMEDIATE
• SPARK-55907 修正了无效数据类型中错误位置不正确的问题 CREATE FUNCTION
• SPARK-55946 设置 pandas_priority 以便将混合二元操作正确调度到 pandas-on-Spark
• SPARK-55694 分析器级别的 CTAS/RTAS 中的块约束
• SPARK-55682ServiceLoader 返回的迭代器可能会在hasNext()上引发NoClassDefFoundError
• SPARK-55155 修复了 SETCATALOG 在标识符名称中使用特殊字符和反引号的功能问题
• SPARK-55932 修复 XML 至变量解析器在负刻度时挂起的问题
• SPARK-55673 为嵌套类型编码器添加更多测试
• SPARK-55679修复Java 25 上的检测sun.io.serialization.extendedDebugInfo问题
• SPARK-55957 在 Catalog.ERROR_HANDLING_RULES 中添加“DATA_SOURCE_NOT_FOUND”
• SPARK-55052 将 AQEShuffleRead 属性添加到物理计划树
• SPARK-55652使用堆缓冲区的直接数组访问进行优化VectorizedPlainValuesReader.readShorts()
• SPARK-55659 改进 EventLogFileWriter 以记录 stop 操作
• SPARK-54666 使数值类型保持不变 to_numeric
• SPARK-55654 为 EliminateSubqueryAliases 和 ResolveInlineTables 启用 TreePattern 修剪
• SPARK-55533 还原“[SC-220538][SQL] 支持 collect_set 的 IGNORE NULLS / RESPECT NULLS”
• SPARK-55901 Series.replace() 无参数时引发错误
• SPARK-55896 使用 numpy 函数而不是内置函数
• SPARK-55655 当计数相等时，确保 CountVectorizer 词汇的确定性
• SPARK-55811 [SQL] 调用 nodeWithOutputColumnsString 时，捕获 NonFatal 而不是 UnresolvedException
• SPARK-55533 支持对 collect_set 使用 "IGNORE NULLS" 和 "RESPECT NULLS"
• SPARK-55435 使用 StringBuilder 而不是 StringBuffer
• SPARK-54807 允许内置函数和会话函数的限定名称（#198171）
• SPARK-55854 在 Expand 输出中标记传递的重复属性以防止 AMBIGUOUS_REFERENCE
• SPARK-55261 实现对地理类型的 Parquet 读取支持
• SPARK-55416 当结束偏移未更新时，流式Python数据源出现内存泄漏
• SPARK-55465 在 convert_numpy 中支持 GeometryType
• SPARK-55801 修复 _SimpleStreamReaderWrapper.getCache 的类型提示
• SPARK-55800 删除 datetime.date 的未使用类型检查
• SPARK-55663统一数据源函数的模块
• SPARK-55665 统一工作线程与执行程序建立连接的方式
• SPARK-53446 使用缓存块映射优化 BlockManager 删除操作
• SPARK-55867 使用 pandas 3 修复 StringMethods
• SPARK-55501 按 bug 修复组顺序中的 listagg distinct +
• SPARK-55558 添加对元组/Theta set 操作的支持
• SPARK-55636 在去重无效列时添加详细错误信息
• SPARK-55788 支持 Pandas UDF 中整数的 ExtensionDType
• SPARK-55464 支持 convert_numpy 中的 GeographyType
• SPARK-55530 支持 Hive 和 Thrift 服务器中的地理结果集
• SPARK-55525 使用未定义的错误消息参数修复UDTF_ARROW_TYPE_CONVERSION_ERROR
• SPARK-55626 除非 V2TableUtil 中需要，否则不要在表上加载元数据列
• SPARK-55533 回滚“[SC-220538][SQL] 支持 collect_set 的忽略空值/考虑空值”
• SPARK-55435 还原“[SC-219656][CORE][SQL] 使用 StringBuilder 而不是 StringBuffer”
• SPARK-55533 支持 collect_set 中 IGNORE NULLS / RESPECT NULLS 选项
• SPARK-54452 修复 SparkConnect 服务器在 spark.sql(...) FlowFunction 中返回空响应的问题
• SPARK-55638 在 GeometryModel 中重构 WKT 序列化
• SPARK-55551 改进 BroadcastHashJoinExec 输出分区
• SPARK-54314 通过捕获客户端应用程序的文件名和行号来提高 Spark Connect 中服务器端的可调试性
• SPARK-55517使用堆缓冲区的直接数组访问进行优化VectorizedPlainValuesReader.readBytes()
• SPARK-55495 修复 EventLogFileWriters.closeWriter 以处理 checkError
• SPARK-55279 为 DataSketches SQL 函数添加 sketch_funcs 组
• SPARK-55435 使用 StringBuilder 而不是 StringBuffer
• SPARK-55064 支持查询级别不确定随机重试
• SPARK-55411 当联接键小于群集密钥时，SPJ 可能会引发 ArrayIndexOutOfBoundsException
• SPARK-55451 游标必须在打开时开始收集结果，而不是在第一次提取时。
• SPARK-54687 使用生成器添加更多边缘事例
• SPARK-55691 GetStatus 客户端
• SPARK-55277 为 Protobuf SQL 函数添加 protobuf_funcs 组
• SPARK-55822 重命名 _LEGACY_ERROR_TEMP_0052 为 CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
• SPARK-55236 解决某些 CoarseGrainedExecutorBackendSuite 测试用例中的意外异常
• SPARK-55275 SQL 状态覆盖率：IllegalStateException
• SPARK-55462 重新应用“[SC-221123][PYTHON] 支持 convert_numpy 中的 VariantType”
• SPARK-55062 支持 protobuf 函数中的 proto2 扩展
• SPARK-55248 清理杰克逊弃用的 API 使用情况 streaming.checkpointing.Checksum
• SPARK-55250 减少 CREATE NAMESPACE 上的 Hive 客户端调用
• SPARK-55247 清理与 o.a.c.io.input.BoundedInputStream 相关的已弃用 API 使用情况 o.a.c.io.input.BoundedInputStream
• SPARK-55198 spark-sql 应跳过带前导空格的注释行
• SPARK-55826 重命名 _LEGACY_ERROR_TEMP_0006 为 MERGE_INSERT_VALUE_COUNT_MISMATCH
• SPARK-55127 为 Avro SQL 函数添加avro_funcs组
• SPARK-54914 [SQL] 修复管道语法中的 DROP 运算符以支持限定的列名
• SPARK-55113EnsureRequirements 应复制标记
• SPARK-55074 添加合并到 ANSI 类型强制测试
• SPARK-54217 同步 PythonRunner 的 MonitorThread 线程终止判定
• SPARK-54374 扩大 SQL 计划可视化初始化中的 SVG viewBox 属性
• SPARK-54971 为 SQL 添加 WITH SCHEMA EVOLUTION 语法 INSERT
• SPARK-55065 避免进行两次 JDBC API 调用
• SPARK-55033 修复 DSv2 写入命令的字符串参数
• SPARK-55041 清理核心模块中一些未使用的专用 funcion/val 模块
• SPARK-55338 在 gRPC 侦听器中集中化 Spark Connect 请求解压缩逻辑
• SPARK-55825 重命名 _LEGACY_ERROR_TEMP_1309 为 PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
• SPARK-55492 验证 withWatermark 中的 eventTime 是否为顶级列
• SPARK-55802 修复计算箭头批字节时的整数溢出
• SPARK-55694 分析器级别的 CTAS/RTAS 中的块约束
• SPARK-55843 处理 datetime64 和 timedelta64 数据类型的单位
• SPARK-55824 重命名 _LEGACY_ERROR_TEMP_1034 为 WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
• SPARK-55819 将 ExpandExec 重构为更简洁
• SPARK-55341 为缓存的本地关系添加存储级别标志
• SPARK-54599 还原“[SC-219008][PYTHON] 重构 PythonException，使其能够接受带有 sqlstate 的错误类”
• SPARK-46167 向 DataFrame.rank 添加轴实现
• SPARK-54599 重构 PythonException，使其能够接受带有 sqlstate 的 errorClass
• SPARK-55529 重新应用 [ES-1721989][SC-220716][PYTHON] 还原非迭代器 applyInPandas 的箭头级批处理合并
• SPARK-55794始终为别名OuterReference
• SPARK-55583验证Python数据源中的箭头架构类型
• SPARK-37711 将 pandas 描述任务的计数从 O(N) 减少到 O(1)
• SPARK-46168 为 idxmax 添加轴参数
• SPARK-46162 使用 axis=1 实现 nunique
• SPARK-55552 为 ColumnarBatchRow.copy() 和 MutableColumnarRow 增加对 VariantType 的支持
• SPARK-55647 修复了 ConstantPropagation 把属性错误地替换为非二进制稳定排序规则的问题。
• SPARK-55747 修复从 null 数组访问元素时的 NPE
• SPARK-55757 改进 spark.task.cpus 验证
• SPARK-55699 与 ManualClock 一起使用时，LowLatencyClock 读取不一致
• SPARK-55702 支持窗口聚合函数中的筛选器谓词
• SPARK-55510 修复了 Rocksdb 状态存储的 deleteRange 以调用 changelogWriter
• 在 little-endian 平台上，SPARK-55739使用Platform.copyMemory优化OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian
• SPARK-55730 不将时区转换为小写
• SPARK-55701 ES-1694761[SS] 修复 CompactibleFileStreamLog.allFiles 中的争用条件
• SPARK-55462 还原“[SC-221123][PYTHON] 支持 convert_numpy 中的 VariantType”
• SPARK-55144 为高性能流-流联接引入新的状态格式版本
• SPARK-55606 GetStatus API 的服务器端实现
• SPARK-55462 在 convert_numpy 中支持 VariantType
• SPARK-55600 修复在经典模式下，如果架构有 0 列，pandas 到 Arrow 会丢失行数的问题。
• SPARK-55700 修复在使用非整数索引的Series中处理整数键的问题
• SPARK-55349 在序列化器中整合 pandas 到 Arrow 的转换工具
• SPARK-55681 修复反序列化后 singleton 数据类型的相等性（重试）
• SPARK-55681 还原“[SC-221427][SC-214079][SQL] 修复反序列化后的 singleton DataType 相等性”
• SPARK-55681 修复反序列化后的 singleton DataType 相等性
• SPARK-55674 优化 Spark Connect 中的 0 列表转换
• SPARK-55323 重新应用“[SC-218885][PYTHON] 将 UDF 元数据移动到 EvalConf 以简化工作器协议”
• SPARK-55322 使用 K 元素重新应用 [SC-221062][SQL] MaxBy 和 MinBy 重载
• SPARK-55323 撤销“[SC-218885][PYTHON] 将 UDF 元数据移动到 EvalConf 以简化 worker 协议”
• SPARK-55615 将 SparkContext 导入移动到类分支
• SPARK-55323 将 UDF 元数据移动到 EvalConf 以简化工作节点协议
• SPARK-55648使用 pandas 3 处理意外的关键字参数错误groupby(axis)
• SPARK-55647 还原“[SC-221274][SQL] 修复 ConstantPropagation 了错误地将属性替换为非二进制稳定排序规则”
• SPARK-55646 重构 SQLExecution.withThreadLocalCaptured 将线程本地捕获与执行分离
• SPARK-54854 将 UUIDv7 queryId 添加到 SQLExecution 事件
• SPARK-55619 修复在合并分区情况下的自定义度量标准
• SPARK-55647 修复了 ConstantPropagation 把属性错误地替换为非二进制稳定排序规则的问题。
• SPARK-55322 还原“[SC-221062][SQL] MaxBy 和 MinBy K 元素重载”
• SPARK-54740 在守护程序模式下提前启动故障处理程序
• SPARK-55493 [SS] 在 StateDataSource 中的流式检查点状态目录中不要 mkdirs
• SPARK-55322MaxBy 和 MinBy K 元素重载
• SPARK-55625 修复 StringOps 以使 str dtype 正常工作
• SPARK-55161 重新应用“[SC-218867][PYTHON] 支持 Python 数据源上的性能分析器”
• SPARK-55505 修复在并发场景下读取EXECUTION_ROOT_ID_KEY时出现的NPE问题
• SPARK-55111 重新检查查询重启时未完成的重新分区检测
• SPARK-55593 统一vector_avg/vector_sum的聚合状态
• SPARK-55500 修复 ApplyDefaultCollation、ExtractWindowExpressions 和 CollationTypeCasts 之间的分析器周期问题
• SPARK-55494 在 StateStore API 中引入支持多值的迭代器/prefixScan
• SPARK-55561 为所有 Kafka 管理员客户端方法添加重试
• SPARK-55296 支持带 pandas 3 的 CoW 模式
• SPARK-55479 修复 SparkShreddingUtils 中的样式问题
• SPARK-55372 修复 SHOW CREATE TABLE 具有默认排序规则的表/视图
• SPARK-55333 启用 DateType 和 TimeType 在convert_numpy中
• SPARK-55129 将时间戳的新密钥编码器作为一类引入 （UnsafeRow）
• SPARK-46163 DataFrame.update 参数filter_func和错误
• SPARK-55372 还原“[SC-220571][SQL] 修复 SHOW CREATE TABLE 具有默认排序规则的表/视图”
• SPARK-55480 删除所有未使用的 noqa for ruff
• SPARK-55471 添加对 SequentialStreamingUnion 的优化器支持
• SPARK-55584 在 EXEC IMMEDIATE 的标量子查询上生成更好的错误
• SPARK-55161 还原“[SC-218867][PYTHON] 支持 Python 数据源上的性能分析器”
• SPARK-55506将显式输入架构传递到to_pandasCogroupPandasUDFSerializer
• SPARK-55586 添加 jdbc.py 示例
• SPARK-55161 支持 Python 数据源上的分析器
• SPARK-55529 恢复“[SC-220716][PYTHON] 使用 Arrow 框架的非迭代器 applyInPandas 的批量合并”
• SPARK-55385 缓解重新计算 zipWithIndex
• SPARK-55529 还原非迭代器 applyInPandas 的箭头级批处理合并
• SPARK-55389 合并 SQL_MAP_ARROW_ITER_UDF 包装器、映射器和序列化程序逻辑
• SPARK-55406 重新实现 ExecutePlanResponseReattachableIterator 的线程池
• SPARK-55372 修复 SHOW CREATE TABLE 具有默认排序规则的表/视图
• SPARK-55367 将 venv 用于 run-pip-tests
• SPARK-55355 将 mypy 版本升级到最新版本
• SPARK-55460 从 ruff 的忽略列表中删除 E203
• SPARK-55541 在 Catalyst 类型转换器中支持几何和地理功能
• SPARK-55449 为 Geography 启用 WKB 分析和写入
• SPARK-55339 实现对 Geo 对象的 WKT 编写器支持
• SPARK-54122 在 Scala 中实现 TwsTester
• SPARK-54805 在 PySpark 中实现 TwsTester
• SPARK-55256 重新应用“[SC-218596][SQL] 支持在 array_agg 和 collect_list 函数中忽略 NULLS 或考虑 NULLS”
• SPARK-55156 处理 include_groups 的 groupby.apply
• SPARK-55401 将重试逻辑和超时处理添加到 pyspark 安装下载
• SPARK-55229 在 PySpark 中实现 DataFrame.zipWithIndex
• SPARK-55462 在 convert_numpy 中支持 UserDefinedType
• SPARK-55483 修复 PivotFirst 中的 NPE（当透视列是具有 null 值的非原子类型时）
• SPARK-55490 使 groupby(as_index=False) 包含在使用 pandas 3 时不在数据帧中的分组
• SPARK-55473 将 itertools.tee 替换为 applyInPandasWithState 中的链
• SPARK-55404 始终从 SIGINT 处理程序抛出 KeyboardInterrupt
• SPARK-55407 将 logger.warn 替换为 logger.warning

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

• 操作系统：Ubuntu 24.04.4 LTS
• Java：Zulu21.48+15-CA
• Scala：2.13.16
• Python：3.12.3
• R：4.5.1
• Delta Lake：4.1.0

已安装Python库

已安装的 R 库

R 库是从 2025-11-20 的 Posit 程序包管理器 CRAN 快照 中安装的。

已安装Java和 Scala 库（Scala 2.13 群集版本）